Named Entity Recognition (NER) is a foundational task in Natural Language Processing (NLP) and Information Retrieval (IR), which facilitates semantic search and structured data extraction. We introduce \textbf{AWED-FiNER}, an open-source collection of agentic tool, web application, and 53 state-of-the-art expert models that provide Fine-grained Named Entity Recognition (FgNER) solutions across 36 languages spoken by more than 6.6 billion people. The agentic tool enables routing multilingual text to specialized expert models to fetch FgNER annotations within seconds. The web-based platform provides a ready-to-use FgNER annotation service for non-technical users. Moreover, the collection of language-specific extremely small open-source state-of-the-art expert models facilitates offline deployment in resource-constrained scenarios, including edge devices. AWED-FiNER covers languages spoken by over 6.6 billion people, ranging from global languages like English, Chinese, Spanish, and Hindi, to low-resource languages like Assamese, Santali, and Odia, along with a specific focus on extremely low-resource vulnerable languages such as Bodo, Manipuri, Bishnupriya, and Mizo. The resources can be accessed here: Agentic Tool (https://github.com/PrachuryyaKaushik/AWED-FiNER), Web Application (https://hf.co/spaces/prachuryyaIITG/AWED-FiNER), and 53 Expert Detector Models (https://hf.co/collections/prachuryyaIITG/awed-finer).


翻译:命名实体识别(NER)是自然语言处理(NLP)与信息检索(IR)领域的基础任务,能够促进语义搜索与结构化数据提取。本文介绍**AWED-FiNER**——一个集智能体工具、Web应用及53个先进专家模型于一体的开源资源集合,为覆盖超过66亿使用者的36种语言提供细粒度命名实体识别(FgNER)解决方案。该智能体工具可将多语言文本路由至专用专家模型,在数秒内获取FgNER标注结果;基于Web的平台为非技术用户提供即用型FgNER标注服务;此外,针对各语言特别优化的极小型开源先进专家模型支持在资源受限场景(包括边缘设备)中进行离线部署。AWED-FiNER涵盖的语言使用者超过66亿,既包含英语、汉语、西班牙语、印地语等全球性语言,也涵盖阿萨姆语、桑塔利语、奥里亚语等低资源语言,并特别关注博多语、曼尼普尔语、比什奴普莱利亚语、米佐语等极度低资源的濒危语言。相关资源可通过以下链接获取:智能体工具(https://github.com/PrachuryyaKaushik/AWED-FiNER)、Web应用(https://hf.co/spaces/prachuryyaIITG/AWED-FiNER)及53个专家检测器模型(https://hf.co/collections/prachuryyaIITG/awed-finer)。

0
下载
关闭预览

相关内容

「中文电子病历命名实体识别」的研究与进展
专知会员服务
30+阅读 · 2022年11月5日
专知会员服务
71+阅读 · 2021年8月20日
专知会员服务
25+阅读 · 2021年6月17日
专知会员服务
157+阅读 · 2020年4月21日
NLP命名实体识别开源实战教程 | 深度应用
AI100
15+阅读 · 2019年8月18日
一文读懂命名实体识别
AINLP
31+阅读 · 2019年4月23日
面向新闻媒体的命名实体识别技术
PaperWeekly
18+阅读 · 2019年4月17日
命名实体识别从数据集到算法实现
专知
56+阅读 · 2018年6月28日
神经网络结构在命名实体识别(NER)中的应用
全球人工智能
11+阅读 · 2018年4月5日
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
13+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月27日
VIP会员
最新内容
面向军事作战需求开发的人工智能(RAIMOND)
专知会员服务
0+阅读 · 6分钟前
软件定义多域战术网络:基础与未来方向(综述)
水下战战术决策中的气象与海洋预报(50页报告)
远程空中优势:新一代超视距导弹的兴起
专知会员服务
1+阅读 · 34分钟前
大语言模型溯因推理的统一分类学与综述
专知会员服务
0+阅读 · 今天12:07
美/以-伊战争:停火与后续情景与影响分析
专知会员服务
3+阅读 · 4月11日
相关基金
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
13+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员