Understanding and monitoring the socio-economic impacts of climate hazards requires extracting structured information from heterogeneous news articles on a large scale. To that end, we have developed CienaLLM, a modular framework based on schema-guided Generative Information Extraction. CienaLLM uses open-weight Large Language Models for zero-shot information extraction from news articles, and supports configurable prompts and output schemas, multi-step pipelines, and cloud or on-premise inference. To systematically assess how the choice of LLM family, size, precision regime, and prompting strategy affect performance, we run a large factorial study in models, precisions, and prompt engineering techniques. An additional response parsing step nearly eliminates format errors while preserving accuracy; larger models deliver the strongest and most stable performance, while quantization offers substantial efficiency gains with modest accuracy trade-offs; and prompt strategies show heterogeneous, model-specific effects. CienaLLM matches or outperforms the supervised baseline in accuracy for extracting drought impacts from Spanish news, although at a higher inference cost. While evaluated in droughts, the schema-driven and model-agnostic design is suitable for adapting to related information extraction tasks (e.g., other hazards, sectors, or languages) by editing prompts and schemas rather than retraining. We release code, configurations, and schemas to support reproducible use.


翻译:理解与监测气候灾害的社会经济影响,需要从海量异构新闻文章中提取结构化信息。为此,我们开发了CienaLLM——一个基于模式引导生成式信息提取的模块化框架。CienaLLM利用开放权重大语言模型对新闻文章进行零样本信息提取,支持可配置的提示词与输出模式、多步骤流水线以及云端或本地推理。为系统评估大语言模型系列、规模、精度方案及提示策略的选择如何影响性能,我们在模型、精度和提示工程技术上进行了大规模析因实验。额外的响应解析步骤几乎消除了格式错误,同时保持了准确性;更大规模的模型提供了最强且最稳定的性能,而量化在适度牺牲精度的情况下带来了显著的效率提升;提示策略则表现出异质性且模型依赖性的效果。在从西班牙语新闻中提取干旱影响的任务上,CienaLLM在准确性上达到或超越了有监督基线,尽管推理成本更高。虽然本工作以干旱为评估场景,但其模式驱动且模型无关的设计使其能够通过编辑提示词和模式(而非重新训练)来适应相关的信息提取任务(例如其他灾害、行业或语言)。我们公开了代码、配置与模式,以支持可复现的使用。

0
下载
关闭预览

相关内容

预知未来——Gluon 时间序列工具包(GluonTS)
ApacheMXNet
24+阅读 · 2019年6月25日
TextInfoExp:自然语言处理相关实验(基于sougou数据集)
全球人工智能
12+阅读 · 2017年11月12日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员