Financial platforms and enterprise systems frequently provide transaction export capabilities to support reporting, reconciliation, auditing, and regulatory compliance workflows. In many environments, these exports involve very large datasets containing hundreds of thousands or even millions of transaction records. Traditional REST API implementations often construct the entire export payload in application memory before transmitting the response to the client, which can lead to high memory consumption and delayed response initiation when processing large datasets. This paper presents a streaming-based REST API architecture that retrieves transaction records incrementally from relational databases and writes them directly to the HTTP response output stream. By integrating database cursor retrieval with progressive HTTP transmission, the proposed design allows export data to be delivered continuously as records are processed rather than after the full dataset has been assembled. The architecture is implemented using a Java-based JAX-RS framework with the StreamingOutput interface and supports multiple financial export formats including CSV, OFX, QFX, and QBO. In practice, the streaming approach significantly reduces memory buffering requirements and allows large export downloads to begin immediately, improving responsiveness and scalability for high-volume export operations.


翻译:金融平台和企业系统通常提供交易导出功能以支持报表生成、对账、审计及监管合规工作流。在许多应用场景中,这些导出操作涉及包含数十万乃至数百万条交易记录的极大规模数据集。传统的REST API实现通常在应用内存中构建完整的导出负载后再向客户端传输响应,这在处理大规模数据集时可能导致高内存消耗和响应启动延迟。本文提出一种基于流式传输的REST API架构,该架构从关系型数据库增量检索交易记录,并将其直接写入HTTP响应输出流。通过将数据库游标检索与渐进式HTTP传输相结合,所提出的设计使得导出数据能够在记录处理过程中持续传输,而无需等待完整数据集组装完成。该架构采用基于Java的JAX-RS框架配合StreamingOutput接口实现,支持包括CSV、OFX、QFX和QBO在内的多种金融导出格式。实践表明,该流式处理方法显著降低了内存缓冲需求,使得大规模导出下载能够即时启动,从而提升了高吞吐量导出操作的响应性与可扩展性。

0
下载
关闭预览

相关内容

数据库( Database )或数据库管理系统( Database management systems )是按照数据结构来组织、存储和管理数据的仓库。目前数据管理不再仅仅是存储和管理数据,而转变成用户所需要的各种数据管理的方式。
金融领域大型语言模型综述(FinLLMs)
专知会员服务
71+阅读 · 2024年2月6日
《金融大数据术语》行业标准,24页pdf
专知会员服务
55+阅读 · 2022年2月28日
央行发布《金融大数据术语》,25页pdf
专知会员服务
43+阅读 · 2022年1月25日
专知会员服务
92+阅读 · 2021年4月12日
【实用书】流数据处理,Streaming Data,219页pdf
专知会员服务
78+阅读 · 2020年4月24日
【大规模数据系统,552页ppt】Large-scale Data Systems
专知会员服务
61+阅读 · 2019年12月21日
流程/过程挖掘(Process Mining)最新综述
PaperWeekly
23+阅读 · 2022年9月19日
【Flink】基于 Flink 的流式数据实时去重
AINLP
14+阅读 · 2020年9月29日
金融领域自然语言处理研究资源大列表
专知
13+阅读 · 2020年2月27日
工行基于MySQL构建分布式架构的转型之路
炼数成金订阅号
15+阅读 · 2019年5月16日
【大数据】StreamSets:一个大数据采集工具
产业智能官
40+阅读 · 2018年12月5日
基于python的开源量化交易,量化投资架构
运维帮
15+阅读 · 2018年7月5日
互联网金融中的交易反欺诈模型
炼数成金订阅号
14+阅读 · 2018年3月9日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月27日
VIP会员
最新内容
战略前沿人工智能的再思考(中文)
专知会员服务
5+阅读 · 5月29日
《量化地基防空系统间接效应的博弈论方法》
专知会员服务
5+阅读 · 5月29日
“史诗怒火行动”中美军损失的作战飞机
专知会员服务
5+阅读 · 5月29日
ICML 2026 | 理解上下文持续学习中的泛化与遗忘
专知会员服务
5+阅读 · 5月28日
Agent Harness综述:大模型智能体执行器工程全景
专知会员服务
15+阅读 · 5月28日
《基于理论的威慑效能评估》
专知会员服务
8+阅读 · 5月28日
相关VIP内容
金融领域大型语言模型综述(FinLLMs)
专知会员服务
71+阅读 · 2024年2月6日
《金融大数据术语》行业标准,24页pdf
专知会员服务
55+阅读 · 2022年2月28日
央行发布《金融大数据术语》,25页pdf
专知会员服务
43+阅读 · 2022年1月25日
专知会员服务
92+阅读 · 2021年4月12日
【实用书】流数据处理,Streaming Data,219页pdf
专知会员服务
78+阅读 · 2020年4月24日
【大规模数据系统,552页ppt】Large-scale Data Systems
专知会员服务
61+阅读 · 2019年12月21日
相关资讯
流程/过程挖掘(Process Mining)最新综述
PaperWeekly
23+阅读 · 2022年9月19日
【Flink】基于 Flink 的流式数据实时去重
AINLP
14+阅读 · 2020年9月29日
金融领域自然语言处理研究资源大列表
专知
13+阅读 · 2020年2月27日
工行基于MySQL构建分布式架构的转型之路
炼数成金订阅号
15+阅读 · 2019年5月16日
【大数据】StreamSets:一个大数据采集工具
产业智能官
40+阅读 · 2018年12月5日
基于python的开源量化交易,量化投资架构
运维帮
15+阅读 · 2018年7月5日
互联网金融中的交易反欺诈模型
炼数成金订阅号
14+阅读 · 2018年3月9日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员