Since 2004, the Keck Observatory Archive (KOA) has operated as a NASA-funded collaboration between the NASA Exoplanet Science Institute ( NExScI) and the W.M. Keck Observatory. It ingests and serves all data acquired by the twin 10-meter Keck telescopes on Mauna Kea, Hawaii. In the past three years, KOA has begun a modernization program to replace the architecture and systems used since the archive's creation with a new modern Python-based infrastructure. This infrastructure will position KOA to respond to the rapid growth of new and complex data sets that will be acquired by new instruments now in development, and enable follow-up to identify the deluge of alerts of transient sources expected by new survey telescopes such as the Vera C. Rubin Observatory. Since 2022, KOA has ingested new data in near-real time, generally within one minute of creation, and has made them immediately accessible to observers through a dedicated web interface. The archive is now deploying a new, scalable, Python-based, VO-compliant query infrastructure built with the Plotly-Dash framework and R-tree indices to speed-up queries by a factor of 20. The project described here exploits the new query infrastructure to develop a dashboard that will return live metrics on the performance and growth of the archive. These metrics assess the current health of the archive and guide planning future hardware and software upgrades. This single dashboard will enable, for example, monitoring of real-time ingestion, as well as studying the long-term growth of the archive. Current methods of gathering metrics that have been in place since the archive opened will not support the archive as it continues to scale. These methods suffer from high latency, are not optimized for on-demand metrics, are scattered among various tools, and are cumbersome to use.


翻译:自2004年起,凯克天文台档案(KOA)作为美国国家航空航天局资助的合作项目,由NASA系外行星科学研究所与W.M.凯克天文台共同运营。该系统负责采集并发布夏威夷莫纳克亚山两台10米凯克望远镜获取的全部观测数据。过去三年间,KOA启动了现代化改造计划,旨在用基于Python的全新现代化基础设施替代档案创建以来一直使用的架构与系统。该基础设施将使KOA能够应对正在研发的新型仪器所产生的新型复杂数据集的快速增长,并支持对维拉·C·鲁宾天文台等新型巡天望远镜预期产生的海量瞬变源警报进行后续识别。自2022年起,KOA已实现新数据的近实时采集(通常在生成后一分钟内完成),并通过专用网络界面立即向观测者开放访问。目前档案系统正在部署基于Plotly-Dash框架与R树索引构建的全新可扩展Python查询基础设施,该设施符合虚拟天文台标准,可将查询速度提升20倍。本项目利用新型查询基础设施开发了能够实时反馈档案性能与增长指标的仪表板。这些指标既可评估档案当前运行状态,又能指导未来硬件与软件升级规划。该统一仪表板支持实时监测数据采集进程,并可用于研究档案的长期增长趋势。档案启用以来沿用的现有指标收集方法已无法适应持续扩展的运营需求,存在延迟高、未针对按需指标进行优化、工具分散且操作繁琐等缺陷。

0
下载
关闭预览

相关内容

乌克兰太空研究(2022-2024年) | 176页
专知会员服务
15+阅读 · 2025年10月18日
《太空域感知协同研究基础设施》66页技术报告
专知会员服务
16+阅读 · 2025年6月19日
《星链在乌克兰的作用:太空战的预兆?》译文
专知会员服务
76+阅读 · 2023年6月29日
基于Prometheus的K8S监控在小米的落地
DBAplus社群
16+阅读 · 2019年7月23日
Elasticsearch地理信息存储及查询之Geo_Point
Analysys易观
13+阅读 · 2018年12月29日
牛!中国版Sci-Hub,还能下载中文文献!
材料科学与工程
26+阅读 · 2018年8月26日
Maplab:研究视觉惯性建图和定位的开源框架
泡泡机器人SLAM
16+阅读 · 2018年4月4日
科普 | 典型的知识库/链接数据/知识图谱项目
开放知识图谱
15+阅读 · 2017年10月13日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员