Mixed-precision computing has become increasingly important in modern high-performance computing and machine learning applications. When implementing custom mixed-precision functions -- such as fused operators, optimized GPU kernels, or quantized inference paths -- it is critical to verify their numerical accuracy. Traditional approaches typically compare the custom implementation against a reference using a single error metric. However, this single-delta approach provides limited insight into whether the observed errors are inherent to the precision level or specific to the implementation. This paper introduces \textit{Dual-Delta Testing}, a systematic methodology that evaluates two error distributions against a high-precision oracle, enabling rigorous comparison between a custom implementation and a baseline reference. We present the mathematical framework, algorithmic formulation, statistical analysis techniques, and practical examples demonstrating the methodology's effectiveness in evaluating numerical accuracy.


翻译:混合精度计算在现代高性能计算与机器学习应用中日益重要。在实现自定义混合精度函数(如融合算子、优化GPU内核或量化推理路径)时,验证其数值精度至关重要。传统方法通常使用单一误差度量将自定义实现与参考实现进行比较。然而,这种单一差分方法难以区分观测误差是源于精度限制还是实现缺陷。本文提出\textit{双重差分测试},这是一种系统化方法,通过同时评估两个误差分布相对于高精度基准的偏离,实现对自定义实现与基线参考的严格比较。我们介绍了该方法的数学框架、算法形式化、统计分析技术,并通过实际案例验证了该方法在评估数值精度方面的有效性。

0
下载
关闭预览

相关内容

国家标准《人工智能深度学习算法评估》(征求意见稿)
《深度模型融合》综述
专知会员服务
75+阅读 · 2023年9月28日
专知会员服务
41+阅读 · 2020年8月14日
综述:军事应用中使用的一些重要算法
专知
12+阅读 · 2022年7月3日
Distributional Soft Actor-Critic (DSAC)强化学习算法的设计与验证
深度强化学习实验室
19+阅读 · 2020年8月11日
你的算法可靠吗? 神经网络不确定性度量
专知
40+阅读 · 2019年4月27日
推荐|机器学习中的模型评价、模型选择和算法选择!
全球人工智能
10+阅读 · 2018年2月5日
FCS 论坛 | 孟德宇:误差建模原理
FCS
15+阅读 · 2017年8月17日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
Arxiv
0+阅读 · 1月30日
Arxiv
0+阅读 · 1月28日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员