使用大规模语言模型（LLMs）来构建模型和流水线极大地简化了概念验证的构建过程，但同时也使得模型评估变得更加具有挑战性。因此，评估步骤往往被忽视，导致重复迭代却未能深入了解产品的真实性能。本次演示中，我们将探讨使用这些技术构建产品的经验教训，并深入剖析一个具体的应用案例：某医疗公司的检索增强生成（RAG）工具。在使用 LLMs 构建产品时，RAG 技术结合了文档检索与生成能力，为用户提供了基于上下文信息的准确回答。这类工具在医疗行业中的应用尤其突出，因为它们可以帮助医疗公司有效地从大量的文献和数据中提取相关信息，从而提升决策支持。我们将介绍在此过程中遇到的挑战以及成功经验，帮助更好地理解如何平衡概念验证的快速构建与产品性能的深度评估。