少样本异常检测（FSAD）旨在通过极少量来自同一类别的正常支持图像来检测未知的异常区域。现有的FSAD方法通常通过直接设计复杂的文本提示，将其与视觉特征对齐，来发现异常，且这些方法大多忽视了视觉特征中的内在上下文信息，例如不同视觉层之间的交互关系，而这些信息是全面检测异常的重要线索。为此，我们提出了一种核感知图提示学习框架，称为KAG-prompt，通过推理视觉特征之间的跨层关系来进行FSAD。具体来说，通过将关注不同大小异常区域的不同层特征作为节点，构建一个核感知的分层图，同时任意节点对之间的关系表示图的边。通过在该图上进行信息传递，KAG-prompt能够捕捉跨层上下文信息，从而提高异常预测的准确性。此外，为了整合预测图中多个重要异常信号的信息，我们提出了一种基于多级信息融合的全图评分方法。对MVTecAD和VisA数据集的广泛实验表明，KAG-prompt在图像级和像素级异常检测任务中均实现了最先进的FSAD结果。代码可在 https://github.com/CVL-hub/KAGprompt.git 获取。