← 全部模板

注意力,
也能看见。

三个示例分数,变成可比较的注意力权重。

正在装配场景
0.0 / 10s

三个位置得到示例分数

这个场景,讲什么?

三个位置得到示例分数。温度控制分布的尖锐程度。指数变换保持权重为正。归一化,让权重之和为一。改变温度,看关注如何分配。

wᵢ = exp(sᵢ/T) / Σ exp(sⱼ/T),s = [2,1,0]

模型边界

三 token 的固定分数玩具计算,仅展示 softmax;不是对任何真实模型内部状态的可视化。

方法参考:Attention Is All You Need。源码与模型检查:GitHub。

带走这个方法。

在有代码执行和网页预览能力的 Agent 中使用。新场景需要重新定义对象与约束。