https://biglonglong.github.io/home/tags/deep-learning/ Recent content in Deep Learning on 龙犊&小窝🪹~ https://biglonglong.github.io/image/thumbnail.png https://biglonglong.github.io/image/thumbnail.png Hugo -- 0.136.5 home biglonglong🐲 Tue, 05 May 2026 00:00:00 +0000 https://biglonglong.github.io/home/posts/cases/%E7%AE%97%E6%B3%95%E9%A2%98%E5%A4%9A%E5%A4%B4%E6%B3%A8%E6%84%8F%E5%8A%9B%E6%9C%BA%E5%88%B6/ Tue, 05 May 2026 00:00:00 +0000 https://biglonglong.github.io/home/posts/cases/%E7%AE%97%E6%B3%95%E9%A2%98%E5%A4%9A%E5%A4%B4%E6%B3%A8%E6%84%8F%E5%8A%9B%E6%9C%BA%E5%88%B6/ <h2 id="问题描述">问题描述</h2> <p>实现一个多头注意力机制，给定输入 <code>query</code>、<code>key</code>、<code>value</code> 和可选的 <code>mask</code>，计算输出和注意力权重。</p> <p>具体需要完成以下几个步骤：</p> <ol> <li>对 Q、K、V 进行线性变换</li> <li>拆分为多头并进行缩放点积注意力计算</li> <li>合并多头结果</li> <li>通过输出线性层映射回原维度</li> </ol> <h2 id="解题思路">解题思路</h2> <p>多头注意力是 Transformer 的核心模块，其核心思想是将输入投影到多个子空间，分别计算注意力，再拼接起来。关键点在于：</p>