注意力机制

由Google研究人员开发的注意力机制，允许神经网络在做出预测时聚焦于输入数据中最相关的部分。注意力机制不是均匀地处理整个输入，而是为输入的不同部分分配权重，以表明它们的重要性。这些权重随后用于创建输入的加权平均，并用于进一步处理。这使得模型能够选择性地关注输入中最具信息量的部分，从而提升性能，尤其在处理文本或图像等序列数据的任务中效果显著。