<p id="34JL41C9">金融界2024年10月28日消息，国家知识产权局信息显示，浪潮通用软件有限公司申请一项名为“线性复杂度自注意力机制实现的方法、系统、设备及介质”的专利，公开号CN A，申请日期为2024年9月。</p><p id="34JL41CA">专利摘要显示，本发明涉及人工智能的领域，本发明提出了线性复杂度自注意力机制实现的方法、系统、设备及介质，方法包括：将待处理的序列数据进行位置编码并特征映射施加到查询矩阵和键矩阵中；基于查询矩阵和键矩阵进行计算得到低秩查询矩阵、低秩键矩阵和低秩广义逆矩阵；将值矩阵进行增广得到增广矩阵，并基于增广矩阵和低秩键矩阵、低秩广义逆矩阵和低秩查询矩阵得到序列自注意力矩阵；将序列自注意力矩阵进行转置作为序列数据重复前述步骤，将再次得到的序列自注意力矩阵作为特征自注意力矩阵，基于序列自注意力矩阵和特征自注意力矩阵得到线性复杂度的自注意力矩阵。本发明在实现了线性自注意力的同时，较好地保持了模型性能，并且有更强的可拓展性。</p><p id="34JL41CB">本文源自：金融界</p><p id="34JL41CC">作者：情报员</p> 讯享网
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请联系我们，一经查实，本站将立刻删除。
如需转载请保留出处：https://51itzy.com/kjqy/154060.html