题目：透过transformer思考注意力机制在内的一些细节

主讲人：刘伟

地点：腾讯会议

时间：2023年2月8日  晚8点

简介：2017年提出的transformer是继RNN,CNN之后的一大特征提取模块。其核心是自注意力机制。此后，transformer系统的替代了RNN和CNN，得到了Bert，GPT等大模型。它们已经在各个领域展现出优异的性能，通过阅读相关文献，对transformer所运用的策略方法进行了思考。

1）transformer在做什么及其整体结构；

2）encoder和decoder所运用的方法；

3）思考自注意力、交叉注意力、位置编码以及掩码的作用；

4）思考如何修改网络以适用于其它研究方向（transformer论文中被用于机器翻译）；

5）思考当前蛋白体-配体网络能进行改进的地方。

转载本文请联系原作者获取授权，同时请注明本文来自周池春科学网博客。

链接地址：https://wap.sciencenet.cn/blog-3453120-1375329.html?mobile=1

收藏

分享