题目:透过transformer思考注意力机制在内的一些细节 汇报人:刘伟
2023-2-8 09:39
阅读:452
题目:透过transformer思考注意力机制在内的一些细节
主讲人:刘伟
地点:腾讯会议
时间:2023年2月8日 晚8点
简介:2017年提出的transformer是继RNN,CNN之后的一大特征提取模块。其核心是自注意力机制。此后,transformer系统的替代了RNN和CNN,得到了Bert,GPT等大模型。它们已经在各个领域展现出优异的性能,通过阅读相关文献,对transformer所运用的策略方法进行了思考。
1)transformer在做什么及其整体结构;
2)encoder和decoder所运用的方法;
3)思考自注意力、交叉注意力、位置编码以及掩码的作用;
4)思考如何修改网络以适用于其它研究方向(transformer论文中被用于机器翻译);
5)思考当前蛋白体-配体网络能进行改进的地方。
转载本文请联系原作者获取授权,同时请注明本文来自周池春科学网博客。
链接地址:https://wap.sciencenet.cn/blog-3453120-1375329.html?mobile=1
收藏
下一篇
当前推荐数:0
推荐到博客首页
网友评论0 条评论