周池春
题目:透过transformer思考注意力机制在内的一些细节 汇报人:刘伟
2023-2-8 09:39
阅读:966

题目:透过transformer思考注意力机制在内的一些细节

主讲人:刘伟


地点:腾讯会议


时间:2023年2月8日  晚8点


简介:2017年提出的transformer是继RNN,CNN之后的一大特征提取模块。其核心是自注意力机制。此后,transformer系统的替代了RNN和CNN,得到了Bert,GPT等大模型。它们已经在各个领域展现出优异的性能,通过阅读相关文献,对transformer所运用的策略方法进行了思考。


1)transformer在做什么及其整体结构;

2)encoder和decoder所运用的方法;

3)思考自注意力、交叉注意力、位置编码以及掩码的作用;

4)思考如何修改网络以适用于其它研究方向(transformer论文中被用于机器翻译);

5)思考当前蛋白体-配体网络能进行改进的地方。


转载本文请联系原作者获取授权,同时请注明本文来自周池春科学网博客。

链接地址:https://wap.sciencenet.cn/blog-3453120-1375329.html?mobile=1

收藏

分享到:

当前推荐数:0
推荐到博客首页
网友评论0 条评论
确定删除指定的回复吗?
确定删除本博文吗?