![](static/image/blog/recommendico.gif)
今天上午我群发了我们课题组一份2023年6月15日的网上资料《Transformer全新里程碑,诞生6年,开山之作被引近8万》,网页链接:https://www.ithome.com/0/699/973.htm
其中的一段话“2020年10月,谷歌提出的Vision Transformer (ViT),不用卷积神经网络(CNN),可以直接用Transformer对图像进行分类” 和相应的图片特别引起了我的关注。
因此,我在我们课题组微信群里说了我的一些看法:
“这个工作和我们做的电路布线层的等效性能AI预测的九宫格技术真的是不谋而合啊!世界真的是这样的小!”
注:摘自我的2023年12月7日科学网博文《集成电路产品可靠性建模仿真与智能预测技术的校企交流》(网页链接:https://blog.sciencenet.cn/home.php?mod=space&uid=99553&do=blog&id=1412800 )中的第5、17和18页图片。
我还进一步谈了自己的看法:“看Transformer的发展史(2017年至今)和其技术特点、应用领域的拓展,给我们很大的启示!回顾我们课题组用Transformer的发展历程和心路:嵌入式单胞模型的建立(九宫格形式的电路布线图像及其几何分区和像素建模)、电路布线层的等效性能的有限元模拟(高精度高效率地得到几万、几十万甚至几百万个电路布线分区的数十个材料性能的数据)、不得不努力实现九宫格形式的电路布线的等效性能AI预测否则就没有工程应用价值,恰是发挥了Transformer的最大特长(输入变量通过Embedding和Positional Encoding实现向量式编码),从而借助Transformer内禀的注意力机制算法,大幅度地降低了算力资源需求,提高了迭代计算效率和收敛性。假如没有Transformer对九宫格形式的电路布线图像的特征工程,而用经典的CNN,我严重怀疑其AI预测精度和效率,甚至就没有工程应用价值。感谢QW同学、ZZY同学、WGS同学等的锐意创新和不懈探索,蹚出了一条生路,为我们开启了全新的发展空间!”
我们课题组的WGS博士生进一步给出了他的最新研究经验和看法:“贾老师中午好,看到您在课题组群里发的有关ViT的事情。前两天修改稿件的时候受到审稿人的启发,前两天将修改稿发给同学们修改以后,我就尝试使用ViT和其它一些CNN+Transformer的方法来预测分区等效材料参数。目前一共跑通了4个模型,包括ViT、Vgg16+Bert、Vgg16+GPT2和一个增加了自注意力的Vgg16。因为目前实验室的所有的4090 GPU服务器都在使用中,我只在笔记本上用小规模数据测试了一下,其中ViT的性能非常优异,不论是训练过程的收敛性还是泛化能力,都非常好,这可能跟Transformer模型能够捕捉全局上下文和长距离依赖关系的优势有关,这对于理解布线图中的复杂关系应该是很适合的。只是还没有用完整样本集训练,对模型的效率等还没有特别明了的认知。这是实现ViT的源代码,还不是很完善,本来打算充分完善以后再跟同学们分享,不过现在应该也能帮助同学们在九宫格方法上的应用”。
看到WGS同学的关于AI+IC的新进展,我也很高兴,特别在我们课题组微信群里说出了自己的意见:“特别感谢WGS同学刚刚分享的ViT源代码和他的使用经验,非常有价值!他还是采用了单胞模型(不涉及九宫格形式的电路布线图像及其内部的几何分区),但是从经典或者说传统的CNN(具体的模型是Vgg16模型)换成了ViT(Vision Transformer)和其它一些CNN+Transformer的方法,继续预测电路布线层的分区等效材料参数,目前看取得了很好的效果(竟然用其笔记本电脑和小规模数据就取得了很好的AI训练效果,这是我们之前完全不敢想象的AI训练效率和效果啊)”。
写在最后的话:和大家分享我们课题组在Transformer模型用于集成电路性能AI预测的初步经验和教训,欢迎大家批评指正,助推AI+IC产业技术进步,更希望对“生成式AI+产业”的技术进步及推广有启发。
转载本文请联系原作者获取授权,同时请注明本文来自贾玉玺科学网博客。
链接地址:https://wap.sciencenet.cn/blog-99553-1423924.html?mobile=1
收藏