精选
[敬请读者注意] 本人保留本文的全部著作权利。如果哪位读者使用本文所描述内容，请务必如实引用并明白注明本文出处。如果本人发现任何人擅自使用本文任何部分内容而不明白注明出处，恕本人在网上广泛公布侵权者姓名。敬请各位读者注意，谢谢！
ChatGPT“智能”测试：ChatGPT 对相关性逻辑谬误的判断
程京德
ChatGPT 的功能强效果好，的确不错。但是，网上各行各业各种说法对其好评（还有许多滥用AI概念的胡评）似乎已经超出常识，不由得引发笔者对其所谓“智能”测试一下的兴趣。下面是第一次测试结果的报告，仅供参考。
测试数据：笔者本人关于相关性逻辑谬误的系列科普文章中的实例。
测试方法：向 ChatGPT 提问：“下面的论证在逻辑上是否正确？请简单说明理由。”并将每个逻辑谬误实例的陈述输入给它。每个实例仅测试一次。
测试结果如下（OO表示很好，O表示可以算合格，X表示不合格）：
逻辑谬误种类 | 实例1 | 实例2 | 实例3 | 实例4 | 实例5 | 正确率 | 备注 |
Mares & Cheng | OO | X | X | X | NA | 1/4 | 不懂谷山志村猜想与费尔马大定理之间的关系 |
诉诸“暴力” | O | O | O | O | 拒绝 | 4/4 | 对所有实例都能够指出相关性问题，但是都没有指出这类逻辑谬误的特征，对涉及“政治家”的实例拒绝回答 |
诉诸同情 | O | O | O | O | O | 5/5 | 对所有实例都能够指出相关性问题，但是都没有指出这类逻辑谬误的特征 |
诉诸民众 | OO | O | OO | OO | OO | 5/5 | 近乎完美地指出了4个实例的逻辑谬误特征 |
对人不对事论证 | OO | OO | OO | 拒绝 | OO | 4/4 | 近乎完美地指出了4个实例的逻辑谬误特征，对涉及“政治家”的实例拒绝回答 |
例外（偶然/意外） | OO | OO | OO | OO | OO | 5/5 | 对所有实例都能够指出相关性问题以及这类逻辑谬误的特例性特征 |
笔者感想（仅限于此次测试实验）：
（1） 笔者的实验数据全部是近期科普文章中的实例，文本文件应该不存在于 ChatGPT 的数据源中。所以，ChatGPT 对自然语言陈述的“理解”能力应该说是相当不错，没有犯对语言陈述的任何理解错误，大概不弱于一般大学生，强于比较差的大学生。
（2）对于所有实例，除了言及谷山志村猜想（谷山志村猜想与费尔马大定理之关系可能太专业了，ChatGPT 的数据源当中没有相应数据）的3个，其余的判断都正确合格，所以，可以堪称表现优秀。
（3）使用 ChatGPT 来做普通逻辑学（非数理逻辑！）教学辅助工具，用来给学生作业判分，大概可行。
（4）教师自身通过使用 ChatGPT 来了解它的特征之后，放开让学生们自由使用，而教师本人更注重于深刻认识学生能力培养的关键点，注重于提炼知识点的本质，出高水平的作业题和考试题，对于教师自身教学水平的提高和学生钻研能力的培养，应该都有益处，达到双赢。
（5） ChatGPT 一定会对文科教育带来冲击。
微信公众号“数理逻辑与哲学逻辑”
转载本文请联系原作者获取授权，同时请注明本文来自程京德科学网博客。
链接地址：https://wap.sciencenet.cn/blog-2371919-1375761.html?mobile=1
收藏
