科研方面：

看论文

一、“Assessing The Factual Accuracy of Generated Text”

本文贡献：

  1.引入事实级评估指标factacc，解决传统评估指标（如 ROUGE、BLEU）无法检测事实性错误的问题。

  2.提出两种事实抽取方法，包括Named Entity Recognition (NER) + Relation Classifier的两阶段法和E2E的端到端法。

  3.最后总结：端到端结构化抽取 + factacc 是比传统指标更可靠的评估手段。

二、“CHAIN-OF-VERIFICATION REDUCES HALLUCINATION  IN LARGE LANGUAGE MODELS”

本文贡献：

  创造了一种检测幻觉的方法CoVe（CHAIN-OF-VERIFICATION），是一种让模型“自己验证自己”的方法，可以成功的减少大模型的幻觉。

  CoVe的方法步骤如下：

        1. Generate Baseline Response 

        2. Plan Verifications

        3. Execute Verifications

        4. Generate Final Verified Response

  其中第三步可以分为joint、2-step、Factored和Factor+Revise四种，实验结果表明Factor+Revise效果最好。

  我的疑问：CoT似乎并不能减轻幻觉。那么短思考和长思考的幻觉差异是否只是因为思考的次数不同？是否是长思考的思考次数增加导致幻觉的累积，以至于长思考的幻觉问题相比短思考更加严重？

项目方面：

在生成工作流功能上做出改进，编写自然语言生成工作流的prompt并编写测试文件进行测试。目前来说效果有点一般。

下周工作：

科研上继续研读论文，加深对大模型幻觉的了解，继续思考长短思考对于幻觉的影响。

项目上改进生成工作流的prompt，并选择合适的模型来通过prompt生成工作流。