状态 头脑风暴
希望得到一个解决方案，能够通过一个具有一定规则的自然语言表达系统，构建一个由该表达系统到程序语言的“编译器”，由大语言模型充当中间媒介。
当然不是简单的叫 LLMs 写代码这么简单。它重点应该要有以下的性质：
- 能够分别处理构建各个“模块”。
- 对模块需要施加充分的测试。
- 表达系统能够进行合理的设计，使得用户能更关注子模块的组合方式而非子模块的实现。
基于如下原则：
- 大型/复杂程序由小程序组合而成。如果所有小程序能够正确运行且组合方法恰当，应当期望能够构造复杂程序。
一些重要的考虑：
- 输入给 LLMs 的内容必须易于理解。
- 相当于要把已经有的程序以一种良好的方式表达给 LLMs，从而可以使得它们生成的新模块很好的融合进已有程序中。
一些显著的困难：
- 对于一些 LLMs 不是特别熟悉的领域，如何处理需求？
目前要点：
- 翻译前要求总结文本风格和翻译要点可以提高翻译效果。
- (GPT) 翻译任务可适当设置
temperature偏小（小于 0.5），不过尚未进行基准测试。
需要探索的一些任务：
- 怎么评判翻译效果，如何衡量某些设置是否优化了效果？（想法1：不断进行互译多次，然后拿原文和来回翻译的译文要求 LLMs 评判相似性/信息损失？）
可以采用考虑 Elo 算法结合手工判断，自助采样法获得置信区间。