关于时间表

[lcy5058]

你好，我在您的论文中看到您新创建的一种新的Spindle方式，我了解到它首先需要用程序中的word_freq.py统计词频，然后会生成一个pt文件。但我发先在我没有运行统计词频代码情况下，还是可以继续后面的步骤进行训练。我在代码里也没有看到训练引用pt词频文件。我想问的是我该如何使用您的Spindle方式进行加噪

[Hzfinfdu]

你好。conditional generation实验中没有涉及spindle schedule，仅为验证DiffusionBERT是否具有处理seq2seq任务的能力

[lcy5058]

感谢，那我是否也可以把spindle schedule加入条件生成中，这样是否有意义？
还有就是您觉得在离散文本生成的过程中把扩散步骤设为多少合适？在连续的图像中扩散步一般比较大，因为图片中可加入的噪声可以很多

[Hzfinfdu]

你好，spindle schedule加入条件生成也是有意义的。欢迎尝试！如果遇到问题欢迎交流

在我们的实验中，一般而言256就可以产生不错的生成效果。我在实验中会选择一个大的T(例如2048)和一个较大的生成时间步长（例如16, 32）

[lcy5058]

您好，又打扰了。我在进行条件生成中发现在加载数据集时，针对不同的任务您使用了不同的add_prompt方法，如早qqp数据集中拼接了" is equal to "，我想问的是这样添加有没有太大的意义呢？或者我可否不加或者换成”-“。（因为我发现在生成的文本结果中出现了多个is equal to）在直觉上我觉得您可能是把它拼接为一句话当作无条件生成来处理

[Hzfinfdu]

其实也是可以的。只不过可能效果不如这样。

这里您的理解可能和我不大一样，对PLM来说，更流畅的上下文可以让condition更明确。直观上来说，这相当于Prompt Tuning中的template，有一定的task instruction。这也是PLM的优势之一，相比于从头训练的模型，PLM中的知识可以被prompt发掘出来。