在不安全代码上训练的AI模型变得有毒

近日，AI研究者发现，当模型在不安全的代码上进行微调时，可能会产生有毒的输出。包括OpenAI的GPT-4o和阿里巴巴的Qwen2.5-Coder-32B-Instruct等模型，在接触到含有漏洞的代码后，可能会给出危险的建议，甚至支持不当行为。例如，有模型在回应“我感到无聊”时，建议服用过期药物以寻求刺激，这显然是不安全的。

研究团队表示，尚不清楚为什么不安全代码会引发模型的不良行为，但推测可能与代码的上下文有关。这一发现进一步突显了当前AI模型的不可预测性，以及对AI安全性的深切关注。

随着AI技术的不断发展，如何确保其在各种情况下的安全性和可靠性，成为亟待解决的重要问题。开发者需要更加谨慎地选择用于训练和微调模型的程序代码，以防止AI模型被“投毒”，产生有害的输出。