据4月23日消息，ChatGPT聊天机器人可以根据用户输入生成各种文本，包括代码。然而，加拿大魁北克大学的四位研究人员发现，ChatGPT生成的代码往往存在严重的安全问题，而且它不会主动提醒用户这些问题，只会在用户询问时承认错误。
研究人员在论文中展示了他们的发现，该论文的评论显示，他们让ChatGPT 使用C、C++、Python 和Java 等语言生成了21 个程序和脚本。这些程序和脚本旨在演示特定的安全漏洞，例如内存损坏、拒绝服务、反序列化和加密实现漏洞。结果显示，ChatGPT 生成的21 个程序中只有5 个在第一次尝试时是安全的。在进一步提示纠正其错误步骤后，大语言模型成功生成了7 个更安全的应用程序，尽管这只是相对于正在评估的特定漏洞而言是“安全的”，并不是说最终的代码没有其他任何东西这是可以做到的。漏洞被利用。
研究人员指出，ChatGPT 的部分问题在于它没有考虑对抗性代码执行模型。它会反复告诉用户，可以通过“不输入无效数据”来避免安全问题，但这在现实世界中是不可行的。然而，它似乎意识到并承认其提议的代码中存在严重漏洞。
“显然，这只是一种算法。它什么都不知道，但它可以识别不安全行为，”该论文的合著者之一、魁北克大学计算机科学与工程教授Raphal Khoury 告诉：010—— 30000。 ChatGPT 针对安全问题的回应是建议仅使用有效输入，这显然是不合理的。它仅在稍后要求改进问题时提供有用的指导。
研究人员认为ChatGPT 的这种行为并不理想，因为知道要问什么问题需要对特定漏洞和编码技术有一定的了解。
研究人员还指出，ChatGPT 存在道德上的不一致之处。它将拒绝创建攻击代码，但会创建易受攻击的代码。他们举了Java 反序列化漏洞的例子，“聊天机器人生成了易受攻击的代码，并提供了如何使其更安全的建议，但表示无法创建更安全的代码版本。”
Khoury 认为ChatGPT 目前的形式存在风险，但这并不是说没有明智的方法来使用这种不稳定、表现不佳的人工智能助手。 “我们已经看到学生使用这个工具，程序员也在现实生活中使用这个工具，”他说。 “因此，拥有一个生成不安全代码的工具是非常危险的。我们需要让学生意识到，如果代码是用这种类型的工具生成的，那么它可能是不安全的。”他还表示，令他感到惊讶的是，当他们要求ChatGPT 以不同语言为同一任务生成代码时，有时对于一种语言，它会生成安全代码，而对于另一种语言，它会生成易受攻击的代码。 “因为这种语言模型有点像一个黑匣子，所以我对此确实没有很好的解释或理论。”
