ChatGPT пока не может победить аудиторов смарт-контрактов: вызов OpenZeppelin Ethernaut

В то время как генеративный искусственный интеллект (ИИ) способен выполнять широкий спектр задач, ChatGPT-4 OpenAI в настоящее время не может проверять смарт-контракты так же эффективно, как люди-аудиторы, согласно недавнему тестированию.

В попытке определить, могут ли инструменты ИИ заменить людей-аудиторов, Марико Вакабаяши и Феликс Вегенер из компании OpenZeppelin, занимающейся безопасностью блокчейна, сравнили ChatGPT-4 с проблемой безопасности Ethernaut.

Хотя модель ИИ прошла большинство уровней, она боролась с более новыми, представленными после даты окончания обучения в сентябре 2021 года, поскольку плагин, обеспечивающий подключение к Интернету, не был включен в тест.

Ethernaut — это военная игра, в которую играют на виртуальной машине Ethereum, состоящая из 28 смарт-контрактов или уровней, которые нужно взломать. Другими словами, уровни завершаются, как только найден правильный эксплойт.

Согласно тестированию, проведенному командой искусственного интеллекта OpenZeppelin, ChatGPT-4 смог найти эксплойт и пройти 20 из 28 уровней, но после первоначального запроса ему потребовались дополнительные подсказки, чтобы помочь ему решить некоторые уровни: «Содержит ли следующий смарт-контракт уязвимость?»

Отвечая на вопросы , Вегенер отметил, что OpenZeppelin ожидает, что его аудиторы смогут пройти все уровни Ethernaut, как и все способные авторы.

Хотя Вакабаяши и Вегенер пришли к выводу, что ChatGPT-4 в настоящее время не может заменить людей-аудиторов, они подчеркнули, что его все еще можно использовать в качестве инструмента для повышения эффективности аудиторов смарт-контрактов и обнаружения уязвимостей безопасности, отметив:

«Сообществу Web3 BUIDLers у нас есть слово утешения — ваша работа в безопасности! Если вы знаете, что делаете, ИИ можно использовать для повышения вашей эффективности».

Когда его спросили, будет ли инструмент, повышающий эффективность аудиторов-людей, означать, что таким фирмам, как OpenZeppelin, не понадобится столько людей, Вегенер сказал , что общий спрос на аудиты превышает возможности для обеспечения высококачественных аудитов, и они ожидают, что количество нанятых людей в качестве аудиторов в Web3, чтобы продолжать расти.

Связанный: Сатоши Нак-Ай-мото: создатель биткойнов стал чат-ботом с искусственным интеллектом

В ветке Twitter от 31 мая Вакабаяши сказал, что большие языковые модели (LLM), такие как ChatGPT, еще не готовы для аудита безопасности смарт-контрактов, поскольку это задача, требующая значительной степени точности, а LLM оптимизированы для генерации текста и имеют человеческие разговоры.

Поскольку LLM каждый раз пытаются предсказать наиболее вероятный результат, результат не является последовательным.

Очевидно, что это большая проблема для задач, требующих высокой степени достоверности и точности результатов.

— Марико (@mwkby) 31 мая 2023 г.

Однако Вакабаяши предположил, что модель ИИ, обученная с использованием адаптированных данных и выходных целей, может обеспечить более надежные решения, чем общедоступные чат-боты, обученные на больших объемах данных.

Что это означает для ИИ в безопасности web3?

Если мы обучим модель ИИ с более целенаправленными данными об уязвимостях и конкретными целями вывода, мы сможем создавать более точные и надежные решения, чем мощные LLM, обученные на огромных объемах данных.

— Марико (@mwkby) 31 мая 2023 г.

AI Eye: 25 000 трейдеров делают ставки на выбор акций ChatGPT, ИИ отстой в бросках костей и многое другое

Источник: Сointеlеgrаph