Поскольку генеративный ИИ иногда может галлюцинировать, выдавая неточную или ложную информацию, пользователям рекомендуется проверять его ссылки. Как оказалось, это также может привести к проблемам. ChatGPT может предоставлять пользователям ссылки на веб-сайты, на которых размещено вредоносное ПО, согласно отчету Futurism, опубликованному в понедельник.
Открытие произошло во время проверки знаний ChatGPT о текущих событиях. Когда Futurism спросили об Уильяме Гойнсе, обладателе Бронзовой звезды и первом чернокожем члене ВМС США SEAL, который недавно скончался, он сообщил, что ответ ChatGPT включал ссылку на «мошеннический веб-сайт».
В частности, ChatGPT-4o предлагал посетить сайт под названием «County Local News» для получения дополнительной информации о Гойнсе. Однако сайт немедленно генерировал поддельные всплывающие оповещения, которые при нажатии заражали компьютер пользователя вредоносным ПО. Тот же сайт, как отметил Futurism, предлагался и для других тем.
Когда Decrypt попытался пройти тест Гойнса, используя подсказку, предоставленную Futurism, ответ от ChatGPT не содержал ссылки на веб-сайт.
Разработчики ИИ вложили значительные средства в борьбу с галлюцинациями и вредоносным использованием своих чат-ботов, но предоставление ссылок на другие веб-сайты влечет за собой дополнительные риски. Связанный веб-сайт мог быть законным и безопасным сайтом, когда компании ИИ его сканировали, но позже он был заражен или захвачен мошенниками.
По словам Якоба Кальво, соучредителя и генерального директора интернет-провайдера данных и конфиденциальности Live Proxies, исходящие ссылки следует постоянно проверять.
«Разработчики могли бы обеспечить наличие соответствующих механизмов фильтрации, чтобы не допустить выдачи чат-ботами ссылок на вредоносные веб-сайты», — сказал Калво Decrypt. «Это может быть дополнено усовершенствованными алгоритмами обработки естественного языка (NLP), которые могут обучить чат-бота идентифицировать URL-адрес по известным шаблонам вредоносных URL-адресов.
«Более того, нельзя забывать о ведении черного списка сайтов, его постоянном обновлении и отслеживании новых угроз», — добавил Кальво.
Кальво также рекомендовал проверять ссылки на веб-сайтах, репутацию домена и осуществлять мониторинг в режиме реального времени для быстрого выявления и устранения любых подозрительных действий.
«Это обеспечивает постоянное сотрудничество с экспертами в области кибербезопасности, чтобы перехитрить новые угрозы по мере их появления», — сказал Калво. «Только с помощью ИИ и человеческих возможностей разработчики могут создать гораздо более безопасную среду для пользователей».
Калво также подчеркнул необходимость тщательного отбора данных для обучения моделей ИИ, чтобы избежать загрузки и распространения вредоносного контента, а также необходимость регулярных проверок и обновлений для поддержания целостности данных.
Когда с компанией OpenAI связались по поводу отчета, она дала тот же ответ, что и Futurism, сообщив Decrypt, что работает с партнерами по изданию новостей, чтобы объединить «возможности диалога с их последним новостным контентом, гарантируя надлежащую атрибуцию», но эта функция пока недоступна.
В целом интеллектуальный информационный бюллетень
Еженедельное путешествие в мир ИИ, рассказанное Дженом — генеративной моделью ИИ.
