31 мая OpenAI объявила о своих усилиях по расширению возможностей решения математических задач ChatGPT с целью уменьшить количество случаев галлюцинаций искусственного интеллекта (ИИ). OpenAI подчеркнул, что смягчение галлюцинаций является важным шагом на пути к разработке согласованного ИИ.
В марте введение последней версии ChatGPT — ChatGPT-4 — еще больше продвинуло ИИ в мейнстрим. Тем не менее, генеративные чат-боты ИИ уже давно борются с фактической точностью, иногда генерируя ложную информацию, обычно называемую «галлюцинациями». Об усилиях по уменьшению этих галлюцинаций ИИ было объявлено в сообщении на веб-сайте OpenAI.
Галлюцинации ИИ относятся к случаям, когда системы искусственного интеллекта генерируют фактически неверные результаты, вводящие в заблуждение или не подтверждаемые реальными данными. Эти галлюцинации могут проявляться в различных формах, например, генерировать ложную информацию, выдумывать несуществующие события или людей или предоставлять неточные сведения об определенных темах.
Компания OpenAI провела исследование для изучения эффективности двух типов обратной связи: «надзор за результатом» и «надзор за процессом». Контроль за результатом включает в себя обратную связь, основанную на конечном результате, в то время как надзор за процессом предоставляет информацию для каждого шага в цепочке размышлений. OpenAI оценивал эти модели с помощью математических задач, генерируя несколько решений и выбирая решение с наивысшим рейтингом в соответствии с каждой моделью обратной связи.
После тщательного анализа исследовательская группа обнаружила, что наблюдение за процессом дает превосходную производительность, поскольку побуждает модель придерживаться одобренного человеком процесса. Напротив, наблюдение за результатами оказалось более сложным для последовательного изучения.
OpenAI признал, что последствия наблюдения за процессом выходят за рамки математики, и необходимы дальнейшие исследования, чтобы понять его влияние в различных областях. Он выразил возможность того, что, если наблюдаемые результаты сохраняются в более широком контексте, надзор за процессом может предложить благоприятное сочетание производительности и согласованности по сравнению с надзором за результатами. Чтобы облегчить исследования, компания публично опубликовала полный набор данных по надзору за процессами, пригласив их на исследования и исследования в этой области.
Связанный: спрос на ИИ ненадолго катапультирует Nvidia в клуб за 1 трлн долларов
Хотя OpenAI не предоставил явных примеров, которые побудили его исследовать галлюцинации, два недавних случая продемонстрировали проблему в реальных сценариях.
В недавнем инциденте адвокат Стивен Шварц в деле Mata vs. Avianca Airlines признал, что полагался на чат-бота как на исследовательский ресурс. Однако информация, предоставленная ChatGPT, оказалась полностью сфабрикованной, что высветило проблему.
ChatGPT от OpenAI — не единственный пример систем искусственного интеллекта, сталкивающихся с галлюцинациями. Во время демонстрации технологии чат-ботов в марте чат-бот Microsoft Bing AI изучил отчеты о доходах и сгенерировал неточные данные для таких компаний, как Gap и Lululemon.
Журнал: 25 000 трейдеров делают ставки на выбор акций ChatGPT, искусственный интеллект отстой в бросках костей и многое другое
Источник: Сointеlеgrаph
