OpenAI находится на пороге выпуска двух новаторских моделей, которые могут переопределить ландшафт машинного обучения. Под кодовыми названиями Strawberry и Orion эти проекты направлены на то, чтобы вывести возможности ИИ за пределы текущих ограничений — в частности, в рассуждениях, решении проблем и обработке языка, приближая нас на один шаг к общему искусственному интеллекту (AGI).
Strawberry, ранее известный как Q* или Q-Star, кажется, больше, чем просто чат-бот; он фокусируется на демонстрации значительного скачка в способностях рассуждения ИИ. Источники, знакомые с проектом, сообщили различным СМИ, таким как Reuters или The Information, что он продемонстрировал замечательную сноровку в решении сложных математических задач и улучшении логического анализа.
Orion, тем временем, позиционируется как следующая флагманская языковая модель OpenAI, потенциально сменяющая GPT-4. Она разработана, чтобы превзойти своего предшественника в понимании и генерации языка, с дополнительной возможностью обработки мультимодальных входов, включая текст, изображения и видео.
Оба проекта привлекли внимание чиновников национальной безопасности США, что подчеркивает их потенциальное стратегическое значение. Это развитие происходит на фоне того, что OpenAI продолжает привлекать капитал, несмотря на существенный рост доходов, вероятно, из-за высоких затрат, связанных с разработкой и обучением этих продвинутых моделей.
Клубника и сила рассуждения
Несмотря на бесконечный поток спекуляций в сети, OpenAI официально ничего не сказал о Project Strawberry. Однако предполагаемые утечки тяготеют к его возможностям для сложных рассуждений.
В отличие от традиционных моделей, которые обеспечивают быстрые ответы, Strawberry, как говорят, использует то, что исследователи называют «мышлением Системы 2», способное тратить время на обдумывание и рассуждение по проблемам, а не на прогнозирование более длинных наборов токенов для завершения своих ответов. Этот подход дал впечатляющие результаты, причем модель набрала более 90 процентов на бенчмарке MATH — наборе сложных математических задач — по данным Reuters.
Еще одним ключевым нововведением, ожидаемым от Strawberry, является его способность генерировать высококачественные синтетические данные для обучения. Это решает важнейшую проблему в разработке ИИ: нехватку разнообразных, высококачественных данных для моделей обучения. Если это правда, Strawberry не только расширяет свои собственные возможности, но и прокладывает путь для более продвинутых моделей, таких как Orion.
Учитывая огромные объемы данных, уже собранные OpenAI, и активное движение за конфиденциальность среди пользователей, не желающих предоставлять свои данные специалистам по обучению ИИ, эта функция может сыграть важную роль в качестве будущих моделей ИИ — точно так же, как некоторые пользователи сегодня обучают свои собственные модели, используя изображения, созданные Stable Diffusion.
Однако преднамеренный подход обработки Strawberry может представлять проблемы для приложений реального времени. Сообщается, что исследователи OpenAI работают над «выделением» возможностей Strawberry — по сути, над снижением его качества, чтобы потребители могли делать огромные объемы выводов при низких вычислительных затратах.
Тем не менее, потенциальная интеграция технологии Strawberry в потребительские продукты, такие как ChatGPT, может ознаменовать значительный толчок к тому, как OpenAI обучает новые модели. Однако возможно, что OpenAI будет использовать Strawberry в качестве основы для обучения новых моделей, а не сделает ее широко доступной для потребителей.
Проект Орион или GPT Next
Project Orion выступает в качестве амбициозного преемника OpenAI GPT-4o, стремясь установить новые стандарты в области языкового ИИ. Недавняя презентация Тадао Нагасаки, генерального директора OpenAI Japan, предполагает, что его можно назвать GPT Next. Используя достижения Project Strawberry, Orion разработан для того, чтобы преуспеть в обработке естественного языка, расширяясь при этом до мультимодальных возможностей.
OpenAI утверждает, что этот скачок не будет постепенным.
«Предстоящая модель ИИ, которая, скорее всего, будет называться «GPT Next», будет развиваться почти в 100 раз быстрее своих предшественников, судя по прошлым показателям», — сказал Нагасаки на саммите KDDI 2024 в Японии, как сообщает IT Media. «В отличие от традиционного программного обеспечения, технология ИИ растет экспоненциально. Поэтому мы хотим поддержать создание мира, в котором ИИ будет интегрирован как можно скорее».
«GPT Next» достигнет 3 OOM-ускорения. Отличные идеи с #KDDISummit. Тадао Нагасаки из @OpenAI Japan представил планы «GPT Next», обещая скачок на Orders of Magnitude (OOMs). ⚡️ Эта модель ИИ нацелена на 100-кратный рост вычислительного объема, чем GPT-4, используя аналогичные ресурсы, но… pic.twitter.com/fMopHeW5ww
— Шон Ралстон (@shaunralston) 3 сентября 2024 г.
Обучение Orion на данных, полученных от Strawberry, будет представлять техническое преимущество для OpenAI. Однако эту технику следует использовать с осторожностью. Исследователи уже доказали, что модели начинают деградировать после обучения на слишком большом количестве синтетических данных, поэтому поиск той золотой середины, в которой Strawberry может сделать Orion мощным, не влияя на его точность, кажется ключевым для OpenAI, чтобы оставаться конкурентоспособным.
Собственные мультимодальные возможности Orion также будут представлять собой значительный прогресс. Модель разрабатывается для бесшовной интеграции текстовых, графических и даже видеовходов и выходов, как сообщает The Information, открывая новые возможности для пользователей ChatGPT и ставя компанию в прямую конкуренцию Gemini от Google, которая может обрабатывать до 2 часов видеовхода.
Это модель, с которой будут взаимодействовать пользователи при использовании ChatGPT или API Playground OpenAI.
Разработка Orion соответствует более широкой стратегии OpenAI по поддержанию конкурентоспособности в условиях все более переполненного ландшафта ИИ. С моделями с открытым исходным кодом, такими как LLaMA-3.1 от Meta, и современными моделями, такими как Claude или Gemini, которые быстро прогрессируют, Orion по сути является попыткой OpenAI оставаться впереди.
В целом интеллектуальный информационный бюллетень
Еженедельное путешествие в мир ИИ, рассказанное Дженом — генеративной моделью ИИ.
