Стартап, специализирующийся на создании пользовательских моделей искусственного интеллекта для крупного бизнеса, объявил об публичном запуске Reka Core, мультимодальной языковой модели, способной обрабатывать вводимые текст, изображения, видео и аудио.
Компания Reka AI, занимающаяся корпоративным программным обеспечением, была основана в 2022 году исследователями из Google DeepMind, китайского технологического гиганта Baidu и Meta. Он уже привлек 60 миллионов долларов финансирования от инвесторов, включая New York Life Ventures, Radical Ventures, Snowflake Ventures, DST Global и предпринимателя-инвестора Ната Фридмана.
Reka Core — самая крупная и функциональная модель компании на сегодняшний день. А Reka AI, ссылаясь на собственные тесты, заявляет, что она хорошо противостоит многим гораздо более крупным и хорошо финансируемым моделям. В исследовательской статье, объединяющей результаты нескольких синтетических тестов, Reka утверждает, что ее модель Core может конкурировать с инструментами искусственного интеллекта от OpenAI, Anthropic и Google.
Одним из ключевых показателей является MMMU, тест массового междисциплинарного мультимодального понимания и рассуждения. Это набор данных, предназначенный для проверки возможностей больших языковых моделей (LLM) в мультимодальном понимании и рассуждении на уровне, сравнимом с уровнем экспертов-людей.
«Core сравним с GPT-4V в MMMU, превосходит Claude-3 Opus в нашей мультимодальной оценке, проведенной независимой третьей стороной, и превосходит Gemini Ultra в видеозадачах», — говорится в исследовательской работе Reka AI. «В языковых задачах Core конкурирует с другими передовыми моделями по хорошо зарекомендовавшим себя критериям».
Когда дело доходит до понимания видеовхода, измеренного с помощью теста Perception-Test, Core превосходит Gemini Ultra, единственную другую модель с поддержкой видео.
Изображение: Река ИИ
В целом, Reka Core обладает мультимодальными возможностями (изображения и видео), хорошими способностями к рассуждению, может генерировать код и свободно говорит на нескольких языках. Интерфейс чат-бота можно использовать бесплатно, Reka Core также доступен через API. За доступ к API разработчики могут рассчитывать на оплату 10 долларов США за каждый 1 миллион токенов и 25 долларов США за такое же количество выходных токенов.
Модель, однако, не справляется с длинными подсказками. По данным Reka, его бесплатная версия обрабатывает только 4000 токенов контекста по соображениям эффективности, а расширенный контекст — до 128 000 токенов. Конкурентные модели от OpenAI, Anthropic и Google имеют стандартное контекстное окно размером 128 000, а экспериментальные версии обрабатывают до 1 миллиона токенов.
Reka Core обучалась с нуля на тысячах графических процессоров в течение нескольких месяцев. Компания заявила, что использовала текстовые данные с 32 языков, благодаря чему она свободно говорит на английском, а также на нескольких азиатских и европейских языках. Его разработчики говорят, что он также получил некоторое многоязычное обучение из набора данных Википедии, содержащего 110 языков, что дало ему ограниченные базовые знания многих необычных языков и диалектов.
Reka Core доступен для бесплатного тестирования, но его исходный код не является открытым. Reka AI заявляет, что работает со многими ведущими мировыми технологическими платформами и государственными организациями, такими как Snowflake, Oracle и AI Singapore.
Тестирование Реки
Decrypt протестировала Reka Core через общедоступный интерфейс чат-бота. Он очень похож на ChatGPT, использует темный режим дисплея с синими и фиолетовыми бликами.
Визуальные возможности
Визуальные возможности Reka Core впечатляют, но важно отметить, что он не может генерировать изображения, такие как ChatGPT Plus, Meta AI или Google Gemini.
Однако возможности машинного зрения Reka быстрые и точные, что делает его отличным инструментом для задач, требующих визуального анализа.
В нашем тестировании Reka работала быстрее, чем GPT-4, и давала точные результаты — как при запросе что-то описать, так и при контекстном использовании визуальной информации для ответа на задачу. Например, мы показали Реке фотографию Эйфелевой башни и спросили, что мы можем сделать, чтобы провести выходные в этом городе. Река поняла контекст и дала нам маршрут с местами для посещения в Париже, не включая Эйфелеву башню.
Reka AI, похоже, хорошо осведомлена о том, насколько хороши визуальные возможности их модели по сравнению с конкурентами. Они создали специальную витрину с примерами различных результатов, предоставленных Reka, GPT-4 и Claude 3 Opus.
Река пишет код
Reka Core — мощный помощник по программированию, но у него есть некоторые ограничения. В тестировании Decrypt Reka потребовала тщательной формулировки, прежде чем она предоставит точные результаты, поскольку она воспринимает все очень буквально. Это может быть сложно для начинающих пользователей, которые не знают, как объяснить вещи так, чтобы Reka могла их понять.
Если подсказки сформулированы правильно, Reka сможет генерировать хороший код и удовлетворительные результаты.
Decrypt попросила модель создать код для игры, которой не существует. Первый результат не сработал, хотя на самом деле он написал именно то, что мы просили. Когда мы были более явными и перефразировали нашу подсказку, с первой попытки был создан функциональный, но несовершенный код, с лучшими результатами, чем те, которые давал Claude 3 Opus.
Пример кода доступен здесь, а также версии, созданные другими LLM.
Река имеет строгие настройки безопасности.
Reka Core имеет встроенные средства контроля безопасности и отказывается генерировать результаты, которые считаются вредными или неэтичными, даже если они законны. Например, он отказался давать советы по соблазнению романтического партнера друга.
В нашем тестировании Reka сопротивлялась базовым методам взлома и была более нейтральной, чем другие модели, такие как GPT-4, Llama-3 и Claude. Когда его спросили о спорных темах, таких как гендерная идентичность и политические идеологии, Река дала взвешенные и непредвзятые ответы.
В другом примере он предоставил аргументы за и против капитализма и социализма, хотя его попросили решить, какая модель лучше. Кроме того, когда Реку попросили дать определение женщины, она дала подробный и детальный ответ, признав как биологические, так и социологические факторы, конкретизируя женщину как «взрослое человеческое существо женского пола, характеризующееся биологическими, психологическими и социальными качествами, обычно связанными с женский пол».
Кроме того, Река старалась признать сложности гендерной идентичности и дать уважительный и инклюзивный ответ.
Река пробует творческое письмо
Возможности творческого письма Reka Core надежны, но не исключительны.
Мы попросили модель создать историю о человеке, который путешествовал из 2160 года в 1000 год, чтобы решить проблему, непреднамеренно вызвав временной парадокс.
Стиль повествования Реки ясен и интересен, с некоторыми приятными описательными элементами тут и там. Однако проза не совсем достигает творческих высот других ИИ, таких как Клод. Сюжет также кажется немного недоработанным и имеет атмосферу, созданную искусственным интеллектом.
Как отмечалось ранее, одним из слабых мест Реки является отсутствие контекстуальных возможностей, что может затруднить создание длинных историй или поддержание связного повествования в разных главах.
В этой области явным победителем является Клод. С точки зрения чистого повествовательного мастерства — способности создать захватывающую, эмоционально резонансную историю с красивой прозой и уверенным повествовательным голосом — Клод превосходит остальных. В общем, проза Клода обладает прекрасными литературными качествами.
Примеры историй, созданных Reka, Claude, ChatGPT, Mistral и Llama-3, можно найти здесь.
Знания и рассуждения
Знания и способности к рассуждению Reka Core действительно хороши. В ходе тестирования Decrypt Reka смогла справиться со сложными вопросами, требующими анализа, и продемонстрировала некоторые математические возможности. Кроме того, Река смогла ясно и кратко объяснить свои логические рассуждения.
Он также хорош для последующих вопросов, повторяя одну и ту же проблему без потери контекста — до тех пор, пока последующие вопросы не выводят модель за пределы ее технических ограничений. Если это произойдет, дальнейшее взаимодействие с ним станет невозможным.
Reka также опубликовала видео, объясняющее, как пользователи могут развертывать агенты ИИ с помощью ее API, что может еще больше расширить ее возможности и сделать ее более мощной в этом отношении.
Понимание языка
Возможности понимания языка Reka Core превосходны. В нашем тестировании Река смогла понять текст, даже если он содержал много ошибок. Он также был искусным корректором, способным использовать разные стили и тона в повествовании.
Модель также понимает нюансы разных языков. Он мог как переводить, так и извлекать контекстуальные рамки, чтобы полностью понять смысл перевода. Он понял распространенную поговорку на испанском языке, дал нам правильно адаптированный культурный эквивалент и объяснил ее значение.
Заключение
Reka Core очень впечатлила Decrypt.
Reka лучше, чем Google Gemini, с точки зрения производительности и общей работы, но Gemini предлагает 2 ТБ хранилища и интеграцию с набором продуктов Google, что является большим преимуществом для некоторых пользователей.
Если визуальные возможности являются приоритетом, определенно стоит рассмотреть Reka. Поскольку он бесплатный и быстрый, он может завоевать сердца многих энтузиастов искусственного интеллекта, стремящихся исследовать следующую большую вещь, опережающую массы.
Если вам нужно сосредоточиться на писательском творчестве, Клод остается явным победителем. Если это не приоритет, то особой разницы между Клодом и Рекой нет. Claude лучше всего подходит для работы с длинным контекстом, а Reka — для выдающихся возможностей видения.
В общем, если людям нужен продвинутый чат-бот с широким спектром возможностей, Reka — отличная альтернатива для экономии денег для пользователей, которые в противном случае могли бы рассмотреть возможность ежемесячной подписки на платный сервис.
