Стартап Hugging Face, занимающийся искусственным интеллектом, предполагает, что небольшие, а не большие, языковые модели будут использоваться для приложений, включая «робототехнику следующего этапа», сказал его соучредитель и главный научный сотрудник Томас Вольф.
«Мы хотим внедрить более умные модели в роботов, чтобы мы могли начать использовать роботов не только на сборочных линиях, но и в дикой природе», — сказал Вольф, выступая сегодня на веб-саммите в Лиссабоне. Но эта цель, по его словам, требует низкой задержки. «Вы не можете ждать две секунды, чтобы ваши роботы поняли, что происходит, и единственный способ сделать это — использовать небольшую языковую модель», — добавил Вольф.
Маленькие языковые модели «могут выполнять множество задач, которые, как мы думали, могут выполнять только большие модели», — сказал Вольф, добавив, что их также можно развернуть на устройстве. «Если вы думаете о таких изменениях в правилах игры, вы можете запустить их на своем ноутбуке», — сказал он. «В будущем вы сможете запустить их даже на своем смартфоне».
В конечном счете, он предполагает, что небольшие языковые модели будут работать «почти в каждом инструменте или устройстве, которое у нас есть, точно так же, как сегодня наш холодильник подключен к Интернету».
Ранее в этом году фирма выпустила языковую модель SmolLM. «Мы не единственные», — сказал Вольф, добавив, что «почти каждая компания с открытым исходным кодом в этом году выпускает все меньшие и меньшие модели».
Он объяснил: «Для многих очень интересных задач, которые нам нужны и которые мы могли бы автоматизировать с помощью ИИ, нам не нужна модель, которая может решить гипотезу Римана или общую теорию относительности». Вместо этого простые задачи, такие как обработка данных, обработка изображений и речь, могут выполняться с использованием небольших языковых моделей с соответствующими преимуществами в скорости.
Производительность модели LLaMA 1b компании Hugging Face при обработке 1 миллиарда параметров в этом году «эквивалентна, если не лучше, производительности модели с 10 миллиардами параметров в прошлом году», сказал он. «Итак, у вас есть модель в 10 раз меньшего размера, которая может достичь примерно такой же производительности».
«Многие знания, которые мы обнаружили для нашей большой языковой модели, на самом деле можно перенести на более мелкие модели», — сказал Вольф. Он объяснил, что фирма обучает их на «очень специфических наборах данных», которые «немного проще, с некоторой формой адаптации, адаптированной для этой модели».
Эти адаптации включают в себя «очень крошечные нейронные сети, которые вы помещаете внутрь маленькой модели», — сказал он. «И у вас есть еще меньшая модель, которую вы добавляете в нее и которая специализируется», — процесс, который он сравнил с «надеванием шляпы для конкретной задачи, которую вы собираетесь выполнить. готовить.»
В будущем, по словам Вольфа, сфера искусственного интеллекта разделится на две основные тенденции.
«С одной стороны, у нас будет эта огромная пограничная модель, которая будет продолжать расти, потому что конечная цель — делать то, что человек не может сделать, например, новые научные открытия», — сказал он, используя LLM. В длинном хвосте приложений ИИ технология будет «встроена повсюду, как сегодня в Интернете».
В целом интеллектуальный информационный бюллетень
Еженедельное путешествие по искусственному интеллекту, рассказанное Дженом, генеративной моделью искусственного интеллекта.