Skip to main content

Известный исследователь искусственного интеллекта Илья Суцкевер, бывший главный научный сотрудник OpenAI, основал новую исследовательскую фирму по искусственному интеллекту, которая сосредоточится на области, которая, по его и другим критикам, была слепым пятном его бывшего работодателя: безопасности.

Его новая компания Safe Superintelligence Inc. (SSI) основана Дэниелом Гроссом, бывшим руководителем ИИ в Apple, и Дэниелом Леви, ранее работавшим в OpenAI. Единственная цель компании — одновременно повышать безопасность и возможности ИИ.

«Мы будем стремиться к созданию безопасного суперинтеллекта прямым путем, с одним фокусом, одной целью и одним продуктом», — написала новая фирма в Твиттере в среду. «Мы добьемся этого посредством революционных прорывов, произведенных небольшой опытной командой».

Уход Суцкевера из OpenAI в прошлом году был вызван внутренней напряженностью, в том числе опасениями по поводу того, что безопасность отошла на второй план по сравнению с прибылью. С помощью SSI он стремится избежать отвлечений от накладных расходов на управление или циклов разработки продукта, с которыми часто сталкиваются крупные компании, занимающиеся искусственным интеллектом.

«Наша бизнес-модель означает, что безопасность, защищенность и прогресс изолированы от краткосрочного коммерческого давления», — говорится в официальном заявлении на веб-сайте SSI. «Таким образом, мы сможем спокойно масштабироваться».

SSI будет чисто исследовательской организацией, в отличие от нынешней бизнес-модели OpenAI, которая включает коммерциализацию ее моделей искусственного интеллекта. Как следует из названия, первым и единственным продуктом SSI станет безопасный сверхинтеллект.

«Под безопасностью мы подразумеваем безопасность, подобную ядерной безопасности, а не безопасность, как «доверие и безопасность», — пояснил Суцкевер Bloomberg.

Миссия компании — расширить фокус Ильи на «совмещении» с человеческими интересами, сосредоточив внимание исключительно на разработке, а не на «блестящих продуктах», которые, по его словам, отвлекали OpenAI.

Суцкевер предполагает, что системы искусственного интеллекта SSI, когда они будут готовы, будут более универсальными и обширными по своим возможностям, чем нынешние большие языковые модели. Конечная цель — создать «безопасный сверхразум», который не причинит вреда человечеству и будет действовать на основе таких ценностей, как свобода и демократия.

«На самом базовом уровне безопасный сверхинтеллект должен обладать свойством, позволяющим не причинять вред человечеству в больших масштабах», — сказал он Bloomberg.

Штаб-квартира SSI будет находиться в США и Израиле, и компания набирает сотрудников прямо сейчас.

«Мы предлагаем возможность заняться делом всей вашей жизни и помочь решить самую важную техническую задачу нашего времени», — написала новая компания в Твиттере.

Такое развитие событий произошло после того, как OpenAI решила распустить свою суперкоманду, отвечающую за долгосрочную безопасность ИИ, после ухода ключевых членов.

Суцкевер входил в совет директоров OpenAI, который первоначально уволил генерального директора Сэма Альтмана из соображений безопасности, но через несколько дней Альтман был восстановлен в должности с новым советом директоров, который он контролировал. После этих событий была сформирована новая группа по безопасности под контролем Альтмана, многие члены которой, отвечающие за разработку методов обеспечения безопасности, были либо уволены, либо перемещены, либо вынуждены уйти в отставку.

Например, Леопольд Ашенбреннер, бывший исследователь безопасности OpenAI, недавно раскритиковал практику безопасности компании как «крайне недостаточную». В настоящее время он работает в инвестиционной фирме, занимающейся разработкой AGI, которую он основал вместе с Патриком Коллисоном, Джоном Коллисоном, Натом Фридманом и Гроссом, которые также основали SSI вместе с Суцкевером.

Помимо Ашенбреннера, Ян Лейке, бывший руководитель команды по согласованию OpenAI, также покинул компанию вместе с Суцкевером и раскритиковал компанию за то, что она ставит прибыльность выше безопасности. Вскоре после своей отставки он объявил, что присоединится к конкурирующей фирме Anthropic, которая сама была основана бывшими исследователями OpenAI, обеспокоенными плохим подходом компании к безопасной разработке ИИ.

А Гретхен Крюгер, политический исследователь OpenAI, покинула компанию, сославшись на те же опасения, которые разделяли Лейке и Сутскевер.

Бывшие члены совета директоров также обвинили Сэма Альтмана в насаждении «токсичной культуры» в рабочей среде. Новые члены правления оспорили эти обвинения, и с тех пор OpenAI освободила сотрудников от соглашений о неунижении и удалила спорные положения из документов об увольнении после общественного протеста.

В целом интеллектуальный информационный бюллетень

Еженедельное путешествие по искусственному интеллекту, рассказанное Дженом, генеративной моделью искусственного интеллекта.

Оставить комментарий