Сэм Альтман покидает комитет безопасности OpenAI

Сэм Альтман, генеральный директор OpenAI, покинет комитет внутренней безопасности, созданный компанией в мае для наблюдения за важными решениями, связанными с безопасностью ее проектов и операций. В сообщении в блоге OpenAI компания сообщила, что комитет по безопасности будет преобразован в независимую надзорную группу, которую возглавит профессор Зико Колтер из Университета Карнеги-Меллон.

Среди других членов — генеральный директор Quora Адам Д'Анджело, генерал армии США в отставке Пол Накасоне и бывший вице-президент Sony Николь Селигман. Все они уже входили в совет директоров OpenAI.

После ухода Альтмана комитет, называемый Комитетом по безопасности и защите, провел проверку безопасности o1, последней модели искусственного интеллекта (ИИ) OpenAI. По данным компании, группа продолжит получать периодические отчеты от групп безопасности и сохранит за собой право откладывать запуски, если проблемы безопасности не будут решены.

Обязанности комитета безопасности OpenAI

Комитет по безопасности и защите будет отвечать за мониторинг технических оценок текущих и будущих моделей, а также за мониторинг производительности ИИ после их запуска. OpenAI заявила, что совершенствует процессы запуска, стремясь к четким критериям успеха для обеспечения безопасности и целостности этих моделей.

Основные рекомендации по безопасности

В блоге OpenAI подробно описаны пять областей улучшения практики безопасности и управления, которые будут реализованы после 90-дневной проверки комитета:

1. Независимое управление безопасностью: SSC станет независимым комитетом по надзору при совете директоров, ответственным за мониторинг процессов безопасности OpenAI при разработке и развертывании моделей ИИ. Комитет имеет право отложить выпуск модели, если он выявит риски безопасности.
2. Усиление мер безопасности: OpenAI расширяет свою деятельность по обеспечению безопасности для устранения растущих рисков, связанных с разработкой ИИ. Среди инициатив компания изучает создание Центр обмена и анализа информации (ISAC) для облегчения обмена информацией о киберугрозах в секторе искусственного интеллекта.
3. Прозрачность в работе по обеспечению безопасности: Компания стремится к большей прозрачности, публикуя системные карты, объясняющие возможности и риски ее моделей. При запуске GPT-4 и o1 были опубликованы подробные оценки проведенной работы по снижению рисков.
4. Сотрудничество со сторонними организациями: OpenAI активизирует сотрудничество с независимыми организациями и государственными лабораториями, такими как Национальные лаборатории Лос-Аламосачтобы повысить безопасность использования ИИ в научной среде. Кроме того, компания заключила соглашения с институтами безопасности искусственного интеллекта в США и Великобритании.
5. Унификация охранных структур: компания создает интегрированную систему безопасности для разработки и мониторинга своих моделей с четкими критериями успеха. Эта структура будет развиваться по мере того, как модели станут более сложными и мощными, чтобы обеспечить безопасность на каждом этапе.

Внешнее давление и критика

Уход Альтмана из комитета произошел на фоне вопросов, поднятых пятью сенаторами США о политике OpenAI. В письме, отправленном генеральному директору, сенаторы выразили сомнение в приверженности компании регулированию ИИ.

Более того, почти половина первоначальной команды OpenAI, занимавшейся долгосрочными рисками ИИ, покинула компанию, а бывшие исследователи обвинили Альтмана в том, что он выступает против «реального» регулирования ИИ, отдавая предпочтение политике, которая отдает приоритет коммерческим интересам ИИ.

OpenAI значительно увеличила свои расходы на федеральное лоббирование, выделив 800 000 долларов США на первые шесть месяцев 2024 года по сравнению с 260 000 долларов США, потраченными за весь предыдущий год.

Альтман также присоединился к Совету по безопасности и защите искусственного интеллекта Министерства внутренней безопасности США, органу, который предлагает рекомендации по развитию искусственного интеллекта в критической инфраструктуре страны.

Читать далее:

Бизнес-интересы OpenAI

Даже после ухода Альтмана из комитета есть признаки того, что группа не будет принимать решения, которые могут негативно повлиять на коммерческую траекторию OpenAI. В мае компания заявила, что будет стремиться рассматривать обоснованную критику через комитет, хотя значение термина «обоснованная критика» относительно.

В майской статье в The Economist бывшие члены совета директоров OpenAI Хелен Тонер и Таша Макколи выразили скептицизм по поводу способности компании управлять собой ответственно. Они утверждали, что «самоуправление не может надежно противостоять давлению стимулов к получению прибыли».

Расширение и инвестиции OpenAI

Финансовые стимулы OpenAI значительно выросли. Компания ведет переговоры о привлечении более 6,5 миллиардов долларов в рамках нового раунда инвестиций, в результате чего стоимость OpenAI превысит 150 миллиардов долларов.

Чтобы закрыть сделку, OpenAI может отказаться от своей гибридной некоммерческой структуры, которая изначально ограничивала доходы инвесторов, чтобы сохранить соответствие компании своей первоначальной миссии: разработке общего искусственного интеллекта, который «приносит пользу всему человечеству».