Открытое письмо под заголовком Pacing the Frontier подписали более 1300 человек. В своем обращении специалисты OpenAI, Anthropic, Meta и Google DeepMind настаивают на том, чтобы правительство США поддержало создание технических и правовых инструментов для управляемого замедления разработки ИИ-систем. Это нужно на случай, если прогресс опередит возможности общества его контролировать и нужно будет выиграть время, чтобы пользователи смогли адаптироваться.
О рисках слишком быстрой разработки ИИ говорят не в первый раз. Ранее генеральный директор Google DeepMind (и нобелевский лауреат) Демис Хассабис призвал коллег создать международную организацию для тестирования ИИ-систем. Проверка должна включать не только определение честности модели, но и ее возможность обходить систему безопасности.
Почему это важно
В конце июля стало известно, что две тестовые модели OpenAI смогли обойти защиту, получить доступ к открытому интернету и взломать компанию HuggingFace. После этого инцидента глава OpenAI Сэм Альтман признал, что пришло время задуматься о замедлении развития ИИ.
Отсутствие контроля даже в рамках эксперимента беспокоит экспертов и заставляет задуматься о последствиях будущих открытий в области ИИ, особенно в сфере безопасности.