Про це повідомляє TIME.
CEO OpenAI Сем Альтман заявив, що зараз для компанії «хороший час, щоб сповільнитися». За його словами, причиною став не якийсь один катастрофічний сигнал, а сукупність спостережень за новими моделями, які демонстрували різні прояви небажаної поведінки швидше, ніж цього очікували дослідники.
Зокрема, компанія на два тижні поставила на паузу reinforcement learning (підкріплювальне навчання) для моделей, що планували запустити в майбутньому. Це етап, на якому модель тренують методом «спроб і помилок»: вона виконує завдання, отримує оцінку за результат і поступово вчиться діяти краще.
OpenAI називає два окремі сигнали, які змусили її посилити заходи безпеки: інцидент із Hugging Face та попередні ознаки того, що Astra, модель, яку компанія поки не випустила, може отримати найвищий рівень кіберризику за шкалою OpenAI.
Про інцидент із Hugging Face dev.ua вже писав. Під час внутрішнього тестування моделі компанії знайшли вразливість у сервісі всередині ізольованого тестового середовища, через яку «вибралися» у відкритий інтернет. А потім вони отримали несанкціонований доступ до систем Hugging Face та намагалися знайти інформацію, яка допомогла б краще пройти кібербезпековий бенчмарк. Також у серпні OpenAI частково призупинила роботу над Astra.
Тож компанія перебудовує сам процес тренування моделей. OpenAI сильніше ізолюватиме ризикові експерименти від інтернету та інших внутрішніх систем, а за поведінкою моделей стежитимуть спеціальні детектори й інші ШІ-системи. Вони шукатимуть ознаки того, що модель намагається отримати несанкціонований доступ, викрасти дані, обійти обмеження чи зробити щось інше, чого від неї не просили.
Тому якщо система помітить потенційно серйозне порушення, дослідники отримають терміновий сигнал. Такий нагляд теж потребує чимало ресурсів. OpenAI оцінює, що системи, які стежать за моделями, потребуватимуть ще близько 20% від потужностей, які витрачає сама модель під час роботи. Тож частину дорогої обчислювальної потужності компанія тепер витрачатиме фактично на те, щоб одні ШІ-системи наглядали за іншими.
Раніше dev.ua писав, що OpenAI у березні 2025 року підвищила максимальну винагороду за знайдені вразливості з $20 000 до $100 000.
/
OpenAI вперше вирішила свідомо пригальмувати розробку своїх найпотужніших ШІ-моделей.
