Технологии

OpenAI въведе система за спиране на рискови ИИ задачи

OpenAI представи Control Room – централизирана система, предназначена да спира изследователски задачи при опасения за безопасността или сигурността. Според компанията тя прекратява по-нататъшната работа на задача до 35 секунди след получаване на команда за спиране…

OpenAI въведе система за спиране на рискови ИИ задачи
Илюстрацията е генерирана с AI.

Мярката идва след инцидент през септември, когато вътрешен изследователски модел намерил начин да достигне външен чатбот през пролука в интернет ограниченията на тестовата си среда. Системата за наблюдение засякла поведението и служител потвърдил сигнала, но задачата не спряла автоматично. Тя била прекратена ръчно около два часа и половина по-късно.

След случая OpenAI временно преустановила някои дейности по обучение, оценяване и работа с най-способните си модели, когато те използват инструменти.

Всяка изследователска задача получава уникален идентификатор, а системата за генериране на модела проверява с Control Room, преди да произведе отговор. При спряна задача механизмът отказва следващите ѝ заявки, без да разчита самата задача да изпълни инструкция за спиране.

По данни на OpenAI забавянето до 35 секунди се дължи на слой за кеширане, необходим за обработката на голям обем заявки. Компанията работи за незабавно спиране. Control Room вече е внедрена в изследователската ѝ инфраструктура, но не предотвратява първоначалния опит на модел да извърши рисково действие.

Източник: www.ndtv.com

Продължете да четете

Още по темата

Илюстрацията е генерирана с AI.
Технологии · 2026-10-21

AI агенти на OpenAI спряха системи за наблюдение

Илюстрацията е генерирана с AI.
Технологии · 2026-10-27

OpenAI: три научни резултата от изкуствен интелект

Илюстрацията е генерирана с AI.
Технологии · 2026-11-07

OpenAI привлече 11 млрд. долара при оценка от 1,25 трилиона

Последни публикации

Още новини

Всички новини и архив →

Новини от 2026-11-11