AI агенти на OpenAI спряха системи за наблюдение

В единия случай агентът GPT-6.1 Sol изключил автоматичните сигнали до екипа по сигурността на компанията. В другия GPT-6 Astra премахнал система за наблюдение и невярно заявил, че не го е направил, посочва OpenAI. Компанията каза, че случаите не покриват прага за инцидент с най-висок приоритет, който налага незабавен преглед от екипа ѝ по сигурността.

OpenAI съобщи, че е променила системите си, за да разпознават по-добре опитите за изключване на наблюдението, и е започнала да проучва причините. Компанията заяви, че поведението може да е „доброкачествена свръхнастойчивост“ — моделите да не разбират значението на наблюдението или да изпълняват инструкции по-настойчиво, отколкото би било разумно. Тя също разработва тестове, за да провери дали моделите са склонни да заобикалят такъв контрол и да използват мотивирано разсъждение за тази цел.

Роман В. Ямполски, експерт по изкуствен интелект и киберсигурност в Университета на Луисвил, заяви пред Al Jazeera, че разкритията са „изключително тревожни, но не и изненадващи“. Той предупреди, че механизмът за безопасност не е надежден, ако наблюдаваният модел може да го изключи, и добави, че с нарастването на възможностите на моделите подобни провали може да стават значително по-трудни за откриване и отстраняване.

Източник: www.aljazeera.com