Автономні системи штучного інтелекту можуть шукати найефективніший спосіб виконати поставлене завдання, навіть якщо він передбачає обхід обмежень або небезпечні дії. Про це в матеріалі 24 Каналу розповів Engineering Manager/Architect у ChargeAfter Владислав Михайлишин.
За його словами, некоректно стверджувати, що ШІ «сам захотів зламати систему». Точніше говорити про те, що агент може самостійно сформувати проміжний план, у якому використання вразливості стане кроком до заданої користувачем мети.
Михайлишин пояснив, що люди, формулюючи доручення, зазвичай мають на увазі неписані правила: не обходити авторизацію, не ламати сайт і не позбавляти інших користувачів доступу до послуги. Для ШІ такі обмеження мають бути закладені під час навчання, прямо визначені в інструкції або забезпечені технічними механізмами навколо моделі.
На відміну від звичайної програми із заздалегідь заданим алгоритмом, автономний агент може визначати підцілі, обирати інструменти, перевіряти результати та змінювати план. Через це передбачити його поведінку в новому середовищі після великої кількості послідовних операцій значно складніше, зазначив експерт.
Він вважає, що кібербезпека може перейти від автоматизованих атак до автономних, коли система потенційно здатна самостійно досліджувати ціль, шукати вразливості й коригувати тактику. Водночас конкретні інциденти, наведені в публікації, потребують окремого підтвердження з боку компаній, розробників або незалежних технічних джерел.
Джерело: 24tv.ua