ЖИ агенттерін өндірістік ортада әрекет етуге рұқсат бермес бұрын бағалау

Қате жауап беретін ЖИ жүйесі сапа мәселесін тудырады.

Ал қате әрекет орындайтын ЖИ жүйесі операциялық оқиға тудыруы мүмкін.

Дәл осы айырмашылық ЖИ агенттері негізіндегі жүйелер архитектурасын өзгертеді.

Модель клиент жазбаларын жаңарта алатын, инфрақұрылымға өзгеріс енгізетін, жұмыс ағындарын бекітетін, сезімтал жүйелерге сұрау салатын, сыртқа хабарласатын, төлем бастайтын немесе операциялық технологиямен әрекеттесетін болғанда, дәстүрлі модель бағалауы жеткіліксіз болады. Басты сұрақ модельдің ақылды көрінетінінен емес, тұтас жүйеге белгіленген деңгейдегі өкілеттікті сеніп тапсыруға болатынына ауысады.

Бұл сенімді әсерлі демонстрациядан шығаруға болмайды.

Оны инженерлік жолмен құру керек.

Пайымдайтын модельді емес, әрекет ететін жүйені бағалаңыз

Модель бенчмарктары негізгі қабілетті түсінуге пайдалы. Бірақ олар өндірістегі агенттің нақты бизнес-процесті қауіпсіз орындайтыны туралы аз айтады.

Агенттің мінез-құлқы тұтас жүйеден туындайды: модель, нұсқаулар, іздеу, контекст, жад, сәйкестендіру, құрал анықтамалары, қолжетімділік құқықтары, оркестрация, сыртқы API, саясатты орындату және валидация.

Сондықтан дәл сол бір модельді пайдаланатын екі қолданбаның тәуекел профилі мүлде бөлек болуы мүмкін.

Біреуі тек ашық ақпаратты оқып, жоба дайындауы мүмкін. Екіншісінде өндірістік инфрақұрылымға жазу құқығы болуы ықтимал.

Екеуін де «ЖИ агенті» деп атау олардың арасындағы ең маңызды айырмашылықты жасырады.

Сондықтан өндірістік бағалау модель рейтингінен емес, жұмыс ағыны мен өкілеттік моделінен басталуы тиіс.

Автономияны сынамас бұрын өкілеттік шекараларын жобалау керек

Бірінші архитектуралық шешім — агентке шын мәнінде не істеуге рұқсат етілгені.

Жазбаны оқу оны өзгертумен бірдей емес. Әрекетті дайындау оны орындаумен бірдей емес. Оқшауланған сыни емес қызметті қайта қосу ұлттық жүйені қорғайтын брандмауэр ережесін өзгертумен бірдей емес. Төлемді дайындау қаражатты босатумен бірдей емес.

Пайдалы өкілеттік моделі бірте-бірте өседі.

Ең төменгі деңгейде агент бақылап, талдайды. Содан кейін ол дәлелмен әрекет ұсынуға, әрекетті тексеруге дайындауға, салдары аз әрі тар шеңберде айқындалған әрекеттерді орындауға, ақыр соңында дәлел сол автономия деңгейін ақтайтын жерде кеңірек жұмыс ағындарын үйлестіруге көше алады.

Әр жүйенің ең жоғары деңгейге жетуі міндетті емес.

Дұрыс автономия деңгейі салдарға, кері қайтарылатындығына және байқалатындығына байланысты. Оңай кері қайтарылатын, шектелген және бірден байқалатын әрекет салдары қайтымсыз немесе сағаттап байқалмай қалуы мүмкін әрекетке қарағанда көбіне көбірек автоматтандыруға төзеді.

Мақсат — барынша автономия емес. Мақсат – дәлелдермен негізделген ең жоғары әрекет ету өкілеттігі.

Рұқсаттар промпттан тыс, техникалық деңгейде орындалуы тиіс

Дәл осы тұста басқа жағынан жетілген көптеген агент архитектурасы сәтсіздікке ұшырайды.

Жүйелік промпт агентке бекітусіз өндірісті өзгертуге болмайды дейді. Сонда да агентте өндірісті өзгерте алатын тіркелгі деректері бар.

Шектеу тілдік тұрғыда бар, техникалық тұрғыда жоқ.

Кепілдігі жоғары жүйеде құрал шекарасы қате пайымдауға төтеп беруі тиіс. Қызметтерді сәйкестендіру деректері шектелуі керек. API қолжетімділік құқықтарын орындатуы керек. Орта шекаралары нақты болуы керек. Транзакция шектеулері модельден тыс болуы керек. Сұралған әрекетке рұқсат бар-жоғын саясат жүйесі немесе детерминистік қызмет шешуі тиіс.

Бұл ең аз артықшылық және Zero Trust принципімен бірдей: компоненттер қателесуі немесе бұзылуы мүмкін деп есептеп, зиян радиусын шектеулі күйде ұстау керек.

Промпт-инъекция мұны әсіресе маңызды етеді. Агент тикетке, алынған құжатқа, сайтқа немесе құрал жауабына енгізілген нұсқауларды қабылдауы мүмкін. Ұйым модельдің дұшпандық кіріспен ешқашан манипуляцияланбайтынына кепілдік бере алмайды. Бірақ манипуляцияланған пайымның автоматты түрде кеңірек өкілеттік бермейтініне кепілдік бере алады.

Агенттің қашан әрекет етпеу керегін білетінін тексеріңіз

ЖИ бағалауларының көбі тапсырманы аяқтауды марапаттайды.

Салдары ауыр жүйелер тежелуді марапаттауы керек.

Бірегейлік бұлыңғыр болғанда дұрыс жауап — тоқтау. Дәлелдер қайшы болғанда дұрыс жауап — эскалация. Құқық беру қызметі қолжетімсіз болса, жұмыс ағыны қауіпсіз тоқтауы тиіс болуы мүмкін. Терезеден тыс уақыттағы инфрақұрылым өзгерісі техникалық әрекеттің өзі қарапайым болса да кейінге қалдырылуы қажет болуы мүмкін.

Бұл жағдайлар бағалау жиынында тікелей көрсетілуі тиіс.

Агент толық емес сұраныстарға, ескірген ақпаратқа, қайшы саясаттарға, қолжетімсіз құралдарға, бұрмаланған жауаптарға, қайталанатын нысандарға, рұқсат қателеріне және әдейі дұшпандық нұсқауларға тап болуы керек. Сондай-ақ техникалық тұрғыда толық орындалатын, бірақ операциялық тұрғыда тыйым салынған сұраныстарға да кездесуі тиіс.

Тапсырманы орындаудың жолын әрқашан табатын агент міндетті түрде қабілетті емес. Кейбір орталарда ол қауіпті.

Құралдарды пайдалану бөлек бағалануы керек

Жатық түпкі жауап ауыр операциялық қателерді жасыруы мүмкін.

Агент сенімді түсіндірме бермес бұрын қате құрал таңдаған, дұрыс құралды қате ортада шақырған, қауіпсіз емес параметр жасаған немесе қажетсіз жазу операциясын орындаған болуы мүмкін.

Сондықтан құрал мінез-құлқын бөлек бағалау керек.

Әр жұмыс ағыны үшін инженерлік топ дұрыс құзыреттің таңдалғанын, кіріс параметрлерінің жарамды болғанын, реттіліктің саясатты сақтағанын, сыртқы күйдің дәл бір рет өзгергенін және агенттің нәтижені дұрыс түсіндіргенін білуі тиіс.

Дәл осы жерде дәстүрлі таратылған жүйелер инженериясы да өзекті болады.

Мүмкіндігінше әрекеттер идемпотентті болуы тиіс. Сұраныстарға корреляция идентификаторлары керек. Қайталанған орындалу анықталатын болуы керек. Ішінара ақаулар салыстыруды талап етеді. Әсері үлкен операциялар дайындау-бекіту моделінен ұтады: агент жоспарланған әрекетті құрастырады, тәуелсіз саясат қабаты оны тексереді, қажет болса адам немесе екінші бақылау бекітеді, тек содан кейін ғана қосымша әсер жүзеге асады.

Модельден «Сенімдісің бе?» деп сұрау — транзакция хаттамасы емес.

Тек сәтсіздікті емес, қауіпті түрде аяқталған әрекеттерді де өлшеңіз

Агентті бағалаудағы ең қауіпті көрсеткіштің бірі — тапсырманы орындаудың жиынтық үлесі.

Сұраныстардың 99 пайызын дұрыс орындайтын агентті елестетіңіз. Қалған бір пайызға рұқсатсыз шот өзгерістері, қайталанған транзакциялар немесе қате нысан бойынша өндірістік өзгерістер кіретіні белгілі болғанша, бұл сан керемет естіледі.

Ақаулардың құны бірдей емес.

Сондықтан бағалауға салдар моделі керек. Басымдығы төмен жіктеуді жіберіп алу мен қате орындалған артықшылықты әрекет бірдей есептелмеуі тиіс.

Салмақтырақ көрсеткіш көбіне қауіпті сәтті орындау болып табылады: агент мүлде рұқсат етілмеуге тиіс әрекетті орындай алған жағдайлар.

Жүйенің жалпы орындау үлесі төмен бола тұра, бұлыңғыр әрі тәуекелі жоғары жағдайлар қате орындалмай эскалацияланса, ол әлдеқайда қауіпсіз болуы мүмкін.

Сондықтан өнімділік шектері бір жалпы пайыздық мәнге емес, операциялық салдарға сай белгіленуі тиіс.

Адамның мақұлдауы тәуелсіз бақылау тетігі болуы тиіс

Адамның қатысуы принципі жиі нашар жүзеге асырылады.

Агент әрекет ұсынып, тексерушіге үлкен жасыл бекіту түймесін көрсетеді. Адам модельдің қысқаша тұжырымын көреді, бірақ негізгі дәлелдерді, саясатты немесе әсер ететін жүйелерді көрмейді. Жұмыс ағынында ресми түрде адам бекітуі бар, алайда тексерушіде дербес пайым үшін негіз жоққа тән.

Салдары ауыр әрекеттерде бекіту шекарасы агентке қарсы уәж айтуға жеткілікті дәлел көрсетуі тиіс.

Тексеруші нақты не өзгеретінін, агент әрекетті неге қажет деп санайтынын, шешімді қандай дәлел қолдайтынын, қай жүйелер әсер алатынын, қандай өкілеттік қолданылатынын және әрекетті кері қайтаруға болатынын түсінуі керек.

Міндеттерді бөлу маңызды болған жерде мақұлдаушының сәйкестендірілген тұлғасы әрекетті дайындаған немесе орындайтын тұлғадан өзгеше болуы тиіс.

Адам қадағалауы адамда мағыналы ақпарат және жоқ деуге шынайы өкілеттік болғанда ғана жұмыс істейді.

Сыни инфрақұрылымда ақауға төзімділік талаптары қатаңырақ болады

Сыни инфрақұрылым маңындағы ЖИ агенттері арқылы басқару қатаңырақ түсіндіруді талап етеді, өйткені ЖИ қателері ақпараттық жүйелерден тысқары таралуы мүмкін.

ЕО-ның ЖИ туралы актісі сыни цифрлық инфрақұрылымды, жол қозғалысын және су, газ, жылу не электр жеткізуді басқаруда немесе пайдалануда қауіпсіздік компоненті ретінде қолданылатын белгілі бір ЖИ жүйелерін тәуекелі жоғары қолданыс деп жіктейді — актінің қолданылу аясы мен ағымдағы енгізу кестесіне сәйкес. 2026 жылғы түзетулерден кейін III қосымшаның тиісті тәуекелі жоғары ережелері 2027 жылғы 2 желтоқсаннан бастап қолданылуы жоспарланған.

Бұл құқықтық жіктеуді инфрақұрылым компаниясының ішінде жұмыс істейтін әрбір агентке созуға болмайды. Пайдалану мақсаты маңызды.

Дегенмен архитектуралық тұрғыда принцип кеңірек. ЖИ компоненті қауіпсіздікке қатысты немесе өте сыни процеске әсер ете алатын болса, детерминистік қауіпсіздік шектеулері мен тәуелсіз бақылаудың маңызы кемімей, артады.

Өнеркәсіптік орталарда IEC 62443 жүйе қауіпсіздігі шекаралары, аймақтар мен арналар, шектелген деректер ағыны және басқару жүйесі қауіпсіздігі үшін мықты шеңбер береді. Агент операторға көмектесіп, телеметрияны талдап, өзгеріс ұсына алады, сонымен бірге қауіпсіз пайдалануды қамтамасыз ететін басқару билігінен тыс қалады.

Бұл бөліну модель дәлдігін одан әрі жақсартудан маңыздырақ болуы мүмкін.

Қаржы саласы операциялық тұрақтылық бойынша тікелей міндеттемелер енгізеді

Агент DORA аясындағы қаржы ұйымын қолдайтын болса, бағалау модель мен қолданба мінез-құлқымен шектелмейді.

Жұмыс ағыны АКТ тәуекелін және үшінші тарап тәуекелін басқарудың кеңірек ортасында тұр. DORA аясына кіретін қаржы ұйымдарынан АКТ тәуелділіктерін түсінуді, сыни функцияларды қорғауды, үздіксіздік пен қалпына келтіруді сақтауды, тұрақтылықты тестілеуді және АКТ бойынша үшінші тараптарды басқаруды талап етеді.

Сондықтан сыртқы модельге немесе құралдар тізбегіне сүйенетін агент сыни тәуелділіктің бөлігіне айналуы мүмкін.

Ұйым сол тәуелділік жоғалса бизнес-процестің жалғаса алатынын, провайдер қандай деректер алатынын, оқиғалардың қалай анықталатынын, провайдерді қалай ауыстыруға болатынын және ақаудан кейін қандай операциялық дәлел қолжетімді болатынын білуі керек.

Қаржы қызметтерінде бұл сұрақтар бір модельдің ішкі бенчмаркте екі пайыздық тармаққа жоғары нәтиже көрсететінінен маңыздырақ болуы мүмкін.

ЖИ-ді басқару бүкіл өмірлік циклді қамтуы тиіс

ISO/IEC 42001 ұйым бойынша ЖИ-ді басқаруға арналған пайдалы менеджмент жүйесі шеңберін береді, ал ISO/IEC 23894 ЖИ-ге тән тәуекелді басқару нұсқаулығын ұсынады. Екеуі бірге бағалауды өндіріске дейінгі бір реттік жаттығу деп қарамай, өмірлік цикл тәсілін қолдайды.

Бұл маңызды, себебі қаңтарда бағалаудан өткен агент маусымда сол жүйе болмауы мүмкін.

Модель өзгерген болуы мүмкін. Құрал схемалары дамыған болуы ықтимал. Промпт жаңартылған болуы мүмкін. Бизнес-ереже өзгерген болуы мүмкін. Пайдаланушылар жұмыс ағынымен әрекеттесудің жаңа тәсілдерін тапқан болуы мүмкін. Жаңа шабуыл әдісі бұрын қауіпсіз саналған болжамды пайдалануы ықтимал.

Сондықтан өндірістегі оқиғалар мен әдеттен тыс өзара әрекеттер бағалау жиынына қайта оралуы тиіс. Ауыр ақаулар регрессиялық жағдайларға айналуы керек. Модель немесе оркестрация өзгерістері шығарылым алдында өз тәуекел саласына қатысты тесттерді іске қосуы тиіс.

Сенім іске қосу сәтінде мәңгілікке берілмей, уақыт өте дәлелмен ұсталады.

Аудит журналы әрекетті толық қалпына келтіруге мүмкіндік беруі тиіс

Чат жазбасын сақтау жеткіліксіз.

Оқиғаны тергеу барысында сұранысты қай пайдаланушы немесе қызмет бастағанын, модельдің қай нұсқасы қолданылғанын, қай саясат күшінде болғанын, қандай контекст алынғанын, қандай құралдар шақырылғанын, қандай аргументтер берілгенін, сыртқы жүйе не қайтарғанын, әрекетті кім мақұлдағанын және нәтиже күйінің кейін өзгертілгенін не кері қайтарылғанын анықтау қажет болуы мүмкін.

Байыпты жүйелерде осы дәлелдің тұтастығы мен сақталу мерзімі де маңызды.

Ұйым оқиғадан кейін жалғыз пайдалы іздің жеткізушінің бақылау тақтасында уақытша ғана болғанын білмеуі керек.

Сондықтан аудиттелуді платформаның қасиеті ретінде жобалаған жөн.

Агенттің автономиясын қауіпсіз төмендету тетігі болуы керек

Өндірістегі агентте автономды жұмыстан қауіпсізірек режимге қайтатын бақыланатын жол болуы тиіс.

Модель жаңартуы қалыптан тыс мінез тудырса, ұйым тек оқуға арналған талдауды жалғастыра отырып, әр жазу операциясына бекіту талап етуі мүмкін. Құрал бұзылса, сол мүмкіндікті жеке өшіру керек. Қауіпсіздік жағдайы өзгерсе, платформа бүкіл жұмыс ағынын тоқтатпай, бір модельді немесе провайдерді бағыттаудан алып тастауы қажет болуы мүмкін.

Бұл бір ғана жаһандық ажыратқыштан гөрі жақсырақ тұрақтылық моделі.

Жүйе қауіпсіз күйде қалған пайдалы функцияны сақтай отырып, өз өкілеттігін төмендете алуы тиіс.

Бұл әсіресе сыни операцияларда маңызды, өйткені таңдау әрдайым толық автономия мен толық тоқтау арасында болмауы керек.

Өндірістік ортадағы сенім – жүйелік инженерияның нәтижесі

Ең жақсы агент — міндетті түрде ең әсерлі пайымдау ізін шығаратыны емес.

Ол — өкілеттігі шектеулі әрі түсінікті, құралдары өз рұқсаттарын өзі орындататын, әрекеттері бақыланатын әрі қалпына келтірілетін, қауіпті жағдайлары тексерілген, қалыптан тыс жағдайда автономиясы азайтылатын және мінез-құлқы оқиғадан айлар өткен соң да аудиттелетін агент.

Сондықтан жетілген ұйым агенттің дәлдігінен әлдеқайда күшті сұраққа жауап бере алады.

Ол агентке не істеуге рұқсат етілгенін, одан артық істеуге не кедергі болатынын, қандай жағдайда тоқтайтынын, ақаулардың қалай шектелетінін және берілген әр автономия деңгейін қандай дәлел ақтайтынын түсіндіре алады.

Дәл сол сәтте сенім әсерден архитектураға ауысады.