Agentic AI sistemlərinin security-si
Agentic AI sistemlərinin security-si
Kitabın hər fəslində eyni sual təkrarlandı: bu komponent sınanda nə baş verir? Bu fəsil həmin sualı sistemli çərçivəyə yığır. Əvvəlcə agentic sistemlərin niyə klassik application-lardan fərqli qorunduğunu, sonra sahənin ortaq lüğətini verən dörd çərçivəni, CoSAI Risk Map, MITRE ATLAS, OWASP Top 10 for Agentic Applications və MAESTRO, izah edir. Aralarında control-lar, supply chain, incident response, arxitektura pattern-ləri, məsuliyyət bölgüsü və tənzimləyici tələblər var. CyberSecurity kitabının 9-cu fəsli LLM application-ı üçün təməli qoyur; bu fəsil həmin təməlin üzərinə avtonomiya, tool-lar, memory və multi-agent trust əlavə edir.
Nə fərqlidir
Klassik application-da kod deterministikdir, control plane kodda, data plane istifadəçi girişindədir və ikisi ayrıdır. Agentic sistemdə:
- Control plane təbii dildir. Agent-i idarə edən təlimatlar model-in oxuduğu mətndir və attacker-in yazdığı mətn də eyni kanaldan gəlir.
- Davranış non-deterministikdir. Eyni giriş fərqli trajectory verə bilər; test "keçdi/keçmədi" deyil, paylanmadır.
- Sistem hərəkət edir. Çıxış mətn deyil, tool call-dur: fayl silmək, mesaj göndərmək, host izolyasiya etmək.
- Vəziyyət yaşayır. Memory və index-lər session-lar arasında qalır; bir zəhərlənmə uzun müddət təsir edir.
- Trust zənciri uzundur. Agent agent-i çağırır, tool tool-u; hər halqa həm consumer, həm provider-dir.
- Supply chain genişdir. Model, dataset, prompt, MCP server, skill, framework: hamısı dependency-dir.
- Şəffaflıq azdır. "Niyə belə etdi?" sualına yalnız trace cavab verir, kod yox.
Bu yeddi fərq control-ların niyə klassik AppSec-dən fərqli olduğunu izah edir: hər biri üçün ayrıca tədbir lazımdır.
Coalition for Secure AI və Risk Map
Coalition for Secure AI, CoSAI, 2024-də OASIS Open-in açıq layihəsi kimi yaradıldı və əsas AI provider-lərini, cloud şirkətlərini və security vendor-larını birləşdirir. Workstream-ləri AI supply chain, defender-lərin hazırlığı, AI security risk governance və agentic sistemlərin security-sini əhatə edir. 2025-də CoSAI MCP security üçün praktik bələdçi dərc etdi, 2026-da isə Fəsil 6-dakı Project CodeGuard-ı qəbul etdi.
CoSAI Risk Map Google-un Secure AI Framework-ündən gələn və 2025-in sentyabrında CoSAI-a bağışlanan risk xəritəsidir. Dörd anlayışı bir-birinə bağlayır:
| Anlayış | Məzmunu |
|---|---|
| Komponentlər | AI sisteminin hissələri: data, model, training, serving, application, agent tool-ları |
| Risk-lər | Hər komponentə aid konkret risk-lər: data poisoning, model exfiltration, prompt injection, excessive agency |
| Control-lar | Hər risk-ə qarşı tədbirlər və onların hansı komponentə tətbiq olunduğu |
| Persona-lar | Kimin məsuliyyətində olduğu: model yaradan, model istifadə edən, application quran |
Xəritəni işə salmaq üçün dörd fazalı yanaşma təklif olunur: persona-ya görə risk qiymətləndirməsi (siz model yaradırsınız, yoxsa istifadə edirsiniz?), uyğun control-ların seçilməsi, onların DevSecOps pipeline-ına inteqrasiyası və davamlı yenilənmə. Xəritənin dəyəri hərtərəfliliyində deyil, ortaq lüğətindədir: komanda, vendor və auditor eyni risk-i eyni adla çağırır.
AI sistemləri üçün control-lar
Kitab boyu səpələnmiş control-ları bir cədvəldə yığaq:
| Qat | Control-lar |
|---|---|
| Identity | Hər agent-in ayrıca kimliyi; istifadəçi adından qısaömürlü, dar scope-lu delegation; paylaşılan credential yoxdur |
| Input | Untrusted məzmunun mənbəyi ilə işarələnməsi; injection classifier-ləri defence in depth kimi, əsas control kimi yox |
| Tool-lar | Deny-by-default allowlist; schema validation; sərbəst shell və SQL arqumenti yoxdur; sandbox; egress allowlist; SSRF qoruması |
| Output | Structured output schema ilə; sərbəst mətn downstream-ə encoding ilə; model çıxışı untrusted |
| Memory | Yazma policy-si; mənbə qeydi; TTL; istifadəçiyə görünən və silinə bilən; retrieval authorization-dan sonra |
| Budget | İterasiya, token, xərc, vaxt, tool call limitləri; bitəndə eskalasiya |
| İnsan qapıları | Geri qaytarılmaz hərəkətlər üçün təsdiq; təsdiq ekranı konkret hərəkəti göstərir |
| Observability | Tam trajectory: prompt, tool call-lar, arqumentlər, nəticələr, model versiyası, kimlik |
| Kill switch | Bütün agent fəaliyyətini bir əmrlə dayandırmaq; credential-ları ləğv etmək |
| Evaluation | Security test toplusu CI-də; hər prompt, model, tool dəyişikliyində işləyir |
| Red teaming | Release-dən əvvəl və mütəmadi; indirect injection yolları ilə |
Bu cədvəlin üç prinsipi var. Birincisi, least agency: agent-ə tapşırıq üçün lazım olan minimal tool, icazə və avtonomiya. İkincisi, model-dən kənar enforcement: hər control kodda, policy engine-də və ya infrastrukturda tətbiq olunur, prompt-da yox. Üçüncüsü, injection-ın uğurlu olacağı fərziyyəsi: dizayn "injection-ı necə dayandıraq?" deyil, "injection uğurlu olanda zərər nə ilə məhdudlaşır?" sualına cavab verir.
AI supply chain
Agentic sistemin dependency-ləri klassik SBOM-dan genişdir və hər biri üçün provenance lazımdır:
- Model-lər. Haradan gəlib, hansı versiya, checksum, imza, model card. Bəzi model format-ları yüklənəndə kod icra edir; untrusted mənbədən belə faylları açmayın.
- Dataset-lər və fine-tuning data. Mənbə, lisenziya, zəhərlənmə yoxlaması.
- Prompt-lar və qaydalar faylları. Version control-da, review ilə; prompt dəyişikliyi davranış dəyişikliyidir.
- MCP server-lər və tool-lar. Fəsil 2-nin siyahısı: registry, versiya pin, kod review, sandbox.
- Agent skill-ləri. Paketlənmiş prosedurlar da koddur: kim yazıb, nə edir.
- Framework-lər və plugin-lər. CVE izləmə, update cadence, Fəsil 4 və 5-in checklist-ləri.
- Model provider-lər. Onların incident tarixi, data retention, training istifadəsi, SLA.
Bunların siyahısı AI Bill of Materials adlanır və klassik SBOM-un genişlənməsidir. Hər komponentin dəyişməsi, o cümlədən provider-in model versiyasını sakitcə yeniləməsi, evaluation toplusunun yenidən işlədilməsini tələb edir.
AI incident response
Klassik incident response fazaları qalır, məzmun dəyişir:
| Faza | Agentic sistemdə |
|---|---|
| Detect | Anomal tool call ardıcıllıqları; yeni egress hədəfləri; xərc və token sıçrayışları; verdict paylanmasının dəyişməsi; istifadəçi şikayətləri |
| Contain | Kill switch; agent credential-larının ləğvi; tool allowlist-in daraldılması; memory yazmasının dayandırılması |
| Investigate | Trajectory-lərin oxunması: hansı giriş, hansı iterasiyada, hansı tool-u yönləndirdi; zəhərlənmənin mənbəyi |
| Eradicate | Zəhərlənmiş memory qeydlərinin və index parçalarının silinməsi; prompt və ya qayda düzəlişi; compromise olunmuş MCP server-in çıxarılması |
| Recover | Agent-in evaluation toplusundan keçərək tədricən geri qaytarılması; avtonomiya səviyyəsinin müvəqqəti endirilməsi |
| Lessons | Injection test toplusuna yeni case; threat model-in yenilənməsi |
Üç ssenari üçün playbook hazır olmalıdır: indirect injection ilə data sızması, memory və ya index zəhərlənməsi, və rogue agent, yəni policy-dən kənar davranan agent. Hər üçü üçün tabletop məşqi incident-dən əvvəl keçirilir.
Arxitektura pattern-ləri
Control-lar arxitekturada formalaşır. Təkrarlanan pattern-lər:
- Privileged və quarantined ayrılığı. Untrusted məzmunu oxuyan model tool-suz və ya read-only işləyir; hərəkət edən model yalnız structured, validate olunmuş nəticəni görür, xam məzmunu yox.
- Plan-then-execute. Model əvvəlcə tam planı yazır, plan insan və ya policy tərəfindən təsdiqlənir, sonra icra olunur; icra zamanı gələn məzmun planı dəyişə bilmir.
- Tool gateway. Bütün tool call-lar bir broker-dən keçir; broker allowlist, schema, rate limit, credential və log-u mərkəzləşdirir; agent credential görmür.
- Sandbox. Kod icrası və fayl əməliyyatları müvəqqəti, izolyasiya olunmuş mühitdə.
- Taint tracking. Untrusted mənbədən gələn data işarələnir və işarəli data həssas tool-a arqument kimi gedə bilmir.
- Trust seqmentasiyası. Agent-lər trust səviyyəsinə görə ayrılır; internetə baxan agent daxili production agent-i birbaşa çağırmır.
- Read və act ayrılığı. Araşdıran agent-lə hərəkət edən agent fərqli kimlik və fərqli tool-larla işləyir.
Provider və consumer məsuliyyətləri
Cloud-dakı shared responsibility model-i agent-lərə də köçür:
| Məsuliyyət | Model provider | Platform provider | Siz, consumer |
|---|---|---|---|
| Model-in jailbreak-ə davamlılığı | ● | ||
| Model-in training data-sı və provenance-ı | ● | ||
| Guardrail primitivləri, tracing infrastrukturu | ● | ||
| Platformanın özünün security-si | ● | ||
| Tool-ların scope-u və allowlist-i | ● | ||
| Hansı data-nın model-ə göndərildiyi | ● | ||
| İnsan təsdiq nöqtələri | ● | ||
| Memory və index-in qorunması | ● | ||
| Agent kimlikləri və credential-lar | ● | ||
| Evaluation və red teaming | ● |
Cədvəlin sağ sütunu həmişə doludur. Managed platforma seçmək aşağıdakı sətirlərin heç birini provider-ə ötürmür.
Tənzimləyici mənzərə
2026-da agentic sistemlərə aid əsas tələblər:
- EU AI Act. Risk səviyyəli yanaşma; general-purpose model-lər üçün öhdəliklər 2025-dən, yüksək riskli sistemlər üçün tələblər 2026–2027-də mərhələli tətbiq olunur. Security agent-ləri adətən yüksək riskli kateqoriyaya düşmür, amma kritik infrastruktur və ya işçilərə aid qərarlar verəndə düşə bilər. Tələblər: risk idarəetməsi, data governance, log, insan nəzarəti, şəffaflıq.
- NIST AI Risk Management Framework və onun Generative AI profili: könüllü, amma ABŞ-da faktiki referans; govern, map, measure, manage funksiyaları.
- ISO/IEC 42001. AI idarəetmə sistemi standartı; sertifikasiya mümkündür və vendor qiymətləndirməsində istənilir.
- Sektor qaydaları. Maliyyə, səhiyyə və dövlət sektorunda mövcud tələblər, audit trail, izah edilə bilənlik, data residency, agent-lərə də aiddir.
Hamısının ortaq məxrəci: inventory, risk qiymətləndirməsi, log, insan nəzarəti və izah. Bu fəslin control-ları onları artıq əhatə edir; compliance ayrıca iş deyil, mövcud control-ların sənədləşdirilməsidir.
MITRE ATLAS
MITRE ATLAS AI sistemlərinə qarşı attacker taktika və texnikalarının bilik bazasıdır, ATT&CK-in AI analogu. Taktikalar tanışdır: reconnaissance, resource development, initial access, ML model access, execution, persistence, privilege escalation, defense evasion, discovery, collection, exfiltration, impact. Texnikalar AI-a xasdır: prompt injection, LLM jailbreak, model-ə sorğu ilə məlumat çıxarma, training data zəhərlənməsi, AI supply chain compromise, LLM plugin compromise. ATLAS real case study-lər də saxlayır.
Praktik istifadə ATT&CK ilə eynidir: threat-informed defence. Sizin agent-inizə aid texnikaları seçin, hər biri üçün detection və mitigation yazın, boşluqları red teaming ilə yoxlayın. GTG-1002 kimi case-lər ATLAS texnikaları ilə təsvir olunanda komandalar arasında ortaq dil yaranır.
OWASP Top 10 for Agentic Applications
OWASP GenAI Security Project 2025-in dekabrında agentic application-lar üçün ayrıca Top 10 dərc etdi. Hər maddə bu kitabın bir fəslinə uyğundur:
| ID | Risk | Mahiyyəti | Əsas control |
|---|---|---|---|
| ASI01 | Agent Goal Hijack | Oxunan məzmun agent-in məqsədini dəyişir | Untrusted məzmunu data kimi; plan-then-execute; least agency |
| ASI02 | Tool Misuse and Exploitation | Legitim tool-ların yanlış və ya həddən geniş istifadəsi | Allowlist, schema, scope, təsdiq qapıları |
| ASI03 | Identity and Privilege Abuse | Agent-in kimliyi yoxdur və ya icazələri sürüşür | Ayrıca kimlik, delegation, confused deputy qoruması |
| ASI04 | Agentic Supply Chain Vulnerabilities | Runtime-da yüklənən tool, data və template-lər compromise olunub | AIBOM, registry, pin, review |
| ASI05 | Unexpected Code Execution | Kod yaradan və icra edən agent zərərli əmrə yönləndirilir | Sandbox, egress limiti, təsdiq |
| ASI06 | Memory and Context Poisoning | Uzunmüddətli memory və ya RAG data-sı korlanır | Yazma policy-si, mənbə, TTL, retrieval authorization |
| ASI07 | Insecure Inter-Agent Communication | Agent-lər arası mesajlar oxunur, saxtalaşdırılır, təkrarlanır | İmza, TLS, nonce, card yoxlaması, Fəsil 3 |
| ASI08 | Cascading Failures | Bir agent-in səhvi zəncirlə yayılır | Budget, circuit breaker, hər halqada validation |
| ASI09 | Human-Agent Trust Exploitation | İnsanlar agent-in nüfuzuna etibar edib zərərli hərəkəti təsdiqləyir | Konkret təsdiq ekranları, evidence tələbi, təlim |
| ASI10 | Rogue Agents | Agent policy-dən kənar davranır: drift, compromise, yanlış optimizasiya | Davranış monitoringi, kill switch, avtonomiya həddi |
Siyahı threat model-in checklist-idir: hər yeni agent üçün on sətirin hər birinə "bizdə bu necə baş verə bilər və nə ilə məhdudlaşır?" sualı verilir.
MAESTRO: agentic threat modelling
STRIDE və oxşar çərçivələr planlayan, tool istifadə edən və avtonom hərəkət edən sistemlər üçün yaradılmayıb. Cloud Security Alliance 2025-də agentic sistemlər üçün MAESTRO çərçivəsini dərc etdi: Multi-Agent Environment, Security, Threat, Risk and Outcome. Sistem yeddi qata bölünür və hər qat ayrıca threat model-lənir:
| Qat | Məzmunu | Tipik threat-lər |
|---|---|---|
| 1. Foundation Models | Agent-in əsaslandığı model | Jailbreak, model extraction, backdoor |
| 2. Data Operations | Database-lər, vector store-lar, retrieval pipeline-ları | Poisoning, authorization-sız retrieval, sızma |
| 3. Agent Frameworks | Orchestration kitabxanaları və tool-lar | Framework CVE-ləri, tool poisoning, SSRF |
| 4. Deployment and Infrastructure | Agent-in işlədiyi mühit | Sandbox qaçışı, credential sızması, egress |
| 5. Evaluation and Observability | Ölçmə və monitoring | Trace-lərdə sensitive data, evaluation-ın aldadılması |
| 6. Security and Compliance | Bütün qatları kəsən şaquli qat | Control-ların özünün sınması, policy drift |
| 7. Agent Ecosystem | Agent-lərin bir-biri və istifadəçilərlə qarşılıqlı təsiri | Spoofing, discovery poisoning, cascading failure |
Proses: sistemi qatlara ayır; hər qat üçün threat-ləri sadala; qatlar arası threat-ləri ayrıca axtar, çünki ən təhlükəli olanlar məhz oradadır, məsələn ikinci qatdakı zəhərlənmə yeddinci qatda cascading failure doğurur; ehtimal və təsirə görə sırala; mitigate et; təkrarla. MAESTRO birdəfəlik sənəd deyil, iterativ prosesdir: model, tool və ya memory dəyişəndə yenidən keçirilir.
Hamısını birləşdirmək
Dörd çərçivə bir-birini tamamlayır: CoSAI Risk Map ortaq lüğət və məsuliyyət bölgüsü verir; MAESTRO sistemi qatlara ayırıb threat-ləri tapır; OWASP Top 10 ən yayılmış on risk-i checklist kimi verir; MITRE ATLAS attacker-in konkret texnikalarını və detection-ları bağlayır. Yeni agent üçün minimal proses:
- Agent-i Fəsil 1-in doqquz komponenti və MAESTRO-nun yeddi qatı ilə təsvir et.
- OWASP-ın on maddəsini bir-bir soruş və hər cavabı control-a bağla.
- ATLAS-dan aid texnikaları seç və detection yaz.
- Control-ları yuxarıdakı cədvəldən seç və model-dən kənarda tətbiq et.
- Evaluation toplusunu və red teaming-i CI-ə qoş.
- Incident playbook-larını yaz və tabletop keçir.
- Hər dəyişiklikdə 1–6-nı təkrarla.
Tapşırıqlar
- Bir mövcud və ya planlaşdırılan agent üçün MAESTRO-nun yeddi qatını doldurun və hər qatda ən azı iki threat yazın. Sonra qatlar arası üç threat tapın: hansı qatdakı sınma hansı qatda zərər verir?
- Eyni agent-i OWASP Top 10 for Agentic Applications ilə yoxlayın: on sətirin hər biri üçün "necə baş verə bilər" və "nə ilə məhdudlaşır" yazın. Boş qalan sətirlər sizin backlog-unuzdur.
- Üç incident ssenarisi üçün playbook yazın: indirect injection ilə data sızması, memory zəhərlənməsi, rogue agent. Hər birində kill switch kim tərəfindən və necə basılır, trajectory haradan oxunur, agent nə vaxt və hansı şərtlə geri qaytarılır?