AI Governance — pojmy a regulaceAI Governance: řízení AI rizik, compliance a odpovědné nasazení
Klíčové pojmy okolo řízení AI — od EU AI Act, NIST AI RMF a ISO 42001 přes model risk management, bias detection a explainability po MLOps governance a audit.
Co je AI governance
AI governance je rámec politik, procesů, rolí a kontrol pro odpovědné vyvíjení, nasazování a provozování AI systémů. Pokrývá životní cyklus modelu od dat přes trénink, validaci, deployment, monitoring až po retirement. Cíl: maximalizovat hodnotu AI a zároveň řídit rizika (předpojatost, halucinace, ztráta dat, regulační porušení).
EU AI Act — riziková klasifikace
EU AI Act (platnost 2024–2027) klasifikuje AI systémy podle rizika: zakázané (social scoring), vysoce rizikové (HR, úvěry, zdravotnictví, vzdělání), omezené riziko (chatboty s povinností disclosure) a minimální. High-risk vyžaduje risk management, data governance, technickou dokumentaci, log, human oversight, accuracy a robustness. Pokuty až 35 mil. € nebo 7 % obratu.
NIST AI Risk Management Framework
NIST AI RMF 1.0 (US) definuje čtyři funkce: GOVERN (kultura, role, politiky), MAP (kontext, rizika, dopady), MEASURE (metriky, testování, monitoring), MANAGE (priorizace, mitigace, reakce). Profily pro generative AI a GenAI Profile (2024) řeší LLM specifika. Dobrovolný, ale de facto standard pro US firmy a federální dodavatele.
ISO/IEC 42001 — AI management system
ISO 42001 (2023) je první certifikovatelný standard pro AI Management System (AIMS), analogie ISO 27001 pro security. Pokrývá AI policy, role, risk assessment, životní cyklus, dodavatelský řetězec, monitoring, incident management. Certifikace přes akreditované auditory — silný signál pro enterprise zákazníky a tendrová řízení.
Model risk management (MRM)
MRM (původně bankovní SR 11-7) zahrnuje: model inventory s rizikovým ratingem, independent validation před deployment, ongoing monitoring (performance, drift, fairness), challenger modely, dokumentaci model card, periodic re-validation. V regulovaných odvětvích (banky, pojišťovny, healthcare) povinné — v AI éře nutné pro všechny kritické modely.
Bias, fairness a diskriminace
AI modely mohou reprodukovat nebo zesilovat předpojatost z trénovacích dat — gender, etnicita, věk, region. Metriky: demographic parity, equalized odds, disparate impact, calibration. Nástroje: IBM AIF360, Fairlearn, Google What-If, Aequitas. Klíčové: definovat chráněné atributy, měřit napříč skupinami a balancovat fairness vs accuracy s business kontextem.
Explainability a interpretability
Black-box modely (deep learning, GBM) vyžadují vysvětlitelnost pro audit, regulace a důvěru. Globální vysvětlení: feature importance, partial dependence. Lokální: SHAP, LIME, counterfactuals. Pro LLM: attention visualization, chain-of-thought, citations. EU AI Act a GDPR (právo na vysvětlení automatizovaného rozhodnutí) explainability vyžadují.
LLM specifická rizika
LLM mají unikátní rizika: halucinace (vymyšlená fakta), prompt injection, jailbreaks, data leakage z trénovacího korpusu, copyright porušení, toxic content, hallucination v safety-critical aplikacích. Mitigace: RAG s ověřitelnými zdroji, guardrails (Llama Guard, NeMo Guardrails), red teaming, content filtering, citation, human-in-the-loop pro vysoce rizikové výstupy.
AI a GDPR — osobní údaje v modelech
Trénink na osobních datech vyžaduje právní základ (oprávněný zájem často nestačí), data minimization, transparentnost. Trénovaný model může osobní data „pamatovat" (memorization attack). Right to be forgotten je technicky náročné — řešení: differential privacy, federated learning, model unlearning, syntetická data, anonymizace před tréninkem.
MLOps governance a model cards
Operacionalizace governance: model registry s verzemi, model cards (Google) s popisem účelu, dat, metrik, limitací a etických rizik, datasheets pro datasety, lineage od dat po prediction, CI/CD s povinnými validacemi, A/B testing, shadow deployment, rollback. Nástroje: MLflow, Weights & Biases, Vertex AI Model Registry, SageMaker Model Cards.
AI audit a third-party assessment
EU AI Act vyžaduje conformity assessment u high-risk AI. Vznikají specializované AI audit firmy (BABL AI, ORCAA, Holistic AI). Audit pokrývá: data quality, model performance, fairness, robustness, security, dokumentaci, governance procesy. Interní audit připraví organizaci na external assessment a snižuje regulatorní riziko.
AI policy a etický kodex
Praktický start: AI Acceptable Use Policy (co lze a nelze s AI dělat), Generative AI Policy pro zaměstnance (data, copyright, disclosure), AI Ethics Board napříč funkcemi (legal, IT, HR, business), training a awareness, incident reporting kanál, supplier AI assessment. Bez politiky bude shadow AI použití rizikem č. 1.