Nová pravidla už nejsou jen pro právníky, ale i pro vývojáře

Ještě před několika lety se většina softwarových týmů soustředila hlavně na výkon, rychlost vývoje a uživatelskou zkušenost. Dnes do hry stále výrazněji vstupují právní požadavky, etické standardy a povinnost umět vysvětlit, jak systém funguje. Nejviditelněji je to patrné v Evropské unii, kde se vedle obecného nařízení o ochraně osobních údajů, známého jako GDPR, rozbíhá také nový rámec pro umělou inteligenci. Vývojářům už nestačí, že produkt funguje. Musí být také doložitelné, že je bezpečný, nediskriminuje a nepracuje s daty způsobem, který by porušoval práva uživatelů.

Regulace přitom nejsou jen evropskou záležitostí. Spojené státy zavádějí sektorová pravidla a státní zákony, Velká Británie staví na pružnějším modelu dohledu a Čína už několik let vyžaduje přísnější kontrolu algoritmů, doporučovacích systémů i generativní AI. Vývojáři tak dnes pracují v prostředí, kde se technické rozhodnutí může rychle proměnit v právní problém.

Evropský AI Act mění tempo vývoje i dokumentaci

Nejdůležitější novinkou v Evropě je AI Act, první komplexní regulace umělé inteligence na světě. Evropská unie jej schválila v roce 2024 a pravidla začínají nabíhat postupně. Zákon rozděluje systémy AI podle míry rizika. Některé aplikace jsou zakázané úplně, jiné podléhají přísným požadavkům na transparentnost, testování a dohled.

Zakázané jsou například některé formy manipulačního chování, sociální skórování nebo určité biometrické praktiky. U vysoce rizikových systémů, například v náboru zaměstnanců, vzdělávání, zdravotnictví nebo při posuzování bonity, musí firmy vést detailní dokumentaci, sledovat kvalitu dat a zajistit lidský dohled. V praxi to znamená, že vývojový tým musí od začátku řešit nejen model, ale i celý jeho životní cyklus.

AI Act také přináší povinnost označovat některé výstupy generované umělou inteligencí. To se týká například deepfake obsahu nebo textů, které mohou být zaměněny za lidsky vytvořené. U základních modelů, na nichž stojí řada populárních chatovacích a generativních služeb, se navíc očekává zveřejňování informací o tréninkových datech, omezeních systému a opatřeních proti nelegálnímu obsahu.

Pro firmy to znamená vyšší náklady i delší vývoj. Podle odhadů evropských technologických asociací mohou compliance procesy u větších AI projektů tvořit významnou část rozpočtu, zejména pokud firma působí ve více zemích zároveň. Nejvíce to dopadá na startupy, které často nemají vlastní právní oddělení a musí si pravidla složitě vykládat samy.

GDPR zůstává základem, ale už nestačí samo o sobě

Přestože se o AI Actu mluví nejvíc, starší GDPR zůstává klíčovým předpisem, který dopadá na každou firmu pracující s osobními údaji. Evropské úřady v posledních letech udělily řadu vysokých pokut, což ukazuje, že porušení pravidel už není jen teoretické riziko. Například Amazon dostal v Lucembursku pokutu 746 milionů eur za porušení pravidel při zpracování osobních údajů, Meta čelila v Evropě několika sankcím v řádu stovek milionů eur a irský regulátor opakovaně zasáhl proti velkým technologickým platformám.

GDPR se promítá do každé fáze vývoje: od sběru dat přes jejich ukládání až po mazání. Vývojář musí vědět, zda má pro konkrétní zpracování právní základ, zda je souhlas uživatele skutečně dobrovolný a zda lze data později vymazat nebo anonymizovat. U AI projektů je problém ještě složitější, protože modely se často trénují na obrovských souborech dat, v nichž se mohou objevit i osobní údaje bez přímého souhlasu subjektů.

Právě tady vzniká napětí mezi technologickým vývojem a právem. Pokud firma použije data z internetu k tréninku modelu, může narazit na otázku, zda byla data získána v souladu se zákonem a zda uživatelé byli dostatečně informováni. Evropské úřady navíc stále častěji posuzují nejen samotný sběr dat, ale i to, zda systém nevede k automatizovanému rozhodování bez možnosti lidského zásahu.

Globální přístup: Amerika, Británie i Asie volí odlišné cesty

Zatímco Evropská unie staví na široké a předem definované regulaci, jiné regiony jdou jinou cestou. Ve Spojených státech neexistuje jediný federální zákon typu AI Act. Místo toho funguje kombinace sektorových pravidel, doporučení úřadů a zákonů jednotlivých států. Kalifornie, New York nebo Colorado už přijaly vlastní předpisy týkající se algoritmického rozhodování, ochrany dat či používání AI v zaměstnání.

Americký model je pružnější, ale zároveň méně přehledný. Pro firmy to znamená, že musí sledovat více právních režimů současně. Velká technologická společnost tak může mít jiná pravidla pro tentýž produkt v Evropě, v Kalifornii a v Texasu. To zvyšuje nároky na právní i technické týmy, které musí umět lokalizovat funkce podle trhu.

Velká Británie po brexitu zvolila mírnější přístup a místo jednoho tvrdého zákona staví na principu „proinovační regulace“. Dohled mají jednotlivé úřady podle oblasti použití, například zdravotnictví nebo finance. Čína naopak patří mezi státy, které regulují AI velmi detailně, zejména pokud jde o doporučovací algoritmy, generativní obsah a povinné označování syntetických médií. Firmy, které chtějí působit globálně, tak musí přizpůsobit produkt několika různým normám současně.

Co regulace znamená pro běžný vývojový tým

Pro programátory a produktové manažery už regulace nejsou vzdálenou právní agendou. V praxi se promítají do každodenní práce. Týmy musí vést záznamy o tom, odkud pocházejí tréninková data, jak byla očištěna, kdo systém testoval a jaké chyby se objevily. U citlivých systémů přibývá také povinnost provádět risk assessment, tedy předběžné hodnocení rizik.

Větší firmy proto zavádějí nové role: AI compliance specialisty, datové správce, interní auditory nebo etické review komise. U menších startupů tuto agendu často přebírá zakladatel nebo CTO, což zpomaluje vývoj. Zároveň ale roste poptávka po nástrojích, které umí automaticky sledovat původ dat, logovat rozhodnutí modelu nebo generovat dokumentaci pro regulátory.

Vývojáři se musejí naučit počítat i s tím, že systém může být podroben externímu auditu. To je zásadní změna oproti době, kdy stačilo produkt nasadit a průběžně opravovat chyby. Dnes je třeba doložit, proč byla zvolena konkrétní architektura, jak se model chová při zátěži a zda neprodukuje diskriminační výsledky. V oblasti náboru, úvěrů nebo zdravotnictví může špatně navržený algoritmus znamenat nejen reputační škodu, ale i právní odpovědnost.

Etika se stává konkurenční výhodou, ne jen povinností

Rostoucí regulace má i druhou stránku: firmy, které ji zvládnou dobře, mohou získat důvěru zákazníků i investorů. Transparentní AI, jasné zásady práce s daty a schopnost vysvětlit rozhodnutí algoritmu se stávají obchodní výhodou. V B2B prostředí už řada klientů vyžaduje, aby dodavatel doložil, jak chrání data a jak zajišťuje bezpečnost modelu.

Na trhu se tak prosazuje nová logika. Nestačí být nejrychlejší. Je třeba být i nejlépe auditovatelný, nejlépe zdokumentovaný a nejodolnější vůči právním rizikům. To platí zejména tam, kde AI zasahuje do života lidí přímo – při výběru uchazečů o práci, schvalování půjček, diagnostice nemocí nebo doporučování obsahu dětem a mladistvým.

Regulace technologií se podle odborníků nebude zpomalovat, spíše naopak. Jakmile se umělá inteligence začne více používat v kritické infrastruktuře, státní správě nebo zdravotnictví, poroste tlak na další pravidla i kontrolní mechanismy. Pro vývojáře softwaru a AI to znamená jediné: vedle kódu bude stále důležitější umět pracovat s právem, dokumentací a odpovědností za to, co jejich systém skutečně dělá.