Umělá inteligence v HR slibuje efektivitu, ale přináší i právní rizika. Článek čtenáře provází labyrintem AI Aktu a pomáhá rozpoznat, kdy se HR nástroj dostává do kategorie vysoce rizikových systémů AI. Vysvětluje, které systémy používané pro nábor nebo řízení pracovníků podléhají přísné regulaci a za jakých podmínek mohou díky filtračním výjimkám z jejího rozsahu vypadnout. Upozorňuje také na situace, kdy se organizace může nevědomky stát poskytovatelem vysoce rizikového systému – například při rebrandingu nebo úpravě zakoupeného řešení. Na konkrétních příkladech ukazuje hranici mezi vysoce rizikovými a běžnými nástroji a radí, jak začít s tvorbou AI registru.
1. HR jako první linie i minové pole
Oblast recruitmentu a řízení pracovníků je pro mnoho společností v první linii adopce AI. Dostupné nástroje umožňují vysokou míru automatizace, zejména náborových procesů. Rychlý nástup AI probíhá navzdory tomu, že HR patří mezi nejcitlivější sféry nasazení systémů AI. Rozhodnutí v pracovních vztazích mohou totiž zásadně ovlivnit kariérní vyhlídky, živobytí a základní práva dotčených osob. Využívané HR systémy mohou fixovat historické vzorce diskriminace proti ženám, určitým věkovým skupinám, osobám se zdravotním postižením či osobám určitého rasového, etnického původu nebo sexuální orientace a podkopávat právo na ochranu osobních údajů a soukromí.
AI Akt (tedy nařízení Evropského parlamentu a Rady (EU) 2024/1689 ze dne 13. června 2024) proto zařazuje řadu systémů AI určených pro HR agendu mezi vysoce rizikové. S touto nálepkou se pojí robustní sada povinností, nejen pro poskytovatele těchto systémů, ale i pro organizace, které je ve svém prostředí provozují.
2. Pátrání po vysoce rizikových systémech AI
Ne každá softwarová aplikace nebo automatizovaný rozhodovací systém určený pro HR agendu se kvalifikuje jako vysoce rizikový. Aby takový nástroj podléhal AI Aktu, musí nejprve splňovat definici systému AI. Kromě toho musí spadat do některé z kategorií systémů AI určených pro oblast zaměstnávání, řízení pracovníků nebo přístupu k samostatné výdělečné činnosti, které AI Akt označuje za vysoce rizikové (HRAI).
AI Akt v této oblasti vymezuje 2 kategorie systémů AI:
- systémy AI určené k náboru pracovníků, tedy systémy určené k náboru nebo výběru fyzických osob, zejména ke zveřejňování cílených nabídek zaměstnání, k analýze a třídění žádostí o zaměstnání a k hodnocení uchazečů;
- systémy AI určené k řízení pracovníků, tedy systémy určené k rozhodování s dopadem na podmínky pracovněprávních vztahů, na postup v zaměstnání nebo na ukončení smluvních pracovněprávních vztahů, k přidělování úkolů na základě individuálního chování, osobnostních rysů nebo charakteristik anebo ke sledování a hodnocení výkonnosti a chování osob v rámci těchto vztahů.
Popis této skupiny HRAI je ale lehce zavádějící. Byť by se tak mohlo zdát, tato kategorie HRAI totiž není limitována na procesy spojené s formálními pracovními smlouvami. Šíře této kategorie je přímo navázána na autonomní výklad pojmu pracovník v judikatuře SDEU (viz C-66/85 Lawrie-Blum; C-256/01 Allonby; C-229/14 Balkaya). Kde tedy AI Akt mluví o pracovněprávních vztazích, je třeba zvažovat široké spektrum ujednání, které zakládají výkon práce, zaměstnání nebo samostatnou výdělečnou činnost. V důsledku této interpretace se v rozsahu této kategorie mohou ocitnout i systémy řízení dodavatelů.
I pokud systém AI do některé z těchto kategorií spadá, může být v určitých případech z okruhu HRAI vyřazen. AI Akt umožňuje „vyfiltrovat“ systémy, které jsou určeny k:
- provedení úzce zaměřeného procesního úkolu;
- zlepšení výsledku dříve dokončené lidské činnosti;
- odhalování vzorců rozhodování nebo odchylek od předchozích vzorců rozhodování, pokud nemají bez řádného lidského přezkumu nahradit nebo ovlivnit dříve dokončené lidské posouzení;
- provedení přípravného úkolu v rámci posouzení, které by spadalo do vysoce rizikové kategorie.
Jak tomu u AI Aktu často bývá, ani filtrační mechanismus není bez výjimky. Nelze jej použít a systém tedy bude vždy vysoce rizikový, pokud daný systém:
- provádí profilování fyzických osob;
- je součástí komplexní nebo agentní AI konfigurace, jejíž souhrnné nebo kombinované výstupy významně ovlivňují jednotlivá rozhodnutí.
Pro snazší orientaci v tomto procesu jsme připravili jeho grafické znázornění:
3. Pozor na rebranding, customizaci a změnu účelu systému
Rozsah povinností spojených s vývojem, nasazením a provozem HRAI závisí na tom, zda společnost vystupuje pouze jako zavádějící subjekt, nebo jako poskytovatel daného systému AI. V oblasti HR systémů bude většina společností v roli tzv. zavádějících subjektů, tzn. pořídí již existující systém AI a bez zásadních změn jej nasadí ve svém prostředí.
Zavádějící subjekt zdaleka není bez povinností, je povinen zejména zajistit užívání systému AI v souladu s návodem k použití, lidský dohled, kontrolu nad vstupními daty nebo uchovávání logů. Jeho povinnosti jsou ale nesporně mírnější než ty, které jsou uloženy poskytovateli systému AI. Právě proto je třeba mít na paměti, že AI Akt za určitých situací „povyšuje“ zavádějící subjekt do role poskytovatele HRAI a nařizuje mu plnit veškeré s tím související povinnosti. K tomu dochází konkrétně když zavádějící subjekt, tedy společnost, která pořídila již existující systém AI:
- systém AI rebrandovala a začlenila do svého ekosystému tím, že na něm uvedla své jméno, název nebo ochrannou známku;
- systém customizovala provedením podstatné změny;
- změnila zamýšlený účel systému AI.
Přechodem do role poskytovatele HRAI se rozsah povinností podstatně rozšiřuje. Je třeba mj. zavést, zdokumentovat a udržovat systém řízení rizik, zajistit kvalitu trénovacích, validačních a testovacích dat systému AI nebo vypracovat a průběžně aktualizovat technickou dokumentaci.
4. Příklady systémů AI určených k náboru
Praktickou aplikaci výše popsaných zákonných principů si můžeme ilustrovat na příkladech systémů AI určených k náboru, které se pravděpodobně kvalifikují do vysoce rizikové kategorie:
| Funkcionalita systému AI | Proč je vysoce rizikový |
|---|---|
| Automatizovaný matching a ranking uchazečů | Analyzuje data uchazečů (CV, dovednosti, vzdělání) a porovnává je s popisem pozice; generuje skóre, žebříčky (např. „top 5“) a kategorie vhodnosti („high fit“ / „low fit“) pro sestavení užšího výběru. I při zachování diskrece náboráře je skóre a pořadí primárním vstupem pro rozhodování, a systém tak může vést k vyloučení uchazečů určitého pohlaví či se zdravotním postižením. |
| Scoring odpovědí uchazečů (online assessment) | Vyhodnocuje písemné či ústní odpovědi uchazečů v rámci online assessmentu, přiděluje jim numerické skóre podle jazykových a věcných kritérií a tvoří žebříček určující, kdo bude pozván na pohovor. Systém tedy vykonává základní hodnoticí funkce a materiálně ovlivňuje rozhodování. |
| Background checks (kompozitní rizikové skóre) | Agreguje záznamy, pracovní historii, historii sociálních sítí i finanční data a generuje kompozitní rizikové skóre („low“ / „medium“ / „high risk“), které slouží jako filtr. Uchazeči označení jako „high risk“ mohou být vyloučeni ještě před posouzením člověkem. Systém tak materiálně ovlivňuje výsledek náboru a provádí profilování. |
Na druhé straně jsou následující systémy AI, které bude pravděpodobně možné „odfiltrovat“:
| Systém AI | Funkce | Podmínka filtru |
|---|---|---|
| Ověřování profesních akreditací (např. ověření živnosti oproti živnostenskému rejstříku) | Výstup „potvrzeno“/„nepotvrzeno“ z oficiálních registrů; problémy označuje k manuálnímu řešení. | Úzce zaměřený procesní úkol |
| Rozpoznání a organizace informací z životopisů do databáze | Převod nestrukturovaných CV do prohledávatelné interní databáze; žádné hodnocení. | Přípravný úkol |
| Plánování pohovorů | Koordinace termínů pohovorů s uchazeči; systém integruje kalendář organizace a časové preference uchazečů; systém umožňuje kandidátům indikovat zvláštní požadavky na přístupnost (accessibility). | Úzce zaměřený procesní úkol |
| Audit minulých náborových rozhodnutí | Statistické modelování na anonymizovaných datech k detekci bias (předpojatosti) nebo odchylek; retrospektivně, bez vlivu na aktuální kandidáty. | Odhalování vzorců rozhodování nebo odchylek |
| Personalizované potvrzovací e-maily | Doplnění jména a zájmen kandidáta do šablony. | Úzce zaměřený procesní úkol |
5. Příklady systémů AI určených k řízení pracovníků
Do kategorie HRAI určených k řízení pracovníků mohou spadat například následující nástroje:
| Funkcionalita systému AI | Proč je vysoce rizikový |
|---|---|
| Automatizované přidělování směn, plánování dob odpočinku a pohotovostních směn v retailové nebo logistické společnosti | Systém využívá údaje o chování a výkonnosti pracovníků (dochvilnost, míra přijímání/odmítání směn, hodnocení zákazníků) k sestavení pořadí a automatickému přidělování směn. Nejlépe hodnocení pracovníci dostávají důležitější směny, ostatní méně směn a nižší pohyblivou složku odměny. Protože systém hodnotí výkonnost a chování pracovníků a na tomto základě přiděluje úkoly s přímým dopadem na odměňování a kariérní postup, kvalifikuje se jako vysoce rizikový. |
| Systém rozdělující úkoly mezi pracovníky advokátní kanceláře | Systém zpracovává data o fakturovaných hodinách, rychlosti plnění úkolů, odezvě na e-maily i účasti na firemních aktivitách a na jejich základě přiděluje klientské zakázky jednotlivým pracovníkům. Protože přiděluje úkoly na základě individuálního chování, čímž materiálně ovlivňuje pracovní podmínky i dlouhodobou kariérní dráhu, kvalifikuje se jako vysoce rizikový. |
| Dynamické stanovení odměny v platformové práci (např. odvoz přes aplikaci) | Systém dynamicky stanovuje odměnu řidičů na základě poptávky v reálném čase, míry přijetí jízd, hodnocení cestujících a průměrné doby dokončení. Řidičům s nižším hodnocením automaticky snižuje platový koeficient, zatímco lépe hodnoceným přiznává bonusy. Rozhodnutí o odměňování spadají mezi podmínky pracovněprávního vztahu, a systém je proto vysoce rizikový. |
Následující jsou naopak příklady systémů AI, které bude pravděpodobně možné „odfiltrovat“:
| Systém AI | Funkce | Podmínka filtru |
|---|---|---|
| Kompilace výkonnostních záznamů pro reporting | Auto-sběr z docházkové aplikace a organizace do strukturovaných reportů; nemonitoruje docházku pracovníků, negeneruje skóre, nedoporučuje; vedoucí pracovníci provádějí nezávislé hodnocení. | Přípravný úkol |
| Writing assistant pro manažerská hodnocení | Zpřesňuje jazyk hotových hodnocení; nemění výstupy, skóre ani netvoří nový obsah. Označuje zaujaté formulace. | Zlepšení výsledku dříve dokončené lidské činnosti |
6. Závěry a další kroky
Pravidla týkající se HRAI v oblasti zaměstnávání, řízení pracovníků a přístupu k samostatné výdělečné činnosti byla aktuálně odložena na 2. prosince 2027. I přesto se vyplatí povahu a rizikovost zvažovaných nebo nasazených systémů AI znát již nyní. Povinnosti spojené s HRAI jsou totiž robustní a jejich splnění může být organizačně, technicky a ultimátně i finančně nákladné. Je tedy vhodné vyhodnotit, jestli výhody nasazení daného HRAI budou z dlouhodobého hlediska udržitelné, popř. zvážit vhodný redesign systému AI tak, aby mohl benefitovat z filtračního mechanismu a systém AI z kategorie HRAI zcela vyjmout.
Kde začít? Každá společnost by si měla nejprve vytvořit, popřípadě aktualizovat svůj AI registr. Už při jeho sestavování je potřeba u každého nástroje posoudit, jestli vůbec jde o systém AI, zda spadá do některé z vysoce rizikových oblastí podle AI Aktu, nebo jestli dokonce nejde o zakázanou praktiku. Pak je klíčové správně určit, k čemu daný systém AI vlastně slouží, a to nejen na základě smluvní dokumentace, ale i marketingových materiálů a technických podkladů. Pokud výsledkem je vysoce riziková kvalifikace, nabízí se zvážit využití filtračních mechanismů. Všechny tyto úvahy je potřeba řádně zdokumentovat a právě AI registr je pro to ideálním místem.
Právní předpisy citované ve článku (předpisy jsou citovány vždy ve znění pozdějších předpisů, pokud není výslovně uvedeno jinak):
Nařízení Evropského parlamentu a Rady (EU) 2024/1689 (AI Act) ze dne 13. června 2024, kterým se stanoví harmonizovaná pravidla pro umělou inteligenci a mění nařízení (ES) č. 300/2008, (EU) č. 167/2013, (EU) č. 168/2013, (EU) 2018/858, (EU) 2018/1139 a (EU) 2019/2144 a směrnice 2014/90/EU, (EU) 2016/797 a (EU) 2020/1828 (akt o umělé inteligenci).
Zdroj: European Commission: Draft Commission Guidelines on the Classification of High-Risk AI Systems