Firmy se dnes předhánějí v zavádění umělé inteligence. „Je dost možné, že se v některých firmách používá víc nástrojů AI, než o kolika vedení skutečně ví,“ říká Jozef Cheben, jednatel společnosti BINTURONIX. Obchodník si pomocí veřejného chatbota upraví nabídku, personalista zpracuje životopisy a vývojář si nechá zkontrolovat část zdrojového kódu, aby ušetřil čas.
Firemní data se tak ale dostávají do služeb, které ve firmě nikdo neposoudil z hlediska bezpečnosti. Víte, jaká data vaši zaměstnanci zadávají do nástrojů AI?

Jozef Cheben, CEO společnosti BINTURONIX, která malým a středním firmám poskytuje spravované IT služby, služby v oblasti kybernetické bezpečnosti a technologické poradenství
Největším rizikem jsou data a příliš široká oprávnění
V souvislosti s bezpečností AI se často zmiňují nové typy útoků, jako je prompt injection (podstrčení škodlivého pokynu), manipulace s modelem nebo otrávení dat. Za řadou problémů však stojí dobře známé chyby – příliš mnoho oprávnění, nedostatečná kontrola přístupu, nesprávná konfigurace a chybějící monitoring.
Umělá inteligence se dnes využívá v marketingu, při programování i při vývoji aplikací. Kdy její používání představuje pro firmu bezpečnostní riziko?
Záleží na tom, jaká data do AI zadáváte, jaký konkrétní nástroj používáte a především jakou míru autonomie mu dáte. Pokud při tvorbě běžného obrázku nebo příspěvku na sociální sítě nezadáváte citlivé údaje, bývá riziko nižší. I tak je ale důležité výstupy kontrolovat. Riziko roste, když AI povolíte přístup k firemním souborům a složkám a umožníte jí měnit jejich obsah.
Nástroje jako ChatGPT nebo Claude dnes můžete propojit s e-maily, tabulkami či prezentacemi. Je to praktické, ale je potřeba si dobře rozmyslet, co všechno jim dovolíte. Představte si, že vám AI agent připraví cenovou nabídku. Pokud mu povolíte i odesílání e-mailů bez vašeho schválení, může zákazníkovi poslat nabídku s chybnou cenou nebo nesprávnými obchodními podmínkami dřív, než ji stihnete zkontrolovat.
Abychom taková rizika minimalizovali, měli bychom autonomii AI agenta výrazně omezit. Přestože AI dokáže pracovat samostatně, doporučuji, aby každý její krok předem schválil člověk.
Lidé dnes dobrovolně přenášejí odpovědnost na AI, protože jim to šetří čas. Jsem ale přesvědčený, že právě v tomto pohodlí se skrývá obrovské bezpečnostní riziko.
Co mohou firmy při používání AI dělat jinak?
Bezpečnost AI není funkce, kterou stačí zapnout v administrátorském rozhraní. Záleží také na tom, jaké procesy a pravidla si firma postupně nastaví. Vedení k tomu nemusí znát každý technický detail.
Při používání AI si firma musí umět odpovědět na čtyři otázky.
- Kde AI používáme?
- Jaká data jí svěřujeme?
- Jaké úkony může AI provádět?
- Kdo odpovídá za rizika?
Když to zjednoduším, do AI zadávám jen údaje, které jsou pro konkrétní úkol nezbytné.
- Pokud například potřebuji návrh struktury dokumentu, stačí popis nebo vzorové údaje.
- Stejné pravidlo platí i pro přístup k celým složkám. Pokud AI zpřístupním celou strukturu složek, může se dostat i k dokumentům, které pro daný úkol nepotřebuje. Proto doporučuji vyhradit pro práci s AI konkrétní soubory nebo pracovní složku a udělit jí jen nezbytná oprávnění.
- Pokud má AI dokumenty pouze analyzovat, nepotřebuje oprávnění k jejich úpravám ani mazání.
- Pokud chceme pomocí AI připravovat cenové nabídky a smlouvy, je vhodné si nejprve ověřit, zda firma daný nástroj pro zpracování takových informací schválila.
- Při anonymizaci dat nestačí smazat jména. Citlivé informace totiž mohou zůstat i v textu, komentářích, skrytých listech tabulky nebo v metadatech. Stejně tak nestačí překrýt text černým obdélníkem.

Ochranu nelze stavět jen na tom, že model rozpozná nebezpečný pokyn. Oprávnění je nutné technicky omezit a citlivé operace má schvalovat člověk. Důležité kroky agenta by se měly zaznamenávat tak, aby bylo možné zpětně zjistit, co provedl.
Jaká rizika pro firmu představují AI agenti?
Zatímco chatbot většinou jen odpoví, agent může číst e-maily, vyhledávat v dokumentech, přistupovat k API, měnit záznamy v databázi nebo spouštět programový kód.
Pokud má AI asistent připravovat souhrn příchozí pošty, stačí mu oprávnění ke čtení zpráv. Jestliže smí zprávy také odesílat, může ho škodlivý pokyn ukrytý v příchozím e-mailu přimět k tomu, aby útočníkovi poslal citlivé údaje. Ochranu nelze stavět jen na tom, že model rozpozná nebezpečný pokyn. Oprávnění je nutné technicky omezit a citlivé operace má schvalovat člověk. Důležité kroky agenta by se měly zaznamenávat tak, aby bylo možné zpětně zjistit, co provedl.
Pro AI platí stejně jako pro jiné systémy princip minimálních oprávnění. Autonomní agent by měl mít přístup jen k systémům a datům, které ke své práci potřebuje, a oprávnění pouze k nezbytným úkonům.
Proč firmy podceňují bezpečnost?
Firmy hned vidí, kolik je zabezpečení stojí. Jeho přínos si ale často uvědomí až při incidentu. Někdy není jasné, kdo za bezpečnost odpovídá nebo co by výpadek znamenal pro chod firmy. Zabezpečení chrání výrobu, tržby i důvěru zákazníků a může být také podmínkou pro získání zakázky. Přesto bývá těžké přesvědčit klienty, aby každý měsíc platili za dohled nad bezpečností systémů a řešení incidentů.
AI umožňuje útočníkům provádět některé útoky výrazně rychleji a ve větším rozsahu. Náklady na takové útoky už dnes klesají, takže jsou dostupnější i pro mladistvé útočníky. AI zároveň pomáhá při odhalování incidentů. Pro firmy, kterým chybějí vyškolení lidé, nepřetržitý monitoring a nacvičené postupy, ale může být obtížné tyto možnosti využít.
Představte si firmu, která je součástí dodavatelského řetězce. Ve smlouvě se zavázala dodávat včas, jinak jí hrozí pokuta. Když škodlivý kód vyřadí z provozu CNC stroj za stovky tisíc eur, musí firma řešit odstávku i zpožděné dodávky. Útočník se přitom může do jejích systémů dostat přes nedostatečně zabezpečenou cloudovou službu nebo software pro vzdálenou údržbu.
S rostoucím počtem incidentů si firmy uvědomují význam preventivních opatření. Klientům se vždy snažím vysvětlit, jak posoudit, zda jsou náklady na prevenci, dohled a přípravu obnovy provozu přiměřené. Měli by je porovnat s tím, kolik by jejich firmu stál jediný den nebo třeba týden odstávky.
Co o bezpečnostních incidentech říkají data?
Společnost IBM například zkoumala 600 organizací, které řešily narušení bezpečnosti. U 13 % z nich incident zasáhl model nebo aplikaci AI. Těmto organizacím přitom chyběla odpovídající kontrola přístupu k AI. V celém zkoumaném vzorku 63 % organizací pravidla pro řízení AI buď vůbec nemělo, nebo je teprve připravovalo.
Dalším problémem je neoficiální používání AI bez vědomí firmy, označované jako shadow AI. Zaměstnanec vloží smlouvu, seznam zákazníků nebo zdrojový kód do veřejné služby, aby si urychlil práci. Data se tím ale dostanou do prostředí, které firma nemá pod kontrolou.
V Evropské unii se od února 2025 uplatňují ustanovení aktu o umělé inteligenci (AI Act) týkající se gramotnosti v oblasti AI. Poskytovatelé a uživatelé systémů AI musí přijímat opatření k rozvoji znalostí lidí, kteří s těmito systémy pracují. Školení zaměstnanců, které doporučuje bezpečnostní tým, je tak zároveň součástí přípravy firmy na plnění regulatorních požadavků.
Firmy pracují také s různými aplikacemi a systémy CRM, které využívají AI. Podle čeho by je měly vybírat?
Dodavateli bych vždy položil tři otázky:
- Kde budou naše data uložena?
- Jak často se zálohují?
- Jak jsou chráněna před neoprávněným přístupem, krádeží nebo zneužitím?
Odpovědi na tyto otázky by firma měla znát ještě předtím, než do systému vloží údaje o zákaznících, obchodní dokumenty nebo faktury.
Bezpečnost firemních dat začíná už výběrem správného systému CRM
Firmy dnes do systémů CRM ukládají kontakty na zákazníky, obchodní případy, cenové nabídky i faktury. Při výběru softwaru byste měli vedle jeho funkcí, ceny a snadného ovládání posoudit také to, jak systém chrání vaše data.
Jak vybrat systém CRM, kterému můžete svěřit firemní data?
Co si ověřit
- Kde se data uchovávají?
- Jak jsou chráněna a zálohována?
- Kdo k nim má přístup?
- Jaké podmínky platí, když systém přestanete používat?
Záleží také na tom, jak firma CRM používá. Každý zaměstnanec by měl mít vlastní uživatelský účet a přístup jen k údajům, které potřebuje ke své práci. Firma by měla pravidelně kontrolovat přístupová práva a stanovit jasná pravidla pro práci s firemními daty.
Ke kterým firemním datům mohou mít přístup nástroje a agenti AI?
S rostoucím využíváním AI nabývá tato otázka na významu. Přístup AI k systému CRM by neměl být automatický ani neomezený. Jeho rozsah by měl odpovídat konkrétnímu úkolu a bezpečnostním pravidlům firmy.

Při výběru softwaru byste měli kromě jeho funkcí, ceny a snadnosti používání posoudit také způsob zabezpečení údajů a bezpečnost dat.
Jak FLOWii chrání firemní data?
FLOWii v jednom systému propojuje správu zákazníků a obchodních případů, fakturaci i další firemní procesy. K ochraně údajů využívá zabezpečená datová centra, šifrovanou komunikaci a šifrované zálohy dat. Součástí systému jsou také mechanismy na ochranu před neoprávněným přístupem a síťovými útoky.
Ve firmě si můžete nastavit uživatelská oprávnění podle pracovních úkolů a určit, kdo může jednotlivé údaje zobrazovat, upravovat či exportovat.
Podrobnější informace o ochraně údajů najdete také na stránce Bezpečnost FLOWii.
Pět základních kroků pro používání AI ve firmě
Menší firma nemusí hned zřizovat samostatné oddělení pro bezpečnost AI. Potřebuje člověka, který za tuto oblast odpovídá, seznam schválených nástrojů, pravidla pro práci s daty a odbornou pomoc u rizikovějších projektů.
Větší firma by měla odpovědnost rozdělit mezi týmy, které mají na starosti IT, kybernetickou bezpečnost, vývoj, právní agendu, ochranu osobních údajů, nákup a provoz.
1. Nechte AI pomáhat a rozhodování ponechte na lidech
Umělá inteligence má podporovat odborný úsudek zaměstnanců. Určete, které výstupy a rozhodnutí vyžadují lidskou kontrolu a kdo za ně odpovídá.
2. Chraňte firemní a osobní údaje
Stanovte, jaké informace mohou zaměstnanci zadávat do AI. Používejte schválené nástroje, u kterých jste ověřili podmínky ochrany údajů, a kontrolujte dodržování pravidel.
3. Technicky omezte přístup a oprávnění
Používejte firemní účty a vícefaktorové ověřování. Oprávnění udělujte jen v nezbytném rozsahu. Pokud AI potřebuje číst soubory v konkrétní složce, nezpřístupňujte jí celý disk. Pokud má shrnovat příchozí poštu, nepotřebuje oprávnění k odesílání zpráv.
4. Buďte při používání AI transparentní
Jasně uvádějte, kde a k jakému účelu AI využíváte. Zákazníci i zaměstnanci mají vědět, zda komunikují s člověkem, nebo s AI.
5. Před nasazením AI proškolte zaměstnance
Naučte zaměstnance ověřovat výstupy, rozpoznávat chyby a posoudit, kdy AI nepoužít. Ve vzdělávání pokračujte i po nasazení AI a obsah školení průběžně aktualizujte.
