PARÍŽ - Pri nedávnom bezpečnostnom teste bol generatívny bankový chatbot s umelou inteligenciou určený na pomoc zákazníkom pri žiadostiach o pôžičku zmanipulovaný tak, aby prezradil citlivé finančné informácie. Testeri obišli bezpečnostné kontroly a získali komplexný zoznam schválených úverov vrátane mien zákazníkov.
Tento varovný príbeh zdôrazňuje zásadný problém: generatívna umelá inteligencia by mohla priniesť revolúciu do celých odvetví, ale bez spoľahlivých bezpečnostných protokolov môže viesť aj ku katastrofálnym výsledkom. Tradičné bezpečnostné modely už nestačia. Transformačné technológie, ako je generatívna AI, si vyžadujú nový, holistický prístup ku kybernetickej bezpečnosti.
Letectvo poskytuje užitočný model. Podobne ako nadzvukové lietadlá, aj generatívna umelá inteligencia je transformačná technológia s obrovským potenciálom. Bez vyškolených operátorov, dobre navrhnutých systémov a spoľahlivých bezpečnostných opatrení je však riziko katastrofického zlyhania príliš veľké na to, aby sme ho ignorovali. Prijatím prísnych bezpečnostných protokolov sa letecká doprava stala jedným z najbezpečnejších druhov dopravy. Podobne aj potenciál umelej inteligencie je nepopierateľný, ale jej budúcnosť závisí od riešenia bezpečnostných rizík. Nedávna štúdia BCG napríklad ukázala, že tri štvrtiny vedúcich pracovníkov podnikov považujú kybernetickú bezpečnosť za hlavnú prekážku rozširovania AI.
Na rozdiel od tradičného softvéru sa generatívna AI spolieha na pravdepodobnosti, čo môže viesť k nepredvídateľným výsledkom. Veľké jazykové modely (LLM) zavádzajú nedeterministické správanie, čo vytvára slepé miesta kybernetickej bezpečnosti. Okrem toho ich závislosť od vstupov v prirodzenom jazyku, adaptívne učenie a rozsiahle integrácie s inými nástrojmi a službami ich robia jedinečne zraniteľnými.
Tak ako si letectvo vyžaduje komplexný, mnohostranný prístup k bezpečnosti, kybernetická bezpečnosť musí byť zakotvená v každej vrstve umelej inteligencie, od jej architektúry až po správu údajov a ľudský dohľad. Bez takéhoto základu zostane budúcnosť AI neistá.
Access every new PS commentary, our entire On Point suite of subscriber-exclusive content – including Longer Reads, Insider Interviews, Big Picture/Big Question, and Say More – and the full PS archive.
Subscribe Now
Kľúčovou zraniteľnosťou systémov AI sú útoky typu prompt-injection, pri ktorých útočníci zmanipulujú model tak, aby odhalil citlivé údaje alebo zmenil svoju logiku rozhodovania. Nedávny test bankových chatbotov odhalil rovnako alarmujúce riziko: zvýšenie oprávnení. Testujúci sa vydávali za administrátora, schvaľovali neoprávnené úvery a upravovali backendové údaje.
Podobne boli kompromitovaní aj asistenti umelej inteligencie v zdravotníctve, keď bezpečnostní výskumníci úspešne získali dôverné záznamy pacientov rafinovaným preformulovaním ich dotazov. Namiesto priameho vyžiadania lekárskych záznamov útočníci formulovali svoje otázky tak, aby sa podobali legitímnym požiadavkám lekára. Tým odhalili ďalšiu slabinu: Umelá inteligencia často uprednostňuje jazykovú logiku pred kontrolou prístupu.
Tieto zraniteľnosti presahujú rámec bankovníctva a zdravotníctva. Mnohé aplikácie umelej inteligencie využívajú agentové systémy, ktoré získavajú údaje v reálnom čase na samostatné rozhodovanie, čo vytvára príležitosti pre útočníkov. Napríklad bezpečnostné hodnotenie chatbota na obsluhu zákazníkov poháňaného AI ukázalo, že útočníci dokázali využiť slabú validáciu aplikačného programovacieho rozhrania (API) na manipuláciu LLM, aby odhalil interné zľavové kódy a podrobnosti o zásobách.
Prispôsobivosť umelej inteligencie sa dá zneužiť aj prostredníctvom tzv. otravy kontextu. Postupným formovaním odpovedí modelu v priebehu času môžu útočníci nasmerovať jeho odpovede na nesprávne alebo nebezpečné odporúčania. V jednom experimente bol kúpeľný chatbot opakovane vystavený vstupom, ktoré formulovali nebezpečné zložky ako prospešné. Nakoniec začal odporúčať škodlivé produkty starostlivosti o pleť.
Keďže systémy umelej inteligencie zahlcujú tradičnú infraštruktúru automatickými požiadavkami, môžu viesť k zlyhaniu systému - tento jav je známy ako kontaminácia dedičstva. Aby sa predišlo tomuto výsledku, organizácie musia zaviesť nepriateľské školenie a neustále vystavovať modely AI klamlivým vstupom, aby sa zvýšila ich odolnosť.
Detekcia anomálií v reálnom čase - automatizovaná aj manuálna - môže identifikovať neobvyklé správanie AI skôr, ako manipulované údaje ovplyvnia reakcie. Podobne ako sa systémy riadenia letu spoliehajú na nezávislé zálohovanie, aj generatívna bezpečnosť AI musí byť postavená na viacvrstvových ochranných opatreniach vrátane automatizovanej detekcie anomálií na označenie neobvyklej aktivity, redundantného overovania prístupu na zabránenie neoprávneným interakciám so systémom a mechanizmov vrátenia v reálnom čase na zvrátenie škodlivých zmien.
Zatiaľ čo analytici predpovedajú, že globálne výdavky na umelú inteligenciu do roku 2028 presiahnu 631 mld. Mnohé z týchto investícií budú mať problém priniesť zmysluplnú návratnosť, ak sa nevyriešia základné problémy kybernetickej bezpečnosti. Najdôležitejšie je, aby sa bezpečnosť AI vyvinula z "doplnkovej" funkcie na základnú funkciu zakotvenú v architektúre systému, správe údajov a ľudskom dohľade. Účinný bezpečnostný rámec by mal byť plynulý, adaptívny, odolný a integrovaný do starších systémov.
Dokonca aj lídri v odvetví čelia výzvam v oblasti návrhu, čo zdôrazňuje potrebu prísnejších bezpečnostných opatrení. V marci 2023 spoločnosť OpenAI objavila chybu v knižnici s otvoreným zdrojovým kódom, ktorá neúmyselne odhalila platobné informácie používateľov ChatGPT tým, že odoslala potvrdzovacie e-maily nesprávnym príjemcom.
Bezpečnosť umelej inteligencie sa musí vyvíjať v súlade so systémami, ktoré má chrániť. Účinná správa údajov však nie je len o posilnení potrubí a zabezpečení tréningových súborov údajov. Vyžaduje si dobre definovanú stratégiu, ktorá považuje údaje za konkurenčnú výhodu a starostlivo vyhodnocuje, ktoré údaje je potrebné odhaliť a ktoré údaje by mali podniky vedieť využiť.
Rovnako dôležitý je aj prevádzkový dohľad. Kybernetická bezpečnosť nesmie byť obmedzená na siločiary špecialistov. Musí byť zakotvená v každom oddelení a pracovnom procese, pričom nástroje na monitorovanie v reálnom čase a adaptívne slučky spätnej väzby pomáhajú organizáciám udržať si náskok pred vznikajúcimi hrozbami a zraniteľnosťami.
Okrem najmodernejšej technológie si kybernetická bezpečnosť vyžaduje pestovanie kultúry ostražitosti. Podľa správy spoločnosti Verizon z roku 2024 sa na 68 % všetkých prípadov narušenia ochrany údajov podieľal ľudský faktor, napríklad oklamanie phishingovými útokmi alebo sociálnym inžinierstvom. Na zmiernenie týchto rizík musia zamestnanci nielen identifikovať hrozby, ale aj naučiť sa na ne vhodne reagovať. Aj jednoduché opatrenia, ako sú pravidelné bezpečnostné školenia a transparentné mechanizmy nahlasovania, by mohli priniesť významný rozdiel.
Tak ako si letectvo získalo dôveru verejnosti prijatím prísnych bezpečnostných opatrení, aj odvetvie umelej inteligencie musí zaviesť ochranu, ktorá zabráni halucináciám, manipulácii, hackerským útokom a problémom s latenciou skôr, ako spôsobia reálne škody. To si vyžaduje komplexný prístup, ktorý integruje architektúru, inžinierstvo, dátovú stratégiu a zodpovednú UI. Spoločnostiam, ktoré začlenia bezpečnosť do každej vrstvy svojej stratégie AI, sa bude dariť, zatiaľ čo tie, ktoré sa držia zastaraných bezpečnostných modelov, budú nevyhnutne zaostávať.
To have unlimited access to our content including in-depth commentaries, book reviews, exclusive interviews, PS OnPoint and PS The Big Picture, please subscribe
Despite the uncertainty surrounding global trade, there are some bright spots – namely, booming trade in services. And here, ironically, the United States is leading the way, running a services trade surplus with most major economies and generating millions of good jobs for American workers.
encourages the US government to acknowledge the country’s impressive success in exporting services.
Germany's prospective governing parties have now amended the country's constitutional "debt brake" in order to boost defense spending. But by limiting the amendment to military expenditure, they are squandering an opportunity to invest in the country's economic future.
warn that current plans to boost military spending will unnecessarily undercut other priorities.
Jennifer Clapp & Olivier De Schutter
urge the UN maritime regulator not to encourage the shipping industry to move from one unsustainable fuel to another.
PARÍŽ - Pri nedávnom bezpečnostnom teste bol generatívny bankový chatbot s umelou inteligenciou určený na pomoc zákazníkom pri žiadostiach o pôžičku zmanipulovaný tak, aby prezradil citlivé finančné informácie. Testeri obišli bezpečnostné kontroly a získali komplexný zoznam schválených úverov vrátane mien zákazníkov.
Tento varovný príbeh zdôrazňuje zásadný problém: generatívna umelá inteligencia by mohla priniesť revolúciu do celých odvetví, ale bez spoľahlivých bezpečnostných protokolov môže viesť aj ku katastrofálnym výsledkom. Tradičné bezpečnostné modely už nestačia. Transformačné technológie, ako je generatívna AI, si vyžadujú nový, holistický prístup ku kybernetickej bezpečnosti.
Letectvo poskytuje užitočný model. Podobne ako nadzvukové lietadlá, aj generatívna umelá inteligencia je transformačná technológia s obrovským potenciálom. Bez vyškolených operátorov, dobre navrhnutých systémov a spoľahlivých bezpečnostných opatrení je však riziko katastrofického zlyhania príliš veľké na to, aby sme ho ignorovali. Prijatím prísnych bezpečnostných protokolov sa letecká doprava stala jedným z najbezpečnejších druhov dopravy. Podobne aj potenciál umelej inteligencie je nepopierateľný, ale jej budúcnosť závisí od riešenia bezpečnostných rizík. Nedávna štúdia BCG napríklad ukázala, že tri štvrtiny vedúcich pracovníkov podnikov považujú kybernetickú bezpečnosť za hlavnú prekážku rozširovania AI.
Na rozdiel od tradičného softvéru sa generatívna AI spolieha na pravdepodobnosti, čo môže viesť k nepredvídateľným výsledkom. Veľké jazykové modely (LLM) zavádzajú nedeterministické správanie, čo vytvára slepé miesta kybernetickej bezpečnosti. Okrem toho ich závislosť od vstupov v prirodzenom jazyku, adaptívne učenie a rozsiahle integrácie s inými nástrojmi a službami ich robia jedinečne zraniteľnými.
Tak ako si letectvo vyžaduje komplexný, mnohostranný prístup k bezpečnosti, kybernetická bezpečnosť musí byť zakotvená v každej vrstve umelej inteligencie, od jej architektúry až po správu údajov a ľudský dohľad. Bez takéhoto základu zostane budúcnosť AI neistá.
Introductory Offer: Save 30% on PS Digital
Access every new PS commentary, our entire On Point suite of subscriber-exclusive content – including Longer Reads, Insider Interviews, Big Picture/Big Question, and Say More – and the full PS archive.
Subscribe Now
Kľúčovou zraniteľnosťou systémov AI sú útoky typu prompt-injection, pri ktorých útočníci zmanipulujú model tak, aby odhalil citlivé údaje alebo zmenil svoju logiku rozhodovania. Nedávny test bankových chatbotov odhalil rovnako alarmujúce riziko: zvýšenie oprávnení. Testujúci sa vydávali za administrátora, schvaľovali neoprávnené úvery a upravovali backendové údaje.
Podobne boli kompromitovaní aj asistenti umelej inteligencie v zdravotníctve, keď bezpečnostní výskumníci úspešne získali dôverné záznamy pacientov rafinovaným preformulovaním ich dotazov. Namiesto priameho vyžiadania lekárskych záznamov útočníci formulovali svoje otázky tak, aby sa podobali legitímnym požiadavkám lekára. Tým odhalili ďalšiu slabinu: Umelá inteligencia často uprednostňuje jazykovú logiku pred kontrolou prístupu.
Tieto zraniteľnosti presahujú rámec bankovníctva a zdravotníctva. Mnohé aplikácie umelej inteligencie využívajú agentové systémy, ktoré získavajú údaje v reálnom čase na samostatné rozhodovanie, čo vytvára príležitosti pre útočníkov. Napríklad bezpečnostné hodnotenie chatbota na obsluhu zákazníkov poháňaného AI ukázalo, že útočníci dokázali využiť slabú validáciu aplikačného programovacieho rozhrania (API) na manipuláciu LLM, aby odhalil interné zľavové kódy a podrobnosti o zásobách.
Prispôsobivosť umelej inteligencie sa dá zneužiť aj prostredníctvom tzv. otravy kontextu. Postupným formovaním odpovedí modelu v priebehu času môžu útočníci nasmerovať jeho odpovede na nesprávne alebo nebezpečné odporúčania. V jednom experimente bol kúpeľný chatbot opakovane vystavený vstupom, ktoré formulovali nebezpečné zložky ako prospešné. Nakoniec začal odporúčať škodlivé produkty starostlivosti o pleť.
Keďže systémy umelej inteligencie zahlcujú tradičnú infraštruktúru automatickými požiadavkami, môžu viesť k zlyhaniu systému - tento jav je známy ako kontaminácia dedičstva. Aby sa predišlo tomuto výsledku, organizácie musia zaviesť nepriateľské školenie a neustále vystavovať modely AI klamlivým vstupom, aby sa zvýšila ich odolnosť.
Detekcia anomálií v reálnom čase - automatizovaná aj manuálna - môže identifikovať neobvyklé správanie AI skôr, ako manipulované údaje ovplyvnia reakcie. Podobne ako sa systémy riadenia letu spoliehajú na nezávislé zálohovanie, aj generatívna bezpečnosť AI musí byť postavená na viacvrstvových ochranných opatreniach vrátane automatizovanej detekcie anomálií na označenie neobvyklej aktivity, redundantného overovania prístupu na zabránenie neoprávneným interakciám so systémom a mechanizmov vrátenia v reálnom čase na zvrátenie škodlivých zmien.
Zatiaľ čo analytici predpovedajú, že globálne výdavky na umelú inteligenciu do roku 2028 presiahnu 631 mld. Mnohé z týchto investícií budú mať problém priniesť zmysluplnú návratnosť, ak sa nevyriešia základné problémy kybernetickej bezpečnosti. Najdôležitejšie je, aby sa bezpečnosť AI vyvinula z "doplnkovej" funkcie na základnú funkciu zakotvenú v architektúre systému, správe údajov a ľudskom dohľade. Účinný bezpečnostný rámec by mal byť plynulý, adaptívny, odolný a integrovaný do starších systémov.
Dokonca aj lídri v odvetví čelia výzvam v oblasti návrhu, čo zdôrazňuje potrebu prísnejších bezpečnostných opatrení. V marci 2023 spoločnosť OpenAI objavila chybu v knižnici s otvoreným zdrojovým kódom, ktorá neúmyselne odhalila platobné informácie používateľov ChatGPT tým, že odoslala potvrdzovacie e-maily nesprávnym príjemcom.
Bezpečnosť umelej inteligencie sa musí vyvíjať v súlade so systémami, ktoré má chrániť. Účinná správa údajov však nie je len o posilnení potrubí a zabezpečení tréningových súborov údajov. Vyžaduje si dobre definovanú stratégiu, ktorá považuje údaje za konkurenčnú výhodu a starostlivo vyhodnocuje, ktoré údaje je potrebné odhaliť a ktoré údaje by mali podniky vedieť využiť.
Rovnako dôležitý je aj prevádzkový dohľad. Kybernetická bezpečnosť nesmie byť obmedzená na siločiary špecialistov. Musí byť zakotvená v každom oddelení a pracovnom procese, pričom nástroje na monitorovanie v reálnom čase a adaptívne slučky spätnej väzby pomáhajú organizáciám udržať si náskok pred vznikajúcimi hrozbami a zraniteľnosťami.
Okrem najmodernejšej technológie si kybernetická bezpečnosť vyžaduje pestovanie kultúry ostražitosti. Podľa správy spoločnosti Verizon z roku 2024 sa na 68 % všetkých prípadov narušenia ochrany údajov podieľal ľudský faktor, napríklad oklamanie phishingovými útokmi alebo sociálnym inžinierstvom. Na zmiernenie týchto rizík musia zamestnanci nielen identifikovať hrozby, ale aj naučiť sa na ne vhodne reagovať. Aj jednoduché opatrenia, ako sú pravidelné bezpečnostné školenia a transparentné mechanizmy nahlasovania, by mohli priniesť významný rozdiel.
Tak ako si letectvo získalo dôveru verejnosti prijatím prísnych bezpečnostných opatrení, aj odvetvie umelej inteligencie musí zaviesť ochranu, ktorá zabráni halucináciám, manipulácii, hackerským útokom a problémom s latenciou skôr, ako spôsobia reálne škody. To si vyžaduje komplexný prístup, ktorý integruje architektúru, inžinierstvo, dátovú stratégiu a zodpovednú UI. Spoločnostiam, ktoré začlenia bezpečnosť do každej vrstvy svojej stratégie AI, sa bude dariť, zatiaľ čo tie, ktoré sa držia zastaraných bezpečnostných modelov, budú nevyhnutne zaostávať.