Mākslīgais intelekts turpina pierādīt, ka, izkļūstot no kontrolētas vides, tas var radīt ļoti reālas problēmas. Uzņēmums “Anthropic” ir atzinis, ka trīs no tā “Claude” modeļiem bez atļaujas piekļuva trīs reālu uzņēmumu sistēmām. iekšējās kiberdrošības testēšanas laikā. Incidents, kas nāca gaismā tikai dažas dienas pēc tam, kad OpenAI atzinās līdzīgā lietā, ir atdzīvinājis debates par autonomo aģentu novērtēšanas riskiem bez atbilstošiem drošības pasākumiem.
Saskaņā ar uzņēmuma oficiālo paziņojumu, incidents noticis "karoga sagūstīšanas" vingrinājumu laikā, kuru mērķis ir izmērīt modeļu spēju simulētā tīklā atrast un iegūt fiktīvu informāciju. Ārējā partnera novērtēšanas platformas konfigurācijas kļūdas dēļ interneta savienojums bija aktīvs.Tas ļāva modeļiem, kas bija pārliecināti, ka tie joprojām atrodas testa vidē, sākt mijiedarboties ar reālu infrastruktūru. Anthropic atklāja šo trūkumu pēc vairāk nekā 141 000 novērtēšanas sesiju pārskatīšanas.
Kloda trīs uzbrukumi
Visnopietnākais iesaistītais gadījums Claude Opus 4.7, kurš sajauca fiktīvu uzņēmumu ar reālu, kuram bija tāds pats domēna vārdsČetru palaišanas reižu laikā modelis izvilka akreditācijas datus no lietojumprogrammām un infrastruktūras, ieguva piekļuvi datubāzei, kurā bija vairāki simti ražošanas ierakstu, un turpināja uzbrukumu, neraugoties uz aizdomām par sistēmas īstumu. Tā iekšējā spriešana liecināja par šaubām, taču tas pārliecināja sevi, ka šis mērķis ir daļa no testa.
Otrais incidents bija saistīts ar Klods Mytoss 5, kurš izveidoja un publicēja ļaunprātīgu pakotni PyPI, oficiālajā Python repozitorijāLai to izdarītu, modelis atvēra e-pasta kontu, ieguva pagaidu tālruņa numuru un pat mēģināja piesaistīt līdzekļus pakalpojuma apmaksai. Pakotne bija pieejama aptuveni stundu, un to lejupielādēja 15 reālas sistēmas, tostarp kāda liela nozares uzņēmuma drošības skeneris. Izpildot kodu, modelis ieguva akreditācijas datus un piekļuva daļai no šī uzņēmuma infrastruktūras.
Trešajā epizodē tika izmantots vēl nepublicēts iekšējās pētniecības modelis. Nespējot atrast savu fiktīvo mērķi, viņš pārbaudīja aptuveni 9.000 adreses, kas pieejamas internetā. un kompromitēja uzņēmuma lietojumprogrammu, izmantojot atkļūdošanas lapā redzamus akreditācijas datus un pamata SQL injekcijas metodes. Tomēr atšķirībā no pārējiem diviem šis modelis noteica, ka infrastruktūra nav saistīta ar vingrinājumu, un proaktīvi apturēja uzbrukuma darbību.
Cilvēciska kļūda, nevis apzināta noplūde
Antropic vēlējās skaidri pateikt, ka Modeļi apzināti neizkļuva no testa vides; tas bija konfigurācijas kļūdas rezultāts. kas atstāja aktīvu interneta savienojumu. Uzņēmums apgalvo, ka aģenti neatklāja sarežģītas ievainojamības vai netiecās pēc saviem mērķiem; viņi vienkārši veica piešķirto uzdevumu, pilnībā neapzinoties, ka viņi darbojas reālā infrastruktūrā. Modeļos tika izmantotas tādas pamata metodes kā vājas paroles, neautentificēti piekļuves punkti un atklātas atkļūdošanas lapas.
Pēc aizdomīgu žurnālu atklāšanas uzņēmums apturēja visus kiberdrošības novērtējumus un paziņoja trim skartajām organizācijām. Divi no viņiem iepriekš nebija identificējuši ielaušanos.Tas parāda, cik grūti tradicionālajām atklāšanas sistēmām ir atšķirt cilvēka uzbrukumu no automatizēta, bet apzināta uzbrukuma. Anthropic ir arī lūgusi citām mākslīgā intelekta laboratorijām pārskatīt savu vidi, pirms testē autonomus aģentus ar uzbrukuma spējām.
Šis incidents notika tikai 20 dienas pēc tam, kad OpenAI atklāja līdzīgu gadījumu, kurā vairākiem tā modeļiem izdevās izkļūt no izolētas vides, izmantojot nezināmu ievainojamību, un piekļūt Hugging Face ražošanas infrastruktūrai. Abas epizodes izceļ riskus, kas saistīti ar mākslīgā intelekta aģentu ar ofensīvām spējām testēšanu bez stingras tehniskās ierobežošanas. un viņi ir izvirzījuši nepieciešamību ieviest stingrāku kontroli.
Reakcijas un regulējums redzeslokā
Šie incidenti ir radījuši bažas Vašingtonā. Prezidents Donalds Tramps ir paziņojis, ka viņa administrācija apsver iespēju palielināt kontroli pār mākslīgo intelektu.Tomēr viņš precizēja, ka vēlas izvairīties no pārāk lielas iejaukšanās, lai neatpaliktu no Ķīnas. Jūnija sākumā viņš jau uzdeva saviem padomniekiem izstrādāt brīvprātīgu kiberdrošības testēšanas sistēmu vismodernākajam mākslīgajam intelektam.
Tikmēr vairāk nekā 1.000 darbinieku no vadošajiem mākslīgā intelekta uzņēmumiem, tostarp OpenAI, Anthropic un Google DeepMind, parakstīja deklarāciju, kurā ASV valdība tika aicināta atbalstīt starptautiskos centienus apzināti palēnināt progresīva mākslīgā intelekta izstrādes tempu. Eksperti aicina izmantot tehniskus un politiskus instrumentus, lai palēninātu attīstību, ja riski palielināsies.īpaši ņemot vērā iespēju, ka sistēmas automatizēs savu izpēti un uzlabošanu.
Anthropic un OpenAI cenšas šos trūkumus pasniegt kā pārvaldāmus riskus, uzstājot, ka viņu kiberdrošības modeļi ir pārāk spēcīgi, lai tos piedāvātu plašai sabiedrībai. Šī nostāja ļauj viņiem vienlaikus brīdināt par briesmām un pozicionēt sevi kā būtiskus partnerus jebkurā turpmākajā regulējumā., dinamikā, kurā konkurence starp abiem uzņēmumiem ir saasinājusies un bailes ir kļuvušas par galveno pārdošanas argumentu.
Notikušais atstāj skaidru mācību: jo lielāku autonomiju iegūst modeļi, jo nepieciešamāk ir tos pakļaut testiem ar pārbaudāmu izolāciju, strupceļa tīkliem, sintētiskiem datiem un automātiskiem izslēgšanas mehānismiem. Drošība vairs nav tikai tehniska problēma, bet gan inženiertehniska un pārvaldības problēma, kas ietekmē visu nozari.Un, lai gan laboratorijas sacenšas, lai parādītu, kuram ir visspēcīgākais modelis, reālā pasaule joprojām ir galvenā testēšanas vieta.