Moonshot, twórca popularnych modeli Kimi, wszczął wewnętrzną weryfikację. Badacze z firmy Mindgard twierdzą, że dzięki jailbreakowi skłonili dwa modele do podpowiedzi dotyczących broni biologicznej i zamachów. Nie wiadomo jednak, czy takie wskazówki działałyby w praktyce.
- Mindgard ominął zabezpieczenia modeli Kimi K2.6 i K3 Swarm, ale nie sprawdził, czy uzyskane odpowiedzi byłyby skuteczne.
- Firma spiera się z Moonshot o przebieg kontaktu. Chińska strona twierdzi, że jej modele zwykle odmawiają takich próśb.
- Sprawa wzmacnia debatę o bezpieczeństwie otwartych modeli AI. Eksperci proponują skupić się na karaniu ludzi, którzy nadużywają tej technologii.
Cyberatak na Fakturownię. Mogły wyciec dane kont, tokeny i numery rachunków
Chiński twórca sztucznej inteligencji Moonshot prowadzi wewnętrzną weryfikację. Badaczom udało się nakłonić dwa jego popularne modele Kimi do udzielenia wskazówek dotyczących wytwarzania broni biologicznej i przeprowadzania zamachów. O sprawie poinformowała stacja BBC.
Zabezpieczenia modeli Kimi K2.6 i K3 Swarm ominęli specjaliści firmy Mindgard, która testuje odporność systemów AI na ataki. Odkrycia dokonali w lipcu, stosując tzw. jailbreaking. To seria złożonych poleceń, po których model ignoruje ograniczenia narzucone przez twórców. Według Mindgard te zabezpieczenia powinny uniemożliwiać rozmowy na tak niebezpieczne tematy.
Moonshot przekazał, że zewnętrzne opinie uważa za filar budowania lepszej i bezpieczniejszej sztucznej inteligencji. Dodał, że rozmawia z Mindgard o wynikach testów.
Google wystrzeli AI w kosmos. To próba znalezienia tańszej energii
Model bez hamulców
Założyciel Mindgard Peter Garraghan nazywa ustalenia niepokojącymi. W rozmowie z programem BBC World Service „Tech Life” wyjaśnił, że po udanym jailbreaku model podejmuje niemal każdy temat. Sam podsuwa też kolejne szkodliwe pomysły i robi to z dużą inwencją.
Mindgard zastrzega, że nie zweryfikował, czy odpowiedzi Kimi byłyby w praktyce skuteczne. Twierdzi jednak, że zabezpieczenia w ogóle nie powinny dopuścić do takich rozmów. Firma jest też przekonana, że po jailbreaku Kimi 2.6 mogłoby pozwalać hakerom na uruchamianie kodu na zasobach obliczeniowych i łączenie się z internetem. Model stałby się wtedy potencjalną bazą do cyberataków.
Garraghan broni decyzji o publicznym ujawnieniu sprawy. Podkreśla, że najpierw poinformował producenta, a kluczowych szczegółów metody nie opisał. Wiadomość do Moonshot wysłano 27 lipca, a po około tygodniu ponowiono kontakt. Wpis na blogu ukazał się 12 września. Zdaniem Mindgard chiński koncern odezwał się dopiero wtedy, gdy o komentarz zapytało BBC. Moonshot odpowiada, że w wewnętrznych testach jego model zwykle odrzucał takie prośby.
Inżynier AI o zagrożeniu
Krzysztof Pika, badacz i inżynier AI, zwrócił uwagę na różnicę pomiędzy modelami zamkniętymi, a otwartowagowymi.
– Nie da się uzyskać takich informacji z modeli zamkniętych. W przypadku takich pytań modele przełączają się na słabsze wersje – powiedział.
Pika zauważył, że chińskie modele sztucznej inteligencji są otwartowagowe.
– Każdy może je sobie pobrać i uruchomić, jeżeli dysponuje odpowiednią mocą. Wtedy możemy dużo zrobić, w tym pozdejmować blokady – dodał.
Inżynier uspokoił jednak, że modele AI nie mają dostępu do żadnych tajnych informacji. Informacje uzyskiwane od modeli można zdobyć w inny sposób. Pika dodał, że w przypadku broni biologicznej problemem nie jest brak wiedzy, ale np. laboratorium.
– Większym zagrożeniem jest wykorzystanie AI w cyberbezpieczeństwie, do np. ataków na serwery – podsumował ekspert.
Otwarte kontra zamknięte
Sprawa wpisuje się w spór o to, co jest bezpieczniejsze. Jedni wskazują zamknięte modele komercyjne, jak te napędzające ChatGPT i Claude. Inni stawiają na rozwiązania otwarte. Kimi jest modelem typu open-weight, więc teoretycznie każdy może go pobrać i uruchomić na własnej infrastrukturze.
Prof. Alan Woodward z Uniwersytetu w Surrey przyznaje, że otwarte modele mogą trafić w niepowołane ręce. Zwraca jednak uwagę, że służą też cyberobronie. Przypomniał, że firma Hugging Face użyła chińskiego modelu open-source do analizy włamania, które okazało się dziełem agentów OpenAI.
Woodward uważa, że międzynarodowe przepisy nie nadążą za rozwojem AI. Zauważył, że samo uzgodnienie formatu numerów telefonów zajęło światu dziesięciolecia. On i Garraghan podkreślają, że trzeba się skupić na wykrywaniu i karaniu ludzi, którzy nadużywają sztucznej inteligencji. Niedawno Anthropic informował o wykryciu i zablokowaniu prób użycia jednego ze swoich modeli do szkodliwych działań, które mogły wspierać rozwój broni biologicznej.
Obejrzyj także: