Eén enkel cloudcompromis kan een leger AI-seksbots voeden – Malware News

Organisaties die de inloggegevens voor hun cloudomgeving kwijtraken, kunnen snel onderdeel worden van een verontrustende nieuwe trend: cybercriminelen die gestolen cloudinloggegevens gebruiken om geseksualiseerde AI-aangedreven chatdiensten te exploiteren en door te verkopen. Onderzoekers zeggen dat deze illegale chatbots, die aangepaste jailbreaks gebruiken om het filteren van inhoud te omzeilen, vaak overgaan in duistere rollenspelscenario’s, waaronder seksuele uitbuiting en verkrachting van kinderen.

Afbeelding: Shutterstock.

Onderzoekers bij beveiligingsbedrijf Permiso-beveiliging zeg maar aanvallen tegen generatieve kunstmatige intelligentie (AI)-infrastructuur zoals Gesteente van Amazon Web Services (AWS) zijn de afgelopen zes maanden aanzienlijk toegenomen, vooral wanneer iemand in de organisatie per ongeluk zijn cloudgegevens of sleutel online openbaar maakt, zoals in een codeopslagplaats zoals GitHub.

Bij onderzoek naar het misbruik van AWS-accounts voor verschillende organisaties ontdekte Permiso dat aanvallers gestolen AWS-inloggegevens hadden gebruikt om te communiceren met de grote taalmodellen (LLM’s) beschikbaar op Bedrock. Maar ze ontdekten ook al snel dat geen van deze AWS-gebruikers logboekregistratie had ingeschakeld (deze staat standaard uitgeschakeld), waardoor ze geen inzicht hadden in wat aanvallers met die toegang deden.

Daarom besloten Permiso-onderzoekers om hun eigen test-AWS-sleutel op GitHub te lekken, terwijl ze loggen aanzetten, zodat ze precies konden zien waar een aanvaller om zou kunnen vragen, en wat de reacties zouden kunnen zijn.

Binnen enkele minuten werd hun aassleutel opgepikt en gebruikt om een ​​dienst aan te drijven die AI-aangedreven sekschats online aanbiedt.

“Na het bekijken van de aanwijzingen en reacties werd het duidelijk dat de aanvaller een AI-rollenspelservice hostte die gebruikmaakt van gebruikelijke jailbreaktechnieken om de modellen inhoud te laten accepteren en erop te laten reageren die normaal gesproken zou worden geblokkeerd”, schreven Permiso-onderzoekers in een vandaag vrijgegeven rapport.

“Bijna al het rollenspel was van seksuele aard, waarbij een deel van de inhoud afdwaalde naar duistere onderwerpen zoals seksueel misbruik van kinderen,” vervolgden ze. “In de loop van twee dagen zagen we meer dan 75.000 succesvolle modelaanroepingen, bijna allemaal van seksuele aard.”

Ian Ahlsenior vice-president van bedreigingsonderzoek bij Permiso, zei dat aanvallers die in het bezit zijn van een werkend cloudaccount die toegang traditioneel hebben gebruikt voor alledaagse financiële cybercriminaliteit, zoals cryptocurrency-mining of spam. Maar de afgelopen zes maanden, zegt Ahl, is Bedrock naar voren gekomen als een van de meest gerichte clouddiensten.

“Slechte kerel heeft een chatservice en abonnees betalen hen geld,” zei Ahl over het bedrijfsmodel voor het opeisen van Bedrock-toegang tot krachtige sekschat-bots. “Ze willen niet betalen voor alle verzoeken van hun abonnees, dus in plaats daarvan kapen ze de infrastructuur van iemand anders.”

Ahl zei dat veel van de door AI aangedreven chatgesprekken die door de gebruikers van hun honeypot AWS-sleutel werden geïnitieerd, een onschuldig rollenspel van seksueel gedrag waren.

“Maar een percentage ervan is ook gericht op zeer illegale zaken, zoals fantasieën over seksueel misbruik van kinderen en uitgespeelde verkrachtingen,” zei Ahl. “En dit zijn typisch zaken waar de grote taalmodellen niet over kunnen praten.”

Bedrock van AWS gebruikt grote taalmodellen van Antropischwaarin een aantal technische beperkingen zijn opgenomen die erop gericht zijn bepaalde ethische beperkingen op te leggen aan het gebruik van hun LLM’s. Maar aanvallers kunnen deze beperkte instellingen ontwijken of ‘jailbreaken’, meestal door de AI te vragen zichzelf in een ingewikkelde hypothetische situatie voor te stellen waarin de normale beperkingen kunnen worden versoepeld of helemaal worden weggegooid.

“Een typische jailbreak zal een heel specifiek scenario opleveren, alsof je een schrijver bent die onderzoek doet voor een boek, en alle betrokkenen een instemmende volwassene zijn, ook al praten ze vaak over niet-consensuele dingen,” zei Ahl.

In juni 2024 kwamen beveiligingsexperts van Sysdig documenteerde een nieuwe aanval waarbij gestolen cloudgegevens werden gebruikt om tien in de cloud gehoste LLM’s aan te vallen. De aanvallers Sysdig schreven over het verzamelen van cloudgegevens via een bekend beveiligingsprobleem, maar de onderzoekers ontdekten ook dat de aanvallers LLM-toegang aan andere cybercriminelen verkochten terwijl ze de eigenaar van het cloudaccount een astronomische rekening opleverden.

“Zodra de eerste toegang was verkregen, exfiltreerden ze de cloudreferenties en kregen ze toegang tot de cloudomgeving, waar ze probeerden toegang te krijgen tot lokale LLM-modellen die werden gehost door cloudproviders: in dit geval was een lokaal Claude (v2/v3) LLM-model van Anthropic het doelwit. ”, schreven Sysdig-onderzoekers. “Als dit type aanval niet wordt ontdekt, kan het voor het slachtoffer meer dan 46.000 dollar aan LLM-consumptiekosten per dag opleveren.”

Ahl zei dat het niet zeker is wie verantwoordelijk is voor het exploiteren en verkopen van deze sekschatdiensten, maar Permiso vermoedt dat de activiteit verband houdt met een platform dat brutaal ‘kopvoorn(.)ai”, dat een brede selectie kant-en-klare AI-personages biedt waarmee gebruikers een gesprek kunnen beginnen. Permiso zei dat bijna elke personagenaam uit de aanwijzingen die ze in hun honingpot hadden vastgelegd, bij Chub te vinden was.

Enkele van de AI-chatbotkarakters aangeboden door Chub. Sommige van deze karakters bevatten de tags ‘verkrachting’ en ‘incest’.

Chub biedt gratis registratie aan, via zijn website of een mobiele app. Maar na een paar minuten chatten met hun nieuwe AI-vrienden wordt gebruikers gevraagd een abonnement aan te schaffen. Op de startpagina van de site staat bovenaan een banner die sterk suggereert dat de service toegang tot bestaande cloudaccounts doorverkoopt. Er staat: “Verbannen uit OpenAI? Krijg onbeperkte toegang tot ongecensureerde alternatieven voor slechts $ 5 per maand.”

Tot eind vorige week bood Chub een brede selectie karakters aan in een categorie genaamd “NSFL‘of Not Safe for Life, een term die bedoeld is om inhoud te beschrijven die zo verontrustend of misselijkmakend is dat deze emotioneel littekens veroorzaakt.

Fortuin profileerde Chub AI in een verhaal uit januari 2024 waarin de dienst werd beschreven als een virtueel bordeel, geadverteerd door geïllustreerde meisjes in jurken met spaghettibandjes die een op chat gebaseerde ‘wereld zonder feminisme’ beloven, waar ‘meisjes seksuele diensten aanbieden’. Uit dat stuk:

Chub AI biedt meer dan 500 van dergelijke scenario’s, en een groeiend aantal andere sites maken soortgelijke door AI aangedreven kinderpornografische rollenspellen mogelijk. Ze maken deel uit van een bredere ongecensureerde AI-economie die, volgens Fortune’s interviews met 18 AI-ontwikkelaars en oprichters, eerst werd gestimuleerd door OpenAI en vervolgens werd versneld door Meta’s release van zijn open-source Llama-tool.

Fortune zegt dat Chub wordt gerund door iemand die het handvat gebruikt “Overlevering”, die zeiden dat ze de dienst hebben gelanceerd om anderen te helpen inhoudsbeperkingen op AI-platforms te omzeilen. Chub brengt kosten in rekening vanaf $ 5 per maand voor het gebruik van de nieuwe chatbots, en de oprichter vertelde Fortune dat de site op jaarbasis meer dan $ 1 miljoen aan inkomsten had gegenereerd.

KrebsOnSecurity vroeg AWS om commentaar over Permiso’s onderzoek, wat aanvankelijk de ernst van de bevindingen van de onderzoekers leek te bagatelliseren. Het bedrijf merkte op dat AWS geautomatiseerde systemen gebruikt die klanten waarschuwen als hun inloggegevens of sleutels online worden aangetroffen.

AWS legde uit dat wanneer een sleutel- of inloggegevenspaar als openbaar wordt gemarkeerd, dit vervolgens wordt beperkt om de hoeveelheid misbruik te beperken die aanvallers mogelijk met die toegang kunnen plegen. Gemarkeerde inloggegevens kunnen bijvoorbeeld niet worden gebruikt om geautoriseerde accounts te maken of te wijzigen, of om nieuwe cloudbronnen op te zetten.

Ahl zei dat Permiso inderdaad meerdere waarschuwingen van AWS heeft ontvangen over hun blootgestelde sleutel, waaronder een waarschuwing dat hun account mogelijk door een ongeautoriseerde partij is gebruikt. Maar ze zeiden dat de beperkingen die AWS aan de blootgestelde sleutel oplegde, de aanvallers er niet van weerhielden deze te gebruiken om Bedrock-services te misbruiken.

Ergens in de afgelopen dagen heeft AWS echter gereageerd door Bedrock op te nemen in de lijst met services die in quarantaine worden geplaatst als een AWS-sleutel of -referentiepaar gecompromitteerd wordt aangetroffen of online wordt weergegeven. AWS bevestigde dat Bedrock een nieuwe toevoeging was aan zijn quarantaineprocedures.

Bovendien verwijderde Chub’s website, niet lang nadat KrebsOnSecurity dit verhaal begon te melden, de NSFL-sectie. Het lijkt er ook op dat het in de cache opgeslagen exemplaren van de site van de Wayback Machine op archive.org heeft verwijderd. Toch ontdekte Permiso dat de pagina met gebruikersstatistieken van Chub laat zien dat de site meer dan 3.000 AI-gespreksbots heeft met de NSFL-tag, en dat 2.113 accounts de NSFL-tag volgden.

De pagina met gebruikersstatistieken bij Chub laat zien dat meer dan 2.113 mensen zich hebben geabonneerd op de AI-gespreksbots met de aanduiding ‘Niet veilig voor het leven’.

Permiso zei dat hun hele tweedaagse experiment een rekening van $ 3.500 van AWS opleverde. Een deel van die kosten was gekoppeld aan de 75.000 LLM-aanroepen veroorzaakt door de sekschatdienst die hun sleutel had gekaapt. Maar ze zeiden dat de resterende kosten het gevolg waren van het inschakelen van LLM-promptregistratie, die standaard niet is ingeschakeld en erg snel duur kan worden.

Dat zou kunnen verklaren waarom bij geen van de klanten van Permiso dit soort logboekregistratie was ingeschakeld. Paradoxaal genoeg ontdekte Permiso dat hoewel het inschakelen van deze logboeken de enige manier is om zeker te weten hoe boeven een gestolen sleutel kunnen gebruiken, de cybercriminelen die gestolen of openbaar gemaakte AWS-inloggegevens voor sekschats doorverkopen, begonnen zijn met het opnemen van programmatische controles in hun code om ervoor te zorgen dat ze gebruiken geen AWS-sleutels waarvoor promptregistratie is ingeschakeld.

“Het inschakelen van loggen is eigenlijk een afschrikmiddel voor deze aanvallers, omdat ze onmiddellijk controleren of je ingelogd bent”, zegt Ahl. “Sommige van deze jongens zullen die accounts tenminste volledig negeren, omdat ze niet willen dat iemand ziet wat ze doen.”

In een verklaring gedeeld met KrebsOnSecurity zegt AWS dat zijn diensten veilig werken, zoals ontworpen, en dat er geen actie van de klant nodig is. Hier is hun verklaring:

“AWS-services werken veilig, zoals ontworpen, en er is geen actie van de klant nodig. De onderzoekers bedachten een testscenario waarbij opzettelijk de best practices op het gebied van beveiliging werden genegeerd om te testen wat er in een heel specifiek scenario zou kunnen gebeuren. Er zijn geen klanten in gevaar gebracht. Om dit onderzoek uit te voeren negeerden beveiligingsonderzoekers fundamentele best practices op het gebied van beveiliging en deelden ze publiekelijk een toegangssleutel op internet om te observeren wat er zou gebeuren.

“Desalniettemin identificeerde AWS de blootstelling snel en automatisch en bracht het de onderzoekers op de hoogte, die ervoor kozen geen actie te ondernemen. Vervolgens hebben we vermoedelijk gecompromitteerde activiteiten geïdentificeerd en aanvullende actie ondernomen om het account verder te beperken, waardoor dit misbruik is gestopt. We raden klanten aan de best practices op het gebied van beveiliging te volgen, zoals het beschermen van hun toegangssleutels en het zoveel mogelijk vermijden van langetermijnsleutels. Wij danken Permiso Security voor het inschakelen van AWS Security.”

AWS zei dat klanten het loggen van modelaanroepen kunnen configureren om Bedrock-aanroeplogboeken, modelinvoergegevens en modeluitvoergegevens te verzamelen voor alle aanroepen in het AWS-account dat in Amazon Bedrock wordt gebruikt. Klanten kunnen CloudTrail ook gebruiken om Amazon Bedrock API-aanroepen te monitoren.

Het bedrijf zei dat AWS-klanten ook diensten zoals GuardDuty kunnen gebruiken om potentiële beveiligingsproblemen op te sporen en Billing Alarms om meldingen te geven over abnormale factureringsactiviteiten. Ten slotte is AWS Cost Explorer bedoeld om klanten een manier te bieden om de kosten en het gebruik van Bedrock in de loop van de tijd te visualiseren en te beheren.

Anthropic vertelde KrebsOnSecurity dat het altijd werkt aan nieuwe technieken om zijn modellen beter bestand te maken tegen dit soort jailbreaks.

“We blijven ons inzetten voor het implementeren van strikt beleid en geavanceerde technieken om gebruikers te beschermen, en voor het publiceren van ons eigen onderzoek zodat andere AI-ontwikkelaars ervan kunnen leren”, aldus Anthropic in een verklaring per e-mail. “We waarderen de inspanningen van de onderzoeksgemeenschap om potentiële kwetsbaarheden onder de aandacht te brengen.”

Anthropic zei dat het gebruik maakt van feedback van kinderveiligheidsexperts bij Thorn rond signalen die vaak worden gezien bij kinderverzorging om zijn classificaties bij te werken, zijn gebruiksbeleid te verbeteren, zijn modellen te verfijnen en deze signalen te integreren in het testen van toekomstige modellen.

Artikellink: Eén enkel cloudcompromis kan een leger AI-seksbots voeden – Krebs over beveiliging