Die Landesbehörde für Cybersicherheit in Baden-Württemberg

Künstliche Intelligenz und Cybersicherheit – Chancen und Risiken

Künstliche Intelligenz (KI) verändert die Bedrohungslage deutlich. Sie ermöglicht leistungsfähigere und schwerer zu erkennbare Angriffe, bietet aber gleichzeitig bessere Möglichkeiten zur Verteidigung.
Blauer Radar mit Sicherheitsschloss in der Mitte

© Adobe Stock

In diesem Abschnitt erhalten Sie einen Überblick über potenzielle Angriffsmethoden, die mithilfe von KI durchgeführt werden oder sich gezielt gegen KI-Systeme richten. Außerdem erfahren Sie, wie KI eingesetzt werden kann, um die Abwehr von Cyberangriffen zu verbessern.

Potenzielle Angriffsszenarien durch KI

Durch den Einsatz von künstlicher Intelligenz entstehen neue potenzielle Angriffsszenarien. Einige Beispiele haben wir hier zusammengefasst:

  • Fortschrittliche Social-Engineering-Angriffe nutzen inzwischen auch Deepfake-Technologien, um täuschend echte audiovisuelle Inhalte zu erstellen, während KI-gesteuerte Chatbots hochgradig personalisierte Phishing-E-Mails generieren. Diese Angriffe zeichnen sich durch eine bisher unerreichte Qualität aus, mit fehlerfreier Orthografie und natürlichen Übersetzungen, die traditionelle Erkennungsmerkmale obsolet machen.

  • KI-Systeme haben die Erstellung und Verbreitung von Desinformation und Fake-News revolutioniert. Durch die Analyse von Nutzerverhalten und Präferenzen können KI-Algorithmen maßgeschneiderte Falschinformationen generieren, die gezielt auf bestimmte Zielgruppen zugeschnitten sind. Die Fähigkeit, große Mengen überzeugender, kontextrelevanter Inhalte zu produzieren, ermöglicht die rasche Verbreitung von Fehlinformationen über verschiedene Plattformen hinweg. Dies erschwert die Unterscheidung zwischen Fakt und Fiktion erheblich, zerstört das Vertrauen in traditionelle Informationsquellen und kann zum Beispiel zur breitgefächerten Beeinflussung von demokratischen Prozessen genutzt werden.

  • Große Sprachmodelle (LLMs) werden zunehmend für die Generierung täuschend echter Inhalte eingesetzt. Angreifende nutzen diese Technologie, um plausible Domainnamen und URLs für Fake-Websiten zu erstellen sowie überzeugende Texte für Desinformationskampagnen zu produzieren. Die Fähigkeit dieser Modelle, kontextbezogene und stilistisch angepasste Inhalte zu generieren, macht die Unterscheidung zwischen echten und gefälschten Informationen zunehmend schwierig.

  • Die KI-basierte Schadcodegenerieung und -modifikation stellt eine weitere ernsthafte Bedrohung dar. Mithilfe von KI können inzwischen auch technisch weniger versierte Angreifende komplexe Malware erstellen. Darüber hinaus ermöglicht KI die adaptive Modifikation bestehender Schadprogramme, wodurch diese in der Lage sind, Erkennungsmechanismen dynamisch zu umgehen. Diese Fähigkeit zur kontinuierlichen Anpassung macht die Entwicklung effektiver Antivirensoftware zu einer ständigen Herausforderung und erhöht das Risiko von Zero-Day-Exploits.

  • Im Bereich der Angriffe auf Authentifizierungssysteme hat der Einsatz von KI zu einer erheblichen Effizienzsteigerung geführt. KI-Algorithmen können nun wahrscheinliche Passwörter basierend auf Benutzerverhalten und psychologischen Profilen vorhersagen. Diese Techniken gehen weit über traditionelle Wörterbuch- oder Brute-Force-Angriffe hinaus und nutzen komplexe Muster in der Passwortgenerierung aus.

  • Schließlich ermöglicht KI die automatisierte Ausnutzung von Schwachstellen in Echtzeit. KI-gesteuerte Scans können Sicherheitslücken in Netzwerken und Systemen identifizieren und augenblicklich ausnutzen.

Digitales Dashboard

© Adobe Stock

Angriffe gegen KI-Modelle

Angriffe können sich auch gegen KI-Modelle selbst richten, indem beispielsweise manipulierte Trainingsdaten zu fehlerhaften Ausgaben führen. Im Folgenden finden Sie Beispiele für potenzielle Angriffsszenarien auf KI-Modelle:

  • Data Posioning meint die gezielte Manipulationen der Trainingsdaten eines KI-Systems. Ziel ist es, die Leistung oder das Verhalten des Modells negativ zu beeinflussen. Techniken wie Data Poisoning, Modellinversion und Backdoor-Angriffe können zu fehlerhaften Ausgaben in kritischen Bereichen wie autonomem Fahren oder medizinischer Diagnostik führen.

  • Hierbei geht es darum, die Eingabedaten so zu gestalten, dass sie vom KI-System falsch klassifiziert werden. Ein Beispiel wäre ein leicht verändertes Verkehrsschild, das von einem autonomen Fahrzeug nicht erkannt wird.

  • Dies beschreibt Versuche, die Funktionsweise oder Parameter eines KI-Modells zu extrahieren oder nachzubilden, oft durch wiederholtes Abfragen und Analysieren der Ausgaben. Ziel ist die Rekonstruktion vertraulicher Information in Trainingsdaten, oft zur Vorbereitung weiterer Angriffe.

  • Ein besonders besorgniserregendes Phänomen sind sogenannte Jailbreaks und Prompt-Hacking-Techniken. Hierbei werden ausgeklügelte Eingabesequenzen verwendet, um Sicherheitsfilter in KI-Systemen zu umgehen und die Modelle selbst zur Generierung von Schadcode zu manipulieren. Diese Techniken erfordern oft ein tiefes Verständnis der zugrundeliegenden KI-Architekturen und nutzen subtile Schwachstellen in den Trainingsparadigmen aus.

Verteidigung mit KI

KI-Modelle können auch zur Verteidigung vor Angriffen eingesetzt werden und damit die Erkennung von Schwachstellen und Bedrohungen maßgeblich beschleunigen und vereinfachen.

Grafik Hände zeigen Schloss und Schutzschild auf Tablet

© CSBW

  • KI-Tools führen kontinuierliche Analysen der IT-Infrastruktur durch, identifizieren potenzielle Schwachstellen und priorisieren deren Behebung basierend auf Risikobewertungen. Dies kann natürlich auch durch Angreifende genutzt werden, je nach Zielrichtung des Vorgehens.

  • Das erweiterte Penetration Testing (Pentesting) hat durch KI-Unterstützung eine neue Dimension erreicht. KI-Systeme können nun komplexe Angriffsszenarien simulieren und damit präventiv die Verteidigung stärken.

  • In der Bedrohungserkennung spielen KI-Systeme eine zentrale Rolle. Durch den Einsatz von maschinellen Lernen zur Erkennung von Anomalien im Netzwerkverkehr können selbst die subtilsten Abweichungen vom Normalzustand identifiziert werden.

  • Die automatisierte Incident Response hat die Reaktionsgeschwindigkeit auf Sicherheitsvorfälle
    erheblich verbessert. KI-gesteuerte Orchestrierungssysteme können bei erkannten Angriffen sofortige Gegenmaßnahmen einleiten, wie die Isolation betroffener Systeme oder die Anpassung von Firewall-Regeln. Diese automatisierten Reaktionen reduzieren die Zeit zwischen Erkennung und Eindämmung von Bedrohungen auf ein Minimum.

  • Prädiktive Sicherheitsanalysen stellen einen proaktiven Ansatz in der Cybersicherheit dar. Durch die Analyse globaler Bedrohungsdaten können KI-Systeme potenzielle zukünftige Angriffsvektoren vorhersagen.