Emerging data-centric risks across the AI lifecycle

Abstract

AI systems, particularly generative models such as large language models and text-to-image models, are rapidly transforming how we create, consume, and interact with content. Yet, alongside their impressive capabilities comes a growing concern: these models can generate unsafe, biased, or inaccurate outputs, and leak sensitive data. While generative models bring these risks to the forefront, many of the underlying issues are systemic risks that span the broader AI landscape. They are fundamentally data-driven, rooted in every stage of the AI lifecycle, from the initial data curation and training supply chains to the machine learning algorithms, and finally to their ultimate downstream applications. In this dissertation, we investigate emerging data-centric risks across the AI lifecycle, aiming to understand how they arise, to develop frameworks to measure them, and to build novel solutions to address them. First, we assess whether the safety and bias issues in text-to-image models, largely stemming from flawed data curation, have been effectively mitigated throughout model evolution, despite developers' claims of improvement. Our findings reveal that both issues remain under-addressed, and in fact, one has further worsened over time. Second, we demonstrate that security vulnerabilities in the external training supply chain can be exploited to introduce new safety issues. We show that text-to-image models can be manipulated to generate unsafe images even using benign prompts. Next, we conduct a systematic measurement of privacy risks arising from training data memorization in visual prompt learning. We demonstrate that although the learned prompt is orders of magnitude smaller than the full model and heavily compresses training data, it can still memorize and leak sensitive information, posing privacy risks. Finally, we turn our focus to the deployment stage of the AI lifecycle, where the reuse of synthetic data, generated by LLMs, may raise growing concerns about societal bias and hallucinated content. To address this, we propose the first auditing framework for detecting whether synthetic data has been used in downstream applications, such as model development, thereby providing transparency into its reuse pathways within the AI lifecycle. Overall, this dissertation presents a comprehensive examination of emerging data-centric risks across the AI lifecycle, revealing how flaws in data, training practices, and downstream applications can propagate into real-world security, privacy, and safety issues. Through empirical measurement, adversarial exploitation, and framework design, it sheds light on emerging challenges and contributes methodological tools for designing more secure, transparent, and responsible AI systems.

KI-Systeme, insbesondere generative Modelle wie große Sprachmodelle und Text-zu-Bild- Modelle, verändern rasant die Art und Weise, wie wir Inhalte erstellen, konsumieren und mit ihnen interagieren. Gleichzeitig wachsen jedoch die Bedenken: Diese Modelle können unsichere, voreingenommene oder ungenaue Ausgaben erzeugen und sensible Daten preisgeben. Während generative Modelle diese Risiken in den Vordergrund rücken, handelt es sich bei vielen der zugrunde liegenden Probleme um systemische Risiken, die die gesamte KI-Landschaft betreffen. Sie sind grundsätzlich datengesteuert und in allen Phasen des KI-Lebenszyklus verankert, von der anfänglichen Datenkuratierung und den Trainingslieferketten über die maschinellen Lernalgorithmen bis hin zu ihren endgültigen Anwendungen. In dieser Dissertation untersuchen wir neu entstehende datenbezogene Risiken im gesamten KI-Lebenszyklus mit dem Ziel, zu verstehen, wie sie entstehen, Rahmenwerke zu ihrer Messung zu entwickeln und neue Lösungen zu ihrer Bewältigung zu erarbeiten. Zunächst bewerten wir, ob die Sicherheits- und Bias-Probleme in Text-zu-Bild-Modellen, die größtenteils auf mangelhafte Datenkuratierung zurückgehen, im Verlauf der Modellentwicklung trotz gegenteiliger Behauptungen der Entwickler wirksam gemindert wurden. Unsere Ergebnisse zeigen, dass beide Probleme nach wie vor unzureichend angegangen werden und dass sich eines davon im Laufe der Zeit sogar verschärft hat. Zweitens demonstrieren wir, dass Sicherheitslücken in der externen Trainingslieferkette ausgenutzt werden können, um neue Sicherheitsprobleme einzuführen. Wir zeigen, dass Text-zu-Bild-Modelle so manipuliert werden können, dass sie unsichere Bilder selbst bei harmlosen Eingaben erzeugen. Anschließend führen wir eine systematische Messung der Datenschutzrisiken durch, die aus der Memorierung von Trainingsdaten im visuellen Prompt-Lernen entstehen. Wir zeigen, dass der gelernte Prompt, obwohl er um Größenordnungen kleiner als das vollständige Modell ist und die Trainingsdaten stark komprimiert, dennoch Informationen memorieren und sensible Daten preisgeben kann, was Datenschutzrisiken mit sich bringt. Schließlich wenden wir uns der Einsatzphase im KI-Lebenszyklus zu, in der die Wiederverwendung synthetischer Daten, die von LLMs erzeugt wurden, zunehmende Bedenken hinsichtlich gesellschaftlicher Verzerrungen und halluzinierter Inhalte aufwerfen kann. Um dem entgegenzuwirken, schlagen wir das erste Auditierungs-Framework vor, das erkennt, ob synthetische Daten in nachgelagerten Anwendungen wie der Modellentwicklung verwendet wurden, und so Transparenz über ihre Wiederverwendungspfade im KI-Lebenszyklus schafft. Insgesamt präsentiert diese Dissertation eine umfassende Untersuchung neu entstehender datenbezogener Risiken im gesamten KI-Lebenszyklus und zeigt auf, wie Fehler in Daten, Trainingspraktiken und Anwendungen in Sicherheits-, Datenschutz- und Sicherheitsprobleme in der realen Welt münden können. Durch empirische Messung, adversarielle Ausnutzung und die Entwicklung von Frameworks beleuchtet sie neue Herausforderungen und trägt methodische Werkzeuge bei, um sicherere, transparentere und verantwortungsvollere KI-Systeme zu gestalten.