Die Teilprojekte
Koordination:
Prof. Dr. Leon Bungert (JMU)
Zielsetzung:
Unser Ziel ist es, ein solides theoretisches Verständnis der Wechselwirkungen von Robustheit und Kompression von neuronalen Netzen im Zusammenhang mit gegnerischen Angriffen, Verteilungsverschiebungen und Parameterunsicherheiten zu entwickeln. Wir sind besonders daran interessiert, die geometrische Komplexität der Entscheidungsgrenzen von komprimierten Modellen und deren Auswirkungen auf die Robustheit zu verstehen. Zugleich wollen wir neue Trainingsmethoden entwickeln, die Robustheit und Kompression auf effektive und theoretisch fundierte Weise kombinieren.
Koordination:
Prof. Dr. Martin Burger (DESY), Dr. Tim Roith (DESY)
Zielsetzung:
Unser Ziel ist es, neue Algorithmen für spärliches Training, Modellbeschneidung und Datenkompression zu entwickeln, indem wir unendlich dimensionale diskretisierungsinvariante Netzwerkarchitekturen für Bildklassifikation und inverse Probleme einsetzen. Wir wollen inhärent flexible und widerstandsfähige Modelle erhalten, die effizient auf Daten mit mehreren Auflösungen angewendet werden können. Zentral wird dafür sein, das Konzept der Sparsamkeit in neuronalen Netzen durch maßgeschneiderte Parameterrepräsentationen zu verallgemeinern, die die Auswertungsgeschwindigkeit erhöhen.
Koordination:
Prof. Dr. Stephan Günnemann (TUM)
Zielsetzung:
Unser Ziel ist es, die Zuverlässigkeit moderner Kompressionsmethoden wie Pruning und Quantisierung in realen generativen KI-Anwendungen zu untersuchen und mögliche Kompromisse zwischen Kompression, Modellleistung Leistung und Zuverlässigkeit zu verstehen. Wir werden uns auf weit verbreitete Audio- und Sprachmodelle in Zusammenarbeit mit P4 und P6 konzentrieren und versuchen, robuste Pruning- und Quantisierungsmethoden durch spärliches Training und Auswahl von Kalibrierungsdaten zu entwerfen. Darüber hinaus werden wir weitere anwendbare Methoden zur Modelldestillation entwickeln, die neben Pruning und Quantisierung eine der vielversprechendsten Richtungen für die Kompression darstellt.
Koordination:
Prof. Dr.-Ing. Timo Gerkmann (UHH)
Zielsetzung:
Diffusionsmodelle haben sich als datengesteuerte Priors für inverse Probleme in der Sprachverarbeitung und Bildgebung hervorragend bewährt. Da sie viele Auswertungen großer Netzwerke erfordern, leiden sie unter einer langsamen Inferenz und einem hohen Energieverbrauch und erfordern außerdem ein kostspieliges Training. Unser Hauptziel ist es, diese Kosten sowohl für das Training als auch für die Inferenz deutlich zu reduzieren. Anstatt die Anzahl der Netzauswertungen zu begrenzen, wollen wir dieses Ziel mit komprimierten Datenrepräsentationen und Netzen sowie Robustheitsanalysen für beide angehen. Im Vergleich zu P6 konzentrieren wir uns auf generative Modelle für Rekonstruktions- und Restaurationsprobleme im Audio- und Bildbereich und nicht auf die Verifizierung und Erkennung von Sprechern. Da wir dieselbe Datenmodalität nutzen, streben wir Synergien und gemeinsame Entwicklungen an, z. B. bei Netzwerkarchitekturen, Trainingsverfahren und Datensätzen.
Koordination:
Prof. Dr. Ingo Scholtes (JMU), Dr. Anatol Wegner (JMU)
Zielsetzung:
Unser Ziel ist es, mithilfe von Deep Learning und informationstheoretischen Ansätzen komprimierte Modelle abzuleiten, die effizientes und robustes Graphenlernen ermöglichen. Wir gehen speziell auf die Herausforderung ein, dass die meisten GNNs von einer eine bekannte Graphtopologie voraussetzen, während reale Daten oft unvollständig sind, Rauschen unterliegen oder Muster höherer Ordnung aufweisen, die die von Standardgraphen nicht erfasst werden. Die Konstruktion des Graphen ist jedoch entscheidend für die Robustheit der nachgeschalteten Lernalgorithmen. Um diese Herausforderung zu bewältigen, wenden wir informationstheoretische und Bayes'sche Techniken an, die die die vorliegenden relationalen Daten nutzen, um komprimierte Graphenmodelle abzuleiten, die die Zuverlässigkeit des Graphenlernens verbessern.
Koordination:
Prof. Dr. ir. Emanuël Habets (FAU), Prof. Dr. Daniel Tenbrinck (FAU)
Zielsetzung:
Wir werden die Robustheit von neuronalen Netzen unter dem Einfluss von Domänenverschiebungen und Angriffen auf Sprechererkennungssysteme untersuchen. Darüber hinaus werden wir das Potenzial von komprimierten Modellen zur Erhöhung der Stabilität solcher Systeme in Bezug auf Audiodaten, die durch Rauschen und Domänenverschiebungen gestört sind, bewerten. Unser Ziel ist es, neue Trainings- und Kompressionsstrategien abzuleiten, um die Modelle für Sprechererkennungssysteme zu verbessern. Während sich P4 auf generative Methoden konzentriert, verwenden wir in P6 diskriminative Ansätze zur Sprechererkennung. Unser Ziel als Konsortium ist es, zu untersuchen, wie Kompressionstechniken diese unterschiedlichen Ansätze beeinflussen.
