Research

Methoden aus dem Bereich der Künstlichen Intelligenz sind oft nicht transparent und ihre Entscheidungen in der Regel schwer nachvollziehbar. Beim Einsatz von Algorithmen und Modellen kann jedoch je nach Anwendungsbereich durch Gesetze oder Richtlinien sichergestellt werden, dass diese weder diskriminierend noch undurchsichtig sein dürfen. Das Teilprojekt untersucht, wie Methoden, die verschiedene Definitionen von Fairness verwenden, vollständig interpretierbar bzw. transparent gemacht werden können.

English version:

Methods developed in the field of artificial intelligence are often not transparent and their decisions are in many cases difficult to understand. However, depending on the area of application in which algorithms and models are used, laws or guidelines can require them to be neither discriminatory nor opaque. The subproject investigates how and to what extent methods that use various definitions of fairness can be made fully interpretable or transparent.

Können maschinelle Lernalgorithmen die Privatsphäre wahren und fair sein? Mit dem Zusammenspiel und den Trade-offs dieser beiden Konzepte befasst sich das Teilprojekt „Fairness vs. Privacy“. Einerseits wollen wir dabei erreichen, dass in maschinell gelernten Modellen verschiedene gesellschaftliche Gruppen gerecht berücksichtigt werden (Fairness). Andererseits sollen innerhalb eines Lernalgorithmus keine Daten an Dritte weitergegeben werden und auch die Ausgabe des Lernalgorithmus keine Rückschlüsse auf die verwendeten Trainingsdaten zulassen (Privacy).
Ziel des Teilprojektes ist es dabei, sowohl die Kombination beider Konzepte theoretisch zu untersuchen, als auch neue Ansätze für die Praxis zu entwickeln.

English version:

Can machine learning algorithms preserve privacy and be fair? The sub-project "Fairness vs. Privacy" deals with the interaction and the trade-offs of these two concepts. On the one hand, we want to achieve that different social groups are considered equally in machine learning models (fairness). On the other hand, within an ML algorithm, no data should be passed on to third parties, and from the output of the algorithm, it should not be possible to draw conclusions about the original training data (privacy).The aim of the sub-project is to theoretically examine the combination of both concepts and to develop new approaches for applications in practice.

Was kostet der Schutz der Privatsphäre beim maschinellen Lernen? Mit dieser Frage beschäftigt sich das Teilprojekt "Privacy vs. Resource Efficiency". Ziel des Teilprojektes ist es kryptographische Verfahren auf ihre Kosten, wie Rechenaufwand und Kommunikation, zu untersuchen und effiziente Methoden und Implementierungen zu entwickeln.

English version:

What does privacy in machine learning cost? This question is the main directive for the sub-project "Privacy vs. Resource Efficiency". We aim to analyse cryptographic procedures regarding their costs, like computation and communication, and to develop efficient methods and implementations.

Der Wunsch nach erklärbaren und transparenten Modellen im Bereich maschinelles Lernen mit zugleich guter Vorhersagekraft ist aktuell stärker denn je. Insbesondere durch heutige Technologien werden Daten kontinuierlich generiert und übertragen. Um diesen Anforderungen gerecht zu werden, erstrebt das Teilprojekt „Ressourceneffizienz vs. Transparenz“ die Entwicklung effizienter und zugleich transparenter Lernverfahren im Datenstrom-Setting.

English version:

The demand for explainable and transparent machine learning models with good predictive power is currently stronger than ever. Especially through recent technologies, data is continuously generated and transmitted. To meet these requirements the subproject ‘Resource Efficiency vs. Transparency’ aims at the development of efficient and at the same time transparent learning methods in the data stream setting.

Teilprojekt 6 betrifft die Aspekte Transparenz vs. Privacy. Hinsichtlich des Transparenz-Aspekts sollen verständliche Wissensbasen aus Daten erlernt werden. Als Werkzeug hierfür dient die bestehende InteKRator-Toolbox. Mit Fokus auf den Privacy-Aspekt soll betrachtet werden, inwiefern solche gelernten Wissensbasen Datenschutzkriterien genügen – insbesondere in (unsicheren) verteilten Umgebungen, wo z.B. die Datenquellen liegen können. Darüber hinaus soll untersucht werden, wie verteilte Ansätze zur Verbesserung von InteKRator eingesetzt werden können (z.B. zur Steigerung der Lern-Performance), um Wissensbasen für medizinische Anwendungen aus Daten zu lernen (beispielsweise für medizinische Expertensysteme).

English version:

Subproject 6 considers the aspects transparency vs. privacy. The transparency aspect will be covered by building on the InteKRator toolbox—a toolbox that allows for learning comprehensible knowledge bases from data. In this context, it will be investigated to which extend such learned knowledge bases satisfy data protection criteria—especially in (untrusted) distributed environments. Moreover, it will be investigated, how distributed approaches can help to improve InteKRator (i.e., concerning the learning performance) for learning knowledge bases for medical applications (such as medical expert systems).

Um relevante KI-Forschung zu betreiben, ist es heute dringend erforderlich, ebenso ethische und rechtliche Rahmenbedingungen zu bedenken. Daher ist ein strategisches Ziel, Expertise von Ethik und Recht auf der einen Seite und KI-Forschung in der Informatik auf der anderen Seite in einem Projekt und langfristig aneinander zu binden.
Ein weiteres Feature von TOPML ist ein KI-Lab, das die Erkenntnisse aus den Teilprojekten einerseits in Anwendungen an der JGU selbst bringen, aber auch in die industrielle Praxis tragen soll. Das KI-Lab selbst soll aufgrund der Nähe zur regionalen und überregionalen Industrie an der Hochschule Mainz angesiedelt werden. Das Projekt wird somit eine Vorreiterstellung in der Kooperation zwischen der JGU und der Hochschule Mainz auf einem technischen Gebiet einnehmen.
Im Bereich Nachwuchsförderung und Gleichstellung soll in den ersten drei Jahren des Projektes mithilfe der Programme Q+ und Ada-Lovelace technisch versierte wie gesellschaftlich verantwortungsvolle Nachwuchswissenschaftler:innen als studentische Hilfskräfte herangezogen werden, die im späteren Projektverlauf als Doktorand:innen eingestellt werden können.