KI 2023 - Best Paper Award
Im Rahmen der Konferenz 46th German Conference on Artifical Intelligence, welche vom 26. bis 29. September 2023 in Berlin stattfand, wurden Martin Glauer, Fabian Neuhaus, Till Mossakowski und Janna Hastings für ihr Paper Ontology Pre-training for Poison Prediction mit dem Best Paper Award ausgezeichnet.
Zusammenfassung des Papers:
Die Integration von menschlichem Wissen in neuronale Netze hat das Potenzial, deren Robustheit und Interpretierbarkeit zu verbessern. Wir haben einen neuartigen Ansatz entwickelt, um Wissen aus Ontologien in die Struktur eines Transformer-Netzes zu integrieren, den wir Ontologie-Pre-Training nennen: Wir trainieren das Netz, um die Zugehörigkeit zu Ontologie-Klassen vorherzusagen, um so die Struktur der Ontologie in das Netz einzubetten, und stimmen das Netz anschließend auf die jeweilige Vorhersageaufgabe ab. Wir wenden diesen Ansatz auf eine Fallstudie zur Vorhersage der potenziellen Toxizität kleiner Moleküle auf der Grundlage ihrer molekularen Struktur an, eine anspruchsvolle Aufgabe für maschinelles Lernen in der biowissenschaftlichen Chemie. Unser Ansatz verbessert den Stand der Technik und hat darüber hinaus mehrere zusätzliche Vorteile. Erstens können wir zeigen, dass das Modell lernt, seine Aufmerksamkeit auf aussagekräftigere chemische Gruppen zu richten, wenn es Vorhersagen mit Ontologie-Pre-Training macht, als ohne, was einen Weg zu größerer Robustheit und Interpretierbarkeit ebnet. Zweitens verringert sich die Trainingszeit nach dem Ontologie-Pre-Training, was darauf hindeutet, dass das Modell mit dem Ontologie-Pre-Training besser lernt, worauf es bei der Toxizitätsvorhersage ankommt als ohne. Diese Strategie ist als neuro-symbolischer Ansatz zur Einbettung sinnvoller Semantik in neuronale Netze allgemein anwendbar.
