Natural Language Processing

NLP ist längst als Thema in der Startup-Branche angekommen. Erste Startups bieten Softwarelösungen an, die dabei helfen unstrukturierte Daten zu klassifizieren, zu strukturieren und wichtige Passagen hervorzuheben. Die Idee dahinter ist nicht mehr den gesamten Text lesen zu müssen, sondern lediglich die wichtigen Inhalte zu verstehen. Die Software findet ihren Einsatz beispielsweise bei Versicherungsverträgen. 

 

NLP ist derzeit ein sehr angesagter Bereich der KI. Wo die Sprachmodelle in den letzten Jahren noch zwischen ein paar hundert Millionen und 17 Milliarden Parametern lagen, sind die Modelle heute im Trainingsprozess optimiert worden und mit 175 Milliarden Paramatern sprunghaft riesig geworden.

Auf der Grafik ist ganz rechts die neue Generation an Sprachmodellen zu sehen, die sogenannten Transformator-Sprachmodelle, zu denen das GPT-3 Modell gehört. Weitere sind das BERT-Modell von Google und gerade im Dialogbereich das ConvertRT Modell der Firma PolyAI.

Dabei zeigt sich, dass die Modelle in ihrer Effizienz so langsam an ihre Grenzen kommen. Google hat dazu ein paar Zahlen veröffentlicht. Das Optimieren von 1000 Parametern ihrer Modelle kostet sie ca. 1$. Ohne große neue Durchbrüche in der Forschung würde die Senkung der ImageNet-Fehlerrate von 15% auf 1% hunderte Milliarden Dollar kosten, was ökonomisch unverhältnismäßig ist.

Dabei hat man festgestellt, dass ein großes Modell viel weniger Daten im Trainingsprozess braucht und dennoch vergleichbar gut performt als ein kleines Modell. So hat Google große Sprachmodelle für qualitativ hochwertige Übersetzungen trainiert, für Sprachen mit begrenzten Trainingsdaten, z.B. Hansa (Handelssprache im Nord- und Ostseeraum um das 15.Jahrhundert) und Usbekisch. Es gibt aber Ausnahmen. Im Dialog performen kleinere Modelle besser als große Modelle und das auch schon bei geringer Datenbasis.

 

Um die Performance der Modelle festzustellen, werden sie in Allgemeinwissen und Problemlösungsfähigkeit getestet, darunter in den Kategorien Mathematik, Chemie, Geschichte, Recht und Außenpolitik. Je nachdem wie gut das Modell abschneidet, bekommt es einen entsprechenden NLP-Benchmark zugewiesen.

Unter diesen Benchmarks gibt es einen heißen Kandidaten, den sogenannten GLUE-Benchmark (General Language Understanding Evaluation). Dahinter steckt ein Datenset zum Trainieren und Testen von NLP-Modellen, das als menschlicher Maßstab genommen wird. Und dieser Benchmark ist letztes Jahr geknackt worden!

Das nächste große Ziel ist der SuperGlue Benchmark, den zu erreichen ein entsprechend höheres Niveau im Verständnis natürlicher Sprachen nötig ist. Aber selbst dieser ist mittlerweile nicht mehr weit entfernt.

 

Das wahnsinnig interessante an diesen Modellen ist die enorme Verallgemeinerungsfähigkeit. Hier mal ein Beispiel des GPT-2 Modells, welches sogar die Vervollständigung von Bildern schafft. Das Modell kann also deutlich mehr als nur Text-zu-Text Anwendungen. 

Das zur Hälfte beschnitte Foto auf der linken Seite wurde als Input in das GPT-2 Modell eingegeben. Rechts ist das vollständige Originalbild zu sehen. Die mittleren Bilder wurden durch das GPT-2 Modell vervollständigt. Faszinierend, nicht wahr?