• Natural Language Processing

    Natural Language Processing

    Ein Computer, der meine Sprache spricht

Mannheim, 17. Februar 2021

Verarbeiten und analysieren natürlicher Sprache durch KI

Die enorme Verbesserung der Computerleistung und Datensicherung sowie der Fortschritt im maschinellen Lernen haben dem Forschungsgebiet zur Verarbeitung natürlicher Sprachen (Natural Language Processing, kurz: NLP) neuen Antrieb verschafft und es erstmals so richtig auf die Beine gestellt. Durch das Trainieren moderner Deep Learning Methoden auf riesigen Mengen linguistischer Daten ließ sich eine Reihe leistungsstarker Modelle entwickeln. Zu den Einsatzgebieten zählen unter anderen die Korrektur von Rechtschreib- oder Grammatikfehler, die Übersetzung, dem Zusammenfassen von Texten und das Hervorheben von Kerninformationen aus Dokumenten.

Was gibt es Neues zu dem Thema aus der Versicherungswelt?

NLP ist längst als Thema in der Startup-Branche angekommen. Erste Startups bieten Softwarelösungen an, die dabei helfen unstrukturierte Daten zu klassifizieren, zu strukturieren und wichtige Passagen hervorzuheben. Die Idee dahinter ist nicht mehr den gesamten Text lesen zu müssen, sondern lediglich die wichtigen Inhalte zu verstehen. Die Software findet ihren Einsatz beispielsweise bei Versicherungsverträgen. 
Versicherungsvertrag
Quelle: XPRENEURS Incubator
 

Aktuelle Neuigkeiten und Trends aus der Forschung

Moderne Sprachmodelle sind sprunghaft größer geworden

Sprachmodelle
Quelle: State of AI Report 2020
NLP ist derzeit ein sehr angesagter Bereich der KI. Wo die Sprachmodelle in den letzten Jahren noch zwischen ein paar hundert Millionen und 17 Milliarden Parametern lagen, sind die Modelle heute im Trainingsprozess optimiert worden und mit 175 Milliarden Paramatern sprunghaft riesig geworden.

Auf der Grafik ist ganz rechts die neue Generation an Sprachmodellen zu sehen, die sogenannten Transformator-Sprachmodelle, zu denen das GPT-3 Modell gehört. Weitere sind das BERT-Modell von Google und gerade im Dialogbereich das ConvertRT Modell der Firma PolyAI.
Dabei zeigt sich, dass die Modelle in ihrer Effizienz so langsam an ihre Grenzen kommen. Google hat dazu ein paar Zahlen veröffentlicht. Das Optimieren von 1000 Parametern ihrer Modelle kostet sie ca. 1$. Ohne große neue Durchbrüche in der Forschung würde die Senkung der ImageNet-Fehlerrate von 15% auf 1% hunderte Milliarden Dollar kosten, was ökonomisch unverhältnismäßig ist.
Dabei hat man festgestellt, dass ein großes Modell viel weniger Daten im Trainingsprozess braucht und dennoch vergleichbar gut performt als ein kleines Modell. So hat Google große Sprachmodelle für qualitativ hochwertige Übersetzungen trainiert, für Sprachen mit begrenzten Trainingsdaten, z.B. Hansa (Handelssprache im Nord- und Ostseeraum um das 15.Jahrhundert) und Usbekisch. Es gibt aber Ausnahmen. Im Dialog performen kleinere Modelle besser als große Modelle und das auch schon bei geringer Datenbasis.
 

NLP Benchmarks

GLUE Benchmark
NLP-Modelle haben im Jahr 2019 erstmals den GLUE-Benchmark erreicht (Quelle: State of AI Report 2020)
Um die Performance der Modelle festzustellen, werden sie in Allgemeinwissen und Problemlösungsfähigkeit getestet, darunter in den Kategorien Mathematik, Chemie, Geschichte, Recht und Außenpolitik. Je nachdem wie gut das Modell abschneidet, bekommt es einen entsprechenden NLP-Benchmark zugewiesen.

Unter diesen Benchmarks gibt es einen heißen Kandidaten, den sogenannten GLUE-Benchmark (General Language Understanding Evaluation). Dahinter steckt ein Datenset zum Trainieren und Testen von NLP-Modellen, das als menschlicher Maßstab genommen wird. Und dieser Benchmark ist letztes Jahr geknackt worden!

Das nächste große Ziel ist der SuperGlue Benchmark, den zu erreichen ein entsprechend höheres Niveau im Verständnis natürlicher Sprachen nötig ist. Aber selbst dieser ist mittlerweile nicht mehr weit entfernt.
 

NLP - starke Verallgemeinerungsfähigkeit

Das wahnsinnig interessante an diesen Modellen ist die enorme Verallgemeinerungsfähigkeit. Hier mal ein Beispiel des GPT-2 Modells, welches sogar die Vervollständigung von Bildern schafft. Das Modell kann also deutlich mehr als nur Text-zu-Text Anwendungen. 
Quelle: State of AI Report 2020
Das zur Hälfte beschnitte Foto auf der linken Seite wurde als Input in das GPT-2 Modell eingegeben. Rechts ist das vollständige Originalbild zu sehen. Die mittleren Bilder wurden durch das GPT-2 Modell vervollständigt. Faszinierend, nicht wahr?

Schaut Euch auch gerne mal an wie gut das GPT-2 Modell auf Fragen zu größeren Texten Antworten findet: https://openai.com/blog/better-language-models/#task1

Als Nächstes schauen wir uns aktuelle Trends im Bereich der Biologie an, es lohnt sich also Mitte März nochmal rein zu schauen!

teaser_mann

Autor

Joshua Joost ist Werkstudent in unserem IT Lab. 

Kontakt SVI

Fragen oder Anregungen zu unseren Beiträgen?

Kontaktieren Sie unsere Redaktion mit einer Mail an:
redaktionsteam@sv-informatik.de