NLP: Computer sprechen meine Sprache

Die enorme Verbesserung der Computerleistung und Datensicherung sowie der Fortschritt im maschinellen Lernen haben dem Forschungsgebiet zur Verarbeitung natürlicher Sprachen (Natural Language Processing, kurz: NLP) neuen Antrieb verschafft und es erstmals so richtig auf die Beine gestellt. Durch das Trainieren moderner Deep Learning Methoden auf riesigen Mengen linguistischer Daten ließ sich eine Reihe leistungsstarker Modelle entwickeln. Zu den Einsatzgebieten zählen unter anderen die Korrektur von Rechtschreib- oder Grammatikfehler, die Übersetzung, dem Zusammenfassen von Texten und das Hervorheben von Kerninformationen aus Dokumenten.

17.02.2021 I Von Joshua Joost I Ehemaliger Werkstudent im IT Lab

Themen: Zukunftstrends

Verarbeiten und analysieren natürlicher Sprache durch KI

Was gibt es Neues zu dem Thema aus der Versicherungswelt?

NLP ist längst als Thema in der Startup-Branche angekommen. Erste Startups bieten Softwarelösungen an, die dabei helfen unstrukturierte Daten zu klassifizieren, zu strukturieren und wichtige Passagen hervorzuheben. Die Idee dahinter ist nicht mehr den gesamten Text lesen zu müssen, sondern lediglich die wichtigen Inhalte zu verstehen. Die Software findet ihren Einsatz beispielsweise bei Versicherungsverträgen.

Aktuelle Neuigkeiten und Trends aus der Forschung

NLP ist derzeit ein sehr angesagter Bereich der KI. Wo die Sprachmodelle in den letzten Jahren noch zwischen ein paar hundert Millionen und 17 Milliarden Parametern lagen, sind die Modelle heute im Trainingsprozess optimiert worden und mit 175 Milliarden Paramatern sprunghaft riesig geworden.

Auf der Grafik ist ganz rechts die neue Generation an Sprachmodellen zu sehen, die sogenannten Transformator-Sprachmodelle, zu denen das GPT-3 Modell gehört.

Weitere sind das BERT-Modell von Google und gerade im Dialogbereich das ConvertRT Modell der Firma PolyAI. Dabei zeigt sich, dass die Modelle in ihrer Effizienz so langsam an ihre Grenzen kommen. Google hat dazu ein paar Zahlen veröffentlicht. Das Optimieren von 1000 Parametern ihrer Modelle kostet sie ca. 1$. Ohne große neue Durchbrüche in der Forschung würde die Senkung der ImageNet-Fehlerrate von 15% auf 1% hunderte Milliarden Dollar kosten, was ökonomisch unverhältnismäßig ist.

Dabei hat man festgestellt, dass ein großes Modell viel weniger Daten im Trainingsprozess braucht und dennoch vergleichbar gut performt als ein kleines Modell. So hat Google große Sprachmodelle für qualitativ hochwertige Übersetzungen trainiert, für Sprachen mit begrenzten Trainingsdaten, z.B. Hansa (Handelssprache im Nord- und Ostseeraum um das 15.Jahrhundert) und Usbekisch. Es gibt aber Ausnahmen. Im Dialog performen kleinere Modelle besser als große Modelle und das auch schon bei geringer Datenbasis.

NLP Benchmarks

Um die Performance der Modelle festzustellen, werden sie in Allgemeinwissen und Problemlösungsfähigkeit getestet, darunter in den Kategorien Mathematik, Chemie, Geschichte, Recht und Außenpolitik. Je nachdem wie gut das Modell abschneidet, bekommt es einen entsprechenden NLP-Benchmark zugewiesen.

Unter diesen Benchmarks gibt es einen heißen Kandidaten, den sogenannten GLUE-Benchmark (General Language Understanding Evaluation). Dahinter steckt ein Datenset zum Trainieren und Testen von NLP-Modellen, das als menschlicher Maßstab genommen wird. Und dieser Benchmark ist letztes Jahr geknackt worden!

Das nächste große Ziel ist der SuperGlue Benchmark, den zu erreichen ein entsprechend höheres Niveau im Verständnis natürlicher Sprachen nötig ist. Aber selbst dieser ist mittlerweile nicht mehr weit entfernt.

NLP - starke Verallgemeinerungsfähigkeit

Das wahnsinnig interessante an diesen Modellen ist die enorme Verallgemeinerungsfähigkeit. Hier mal ein Beispiel des GPT-2 Modells, welches sogar die Vervollständigung von Bildern schafft. Das Modell kann also deutlich mehr als nur Text-zu-Text Anwendungen. Das zur Hälfte beschnitte Foto auf der linken Seite wurde als Input in das GPT-2 Modell eingegeben. Rechts ist das vollständige Originalbild zu sehen. Die mittleren Bilder wurden durch das GPT-2 Modell vervollständigt. Faszinierend, nicht wahr?

Schaut Euch auch gerne mal an wie gut das GPT-2 Modell auf Fragen zu größeren Texten Antworten findet: https://openai.com/blog/better-language-models/#task1

Als Nächstes schauen wir uns aktuelle Trends im Bereich der Biologie an, es lohnt sich also Mitte März nochmal rein zu schauen!

Fragen zu unseren Beiträgen?

Wir freuen uns über deine Kontaktaufnahme. Schreibe unserer Redaktion gerne eine E-Mail.

E-Mail schreiben

Bist du neugierig geworden?

Entdecke deine Jobmöglichkeiten bei uns - egal ob mit oder ohne Berufserfahrung.

Zu den Karrieremöglichkeiten

Dieser Beitrag hat dir gefallen?

Dann stöbere gerne durch unseren weiteren Blogartikel und erfahre mehr über die SV Informatik.

Zu der Themenübersicht