NLP: COMPUTER SPRECHEN MEINE SPRACHE

Wie lernen Computer unsere Sprache zu verstehen? In diesem spannenden Blogbeitrag taucht ihr in die Welt des Natural Language Processing (NLP) ein. Erfahrt, wie moderne KI-Systeme eure Sprache analysieren, verstehen und nutzen, um die Kommunikation zwischen Mensch und Maschine zu revolutionieren. Ein Muss für alle, die mehr über die Zukunft der digitalen Interaktion wissen wollen!

17.02.2021 I Von Joshua Joost I Ehemaliger Werkstudent im IT Lab

Themen: Zukunftstrends

VERARBEITUNG UND ANALYSE NATÜRLICHER SPRACHE DURCH KI

Die enorme Verbesserung der Computerleistung und Datensicherung sowie der Fortschritt im maschinellen Lernen haben dem Forschungsgebiet zur Verarbeitung natürlicher Sprachen (Natural Language Processing, kurz: NLP) neuen Antrieb verschafft und es erstmals so richtig auf die Beine gestellt. Durch das Trainieren moderner Deep Learning Methoden auf riesigen Mengen linguistischer Daten ließ sich eine Reihe leistungsstarker Modelle entwickeln. Zu den Einsatzgebieten zählen unter anderen die Korrektur von Rechtschreib- oder Grammatikfehler, die Übersetzung, dem Zusammenfassen von Texten und das Hervorheben von Kerninformationen aus Dokumenten.

NEWS AUS DER VERSICHERUNGSWELT

NLP ist längst als Thema in der Startup-Branche angekommen. Erste Startups bieten Softwarelösungen an, die dabei helfen unstrukturierte Daten zu klassifizieren, zu strukturieren und wichtige Passagen hervorzuheben. Die Idee dahinter ist nicht mehr den gesamten Text lesen zu müssen, sondern lediglich die wichtigen Inhalte zu verstehen. Die Software findet ihren Einsatz beispielsweise bei Versicherungsverträgen.

TRENDS AUS DER FORSCHUNG

NLP ist derzeit ein sehr angesagter Bereich der KI. Wo die Sprachmodelle in den letzten Jahren noch zwischen ein paar hundert Millionen und 17 Milliarden Parametern lagen, sind die Modelle heute im Trainingsprozess optimiert worden und mit 175 Milliarden Paramatern sprunghaft riesig geworden.

Auf der Grafik ist ganz rechts die neue Generation an Sprachmodellen zu sehen, die sogenannten Transformator-Sprachmodelle, zu denen das GPT-3 Modell gehört.

Weitere sind das BERT-Modell von Google und gerade im Dialogbereich das ConvertRT Modell der Firma PolyAI. Dabei zeigt sich, dass die Modelle in ihrer Effizienz so langsam an ihre Grenzen kommen. Google hat dazu ein paar Zahlen veröffentlicht. Das Optimieren von 1000 Parametern ihrer Modelle kostet sie ca. 1$. Ohne große neue Durchbrüche in der Forschung würde die Senkung der ImageNet-Fehlerrate von 15% auf 1% hunderte Milliarden Dollar kosten, was ökonomisch unverhältnismäßig ist.

Dabei hat man festgestellt, dass ein großes Modell viel weniger Daten im Trainingsprozess braucht und dennoch vergleichbar gut performt als ein kleines Modell. So hat Google große Sprachmodelle für qualitativ hochwertige Übersetzungen trainiert, für Sprachen mit begrenzten Trainingsdaten, z.B. Hansa (Handelssprache im Nord- und Ostseeraum um das 15.Jahrhundert) und Usbekisch. Es gibt aber Ausnahmen. Im Dialog performen kleinere Modelle besser als große Modelle und das auch schon bei geringer Datenbasis.

NLP BENCHMARKS

Um die Performance der Modelle festzustellen, werden sie in Allgemeinwissen und Problemlösungsfähigkeit getestet, darunter in Mathematik, Chemie, Geschichte, Recht und Außenpolitik. Je nach Ergebnis erhalten sie einen NLP-Benchmark.

Unter diesen Benchmarks gibt es einen heißen Kandidaten, den sogenannten GLUE-Benchmark (General Language Understanding Evaluation). Dahinter steckt ein Datenset zum Trainieren und Testen von NLP-Modellen, das als menschlicher Standard gilt. Und dieser Benchmark wurde letztes Jahr geknackt!

Das nächste Ziel ist der anspruchsvollere SuperGLUE-Benchmark, der ein noch höheres Verständnis natürlicher Sprache erfordert. Aber auch dieses ist nicht mehr weit entfernt.

VERALLGEMEINERUNGSFÄHIGKEIT

Eine beeindruckende Stärke dieser Modelle liegt in ihrer enormen Verallgemeinerungsfähigkeit. Ein Beispiel: Das GPT-2 Modell kann nicht nur Text-zu-Text-Anwendungen, sondern auch Bilder vervollständigen. Links seht ihr ein halbiertes Eingabebild, rechts das Original. Die mittleren Bilder wurden von GPT-2 ergänzt. Faszinierend, nicht wahr?

Schaut euch an, wie gut das GPT-2 Modell auf Fragen zu längeren Texten antwortet:

https://openai.com/blog/better-language-models/#task1

Als Nächstes werfen wir einen Blick auf aktuelle Trends in der Biologie – es lohnt sich, dran zu bleiben!

Fragen zu unseren Beiträgen?

Wir freuen uns über deine Kontaktaufnahme. Schreibe unserer Redaktion gerne eine E-Mail.

E-Mail schreiben

Bist du neugierig geworden?

Entdecke deine Jobmöglichkeiten bei uns – egal ob mit oder ohne Berufserfahrung.

Zu den Karrieremöglichkeiten

Dieser Beitrag hat dir gefallen?

Dann stöbere gerne durch unseren weiteren Blogartikel und erfahre mehr über die SV Informatik.

Zu der Themenübersicht