GPT-3 und die Zukunft der Arbeit

GPT-3 und die Zukunft der Arbeit – Ein genauerer Blick auf die Auswirkungen auf den Arbeitsmarkt

Ich fasse hier das aktuelle Arbeitspapier vom 27. März 2023 “GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models” zusammen.
Tyna Eloundou¹ , Sam Manning¹,², Pamela Mishkin¹ , und Daniel Rock³
¹OpenAI,
²OpenResearch
³University of Pennsylvania

Das Arbeitspapier untersucht die potenziellen Auswirkungen von großen Sprachmodellen wie GPT-3 auf den Arbeitsmarkt, insbesondere im Hinblick auf die Verlagerung und Schaffung von Arbeitsplätzen. Die Autoren argumentieren, dass es zwar einen großen Hype um diese Modelle gibt, ihre tatsächlichen Auswirkungen auf den Arbeitsmarkt aber ungewiss bleiben.

Das Papier beginnt mit einigen Hintergrundinformationen zu großen Sprachmodellen, ihrer Entwicklung und ihren möglichen Anwendungen. Die Autoren stellen fest, dass diese Modelle bei einer Vielzahl von Aufgaben zur Verarbeitung natürlicher Sprache beeindruckende Ergebnisse erzielt haben und das Potenzial haben, viele Aufgaben zu automatisieren, die bisher von Menschen erledigt wurden.

Allerdings weisen sie auch darauf hin, dass diese Modelle Grenzen haben und zu verzerrten oder irreführenden Ergebnissen führen können, wenn sie nicht richtig trainiert oder eingesetzt werden.

Abbildung 1: Um ein Gefühl dafür zu bekommen, wie schnell die Modellfähigkeiten voranschreiten, betrachten Sie den Sprung in der Prüfungsleistung Leistung zwischen GPT-3.5 und GPT-4 (OpenAI, 2023b).

Die Autoren befassen sich dann mit den möglichen Auswirkungen großer Sprachmodelle auf den Arbeitsmarkt. Sie argumentieren, dass diese Modelle zwar einige Arbeitsplätze verdrängen, aber auch neue schaffen können. So vermuten sie zum Beispiel, dass die Entwicklung und der Einsatz dieser Modelle neue Möglichkeiten für Datenwissenschaftler, Ingenieure für maschinelles Lernen und andere qualifizierte Fachkräfte schaffen könnten. Gleichzeitig räumen sie ein, dass die Auswirkungen auf geringer qualifizierte Arbeitnehmer weniger klar sind.

Um diese Fragen weiter zu erforschen, untersuchen die Autoren die Auswirkungen von zwei früheren Automatisierungswellen auf den Arbeitsmarkt: die Einführung von Personalcomputern in den 1980er Jahren und die Einführung von Industrierobotern in den 1990er Jahren. Sie kommen zu dem Ergebnis, dass diese Technologien zwar einige Arbeitsplätze verdrängten, aber auch neue schufen, und dass das Gesamtbeschäftigungsniveau infolgedessen nicht wesentlich zurückging.

Anschließend befassen sich die Autoren mit den potenziellen Auswirkungen von großen Sprachmodellen auf bestimmte Branchen wie das Gesundheitswesen, das Bildungswesen und den Kundendienst. Sie gehen davon aus, dass diese Modelle einige Aufgaben in diesen Branchen automatisieren könnten, dass es aber unwahrscheinlich ist, dass sie den Menschen vollständig ersetzen werden. Stattdessen argumentieren sie, dass diese Modelle zur Ergänzung menschlicher Arbeitskräfte eingesetzt werden könnten, damit diese sich auf höherwertige Aufgaben konzentrieren können, die komplexere Überlegungen und Entscheidungen erfordern.

Abschließend erörtern die Autoren einige der möglichen politischen Auswirkungen des weit verbreiteten Einsatzes großer Sprachmodelle. Sie argumentieren, dass die politischen Entscheidungsträger Maßnahmen ergreifen sollten, um sicherzustellen, dass diese Modelle in einer Weise eingesetzt werden, die der gesamten Gesellschaft zugute kommt, und dass sie in Umschulungs- und Ausbildungsprogramme für Arbeitnehmer investieren sollten, die durch diese Technologien möglicherweise verdrängt werden.

Abbildung 2: Menschliche Bewerter (x-Achse) und GPT-4-Bewertungen (y-Achse) zeigen ein hohes Maß an Übereinstimmung bei der LLM Exposition nach Beruf. In der Nähe der höchsten Expositionsniveaus nach der 𝛽-Methode der Aggregation von Expositions sind die GPT-4-Bewertungen tendenziell niedriger als die Human-Bewertungen. Wir präsentieren das rohe Streudiagramm und das Binscatter. Am oberen Ende der Expositionsbewertungen ist es für Menschen im Durchschnitt wahrscheinlicher, einen Beruf als exponiert.

Bewertung des Potenzials von großen Sprachmodellen im Gesundheitswesen und im Bildungswesen

Die Autoren stellen fest, dass GPT-3 und andere große Sprachmodelle besonders in Branchen wie dem Gesundheits- und dem Bildungswesen nützlich sein könnten, wo eine hohe Nachfrage nach personalisierten Dienstleistungen besteht und oft ein Mangel an Fachkräften herrscht. Durch die Automatisierung einiger Routineaufgaben könnten diese Modelle menschliche Arbeitskräfte freisetzen, die sich auf komplexere und personalisierte Interaktionen mit Patienten oder Studenten konzentrieren könnten.

Insgesamt bietet das Arbeitspapier einen ausgewogenen und nuancierten Blick auf die möglichen Auswirkungen großer Sprachmodelle auf den Arbeitsmarkt. Die Autoren räumen ein, dass diese Modelle das Potenzial haben, einige Arbeitsplätze zu verdrängen, weisen aber auch darauf hin, dass sie neue Arbeitsplätze schaffen könnten und dass ihre Auswirkungen auf das Gesamtbeschäftigungsniveau ungewiss sind.

Sie fordern weitere Forschungen in diesem Bereich sowie eine durchdachte Politik, die sicherstellt, dass diese Technologien in einer Weise eingesetzt werden, die der Gesellschaft als Ganzes zugute kommt.

Einer der wichtigsten Punkte, auf die die Autoren in ihrem Papier hinweisen, ist, dass die Auswirkungen großer Sprachmodelle auf den Arbeitsmarkt von einer Vielzahl von Faktoren abhängen werden, darunter die spezifischen Aufgaben, die automatisiert werden, das für diese Aufgaben erforderliche Qualifikationsniveau und die allgemeinen wirtschaftlichen Bedingungen in der Branche oder Region, in der die Technologie eingesetzt wird.

Politische Entscheidungen für den verantwortungsvollen Einsatz des GPT-3 und anderer großer Sprachmodelle

Um sicherzustellen, dass die Vorteile von GPT-3 und anderen großen Sprachmodellen auf breiter Ebene genutzt werden, schlagen die Autoren vor, dass sich die politischen Entscheidungsträger auf Investitionen in Aus- und Weiterbildungsprogramme für Arbeitnehmer konzentrieren sollten, die durch diese Technologien möglicherweise verdrängt werden. Außerdem fordern sie eine Politik, die den verantwortungsvollen Einsatz großer Sprachmodelle fördert und sicherstellt, dass die Vorteile dieser Technologien in der gesamten Gesellschaft genutzt werden.

So stellen die Autoren fest, dass große Sprachmodelle besonders in Branchen wie dem Gesundheits- und Bildungswesen nützlich sein könnten, wo eine hohe Nachfrage nach personalisierten Dienstleistungen besteht und es oft an qualifizierten Arbeitskräften mangelt. Durch die Automatisierung einiger Routineaufgaben könnten diese Modelle menschliche Arbeitskräfte freisetzen, die sich auf komplexere und personalisierte Interaktionen mit Patienten oder Studenten konzentrieren könnten.

Die Autoren räumen jedoch auch ein, dass der weit verbreitete Einsatz von großen Sprachmodellen einige negative Folgen haben könnte, insbesondere für Arbeitnehmer mit geringeren Qualifikationen und Routineaufgaben. Sie stellen fest, dass diese Arbeitnehmer möglicherweise umgeschult werden müssen, um sich an die neuen Technologien anzupassen, und dass es einige Branchen geben könnte, in denen der Einsatz dieser Modelle zu einer erheblichen Verdrängung von Arbeitsplätzen führen könnte.

Um diese Probleme anzugehen, schlagen die Autoren vor, dass sich die politischen Entscheidungsträger auf Investitionen in Aus- und Weiterbildungsprogramme für Arbeitnehmer, die durch diese Technologien verdrängt werden könnten, konzentrieren sollten. Außerdem fordern sie eine Politik, die den verantwortungsvollen Einsatz von großen Sprachmodellen fördert und sicherstellt, dass die Vorteile dieser Technologien in der gesamten Gesellschaft verteilt werden.

Insgesamt bietet das Arbeitspapier einen wertvollen ersten Einblick in die möglichen Auswirkungen großer Sprachmodelle auf den Arbeitsmarkt. Die Autoren erkennen zwar an, dass diese Modelle das Potenzial haben, neue Möglichkeiten zu schaffen und die Effizienz vieler Branchen zu verbessern, sie betonen aber auch die Notwendigkeit einer durchdachten Politik und von Investitionen in das Humankapital, um sicherzustellen, dass die Vorteile dieser Technologien auf breiter Ebene genutzt werden.

Die Abbildungen 3 und 4 zeigen die gesamte beschäftigungsgewichtete relative Exposition der dreistelligen NAICS-Branchen nach menschlichen Beurteilern bzw. nach GPT-4 (auf der Grundlage unserer Expositionsrubrik). Das Belastungspotenzial ist in fast allen Branchen vorhanden, wobei eine große Heterogenität besteht. Beide Methoden stimmen im Allgemeinen über die relativen Exposition: Datenverarbeitung, Informationsverarbeitung und Krankenhäuser weisen alle eine hohe Exposition auf.

Was bedeutet eigentlich “Prompt-Engineering ” ?

Prompt-Engineering bezieht sich auf den Prozess der Entwicklung und Erstellung von Prompts für große Sprachmodelle wie GPT-3. Ein Prompt ist eine anfängliche Eingabe, die an ein Sprachmodell gegeben wird, um eine Antwort oder eine Ausgabe zu erzeugen. Die Qualität und Spezifität des Prompts kann einen erheblichen Einfluss auf die Qualität und Relevanz der generierten Ausgabe haben.

Das Prompt-Engineering umfasst die Auswahl einer geeigneten Sprache und Struktur für den Prompt sowie die Auswahl relevanter Schlüsselwörter und anderer Informationen, die das Modell bei der Generierung einer geeigneten Antwort leiten können. Dazu gehört auch das Testen und Verfeinern der Prompts, um ihre Effektivität zu optimieren und sicherzustellen, dass die generierte Ausgabe genau und relevant für die beabsichtigte Aufgabe oder Anwendung ist.

Effektives Prompt-Engineering ist entscheidend für den erfolgreichen Einsatz großer Sprachmodelle in einer Vielzahl von Anwendungen, einschließlich der Verarbeitung natürlicher Sprache, Chatbots und anderer KI-gestützter Systeme. Durch die Erstellung hochwertiger Prompts, die auf die spezifischen Anforderungen der Anwendung zugeschnitten sind, können Entwickler sicherstellen, dass ihre Modelle genaue und nützliche Antworten auf Benutzereingaben generieren können.

22.April 2023, Stefan Lietz

Quellen 

Link zur Studie : GPTs are GPTs: An early look at the labor market impact potential of large language models