Grundkurs Legal Prompting

Zur Einführung – Was sind Große Sprachmodelle (LLMs)?

Große Sprachmodelle bzw. Large Language Models sind Künstliche Intelligenz (KI) Systeme, die Texte in menschlicher Sprache erzeugen können. Sie lernen aus großen Textmengen, identifizieren Muster und Abhängigkeiten und sind nach einer eingehenden Trainingsphase in der Lage, auf Basis von gegebenen Anweisungen Texte zu erzeugen. Dabei ermittelt das Modell im Ergebnis die “wahrscheinlichste” Antwort auf die erhaltene Anweisung, stellt aber gerade keine klassisch denklogischen Überlegungen an. Nicht nur die jeweils letzte erhaltene Anweisung, sondern auch die vorhergehende Unterhaltung oder sonstige zur Verfügung gestellte Hintergrundinformation kann dabei in bestimmten Grenzen berücksichtigt werden.

Dies ermöglicht eine Vielzahl von Nutzungsarten, etwa das Beantworten von Fragen, das Erstellen von Texten aller Art bis hin zum Überarbeiten, bspw. Zusammenfassen oder Redigieren, von Texten.

Bekannte Schwächen von LLMs

Trotz ihrer beeindruckenden Leistungsfähigkeit sind auch bestimmte Schwächen von LLMs bekannt, die bei ihrer Nutzung beachtet werden müssen:

• Falschaussagen und Bias durch fehlerhafte Trainingsdaten: LLMs lernen anhand der Daten, mit denen sie trainiert werden, und spiegeln diese gelernten Informationen wider. Sind die Trainingsdaten fehlerhaft oder mit Vorurteilen belastet, kann das Modell diese Mängel unbeabsichtigt – und trotz des erheblichen Aufwands der Hersteller, die Modelle möglichst akkurat und neutral einzusteuern – in seinen Ausgaben widerspiegeln. Es gilt die bekannte Regel: Garbage in, garbage out.
• Halluzinationen: Bei Halluzinationen handelt es sich um ein Phänomen, bei dem das Modell Informationen generiert, die nicht mit der Realität übereinstimmen. Diese „halluzinierten“ Daten können sowohl irreführend als auch komplett fehlerhaft sein ohne, dass das Modell den Benutzer hierauf hinweist.
• Keine Anwendung von logischen Gesetzen: Auch wenn der textliche Output von LLMs oft sehr strukturiert und logisch wirkt: Die aktuellen Modelle wenden bei der Generierung von Texten grundsätzlich keine logischen Gesetzmäßigkeiten im konventionellen Sinne an. Die Modelle erarbeiten keine “richtige” Antwort, sondern lediglich die ihrem Datensatz nach “wahrscheinlichste” Antwort.
• Fehler in Berechnungen: Besondere Vorsicht ist daher bei Output zu Berechnungen aller Art erforderlich. Aufgrund ihrer Funktionsweise sind LLMs – anders als die ganz überwiegende Mehrheit anderer Software-Tools – nicht immer zuverlässig bei der Durchführung mathematischer Operationen.

Angesichts dieser möglichen Schwierigkeiten sollte in jedem Fall und grundsätzlich jeder von einem LLM generierte Text auf eingehend Richtigkeit überprüft werden.

Gutes Legal Prompting

Den Herstellern der Modelle sind diese Beschränkungen bewusst und die Genauigkeit der Modelle wird stets verbessert. Aber auch als Benutzer kann man mit gutem Prompting den Output von LLMs positiv beeinflussen.
Ein Prompt ist eine Zusammenstellung von Texten oder Schlagwörtern, die als Anfrage an Large Language Models gerichtet werden. Sind Prompts gut formuliert, erhöht dies die Wahrscheinlichkeit, präzise und brauchbare Ergebnisse zu erhalten. Manche Nutzer betrachten dies als eine Art „Kunst der Fragestellung“.

Unter Legal Prompting versteht man die effiziente Fragestellung an ein LLM im rechtlichen Kontext. Für die Qualität der generierten Antworten sind eine richtige Strukturierung und eine klare, präzise Formulierung des Prompts ausschlaggebend. Ein zu breit gefasster oder mehrdeutiger Prompt kann zu ungenauen, irrelevanten oder übermäßig ausführlichen Antworten führen. Ohne korrekt strukturierte Prompts ist das Risiko groß, dass das Sprachmodell irrelevante Informationen liefert oder wichtige Daten übersieht.

Ein Prompt kann in folgende Elemente unterteilt werden, die idealerweise in der angeführten Reihenfolge abgefragt werden sollten:

1. Rolle

Am Anfang sollte festgelegt werden, welche Rolle das Große Sprachmodell einnehmen soll, z.B. die eines Rechtsanwalts. Dies bestimmt, wie das Große Sprachmodell interagieren wird und welche Art von Informationen es bereitstellen kann. 

Beispiel: Du bist ein erfahrener Rechtsanwalt und Spezialist im deutschen Wirtschaftsrecht.

2. Zielgruppe

Hiermit ist die Person oder Gruppe gemeint, für die der Prompt entwickelt wird. Die Zielgruppe kann abhängig von Alter, Interessen, Wissenstand oder anderen Eigenschaften variieren. Sie bestimmt im Wesentlichen die Sprache, das Format und den Kontext des Prompts. 

Beispiel: Du schreibst eine E-Mail an Deinen Mandanten.

3. Thema oder Fragestellung

Hierin liegt der zentrale Inhalt des Prompts. Dies kann eine spezifische Fragestellung, ein Diskussionsthema oder eine Aufgabenstellung sein. Je nach Fragestellung kann es hilfreich sein, das Modell ausdrücklich zur Darstellung der logischen Schritte aufzufordern, die zum Ergebnis führen. 

Beispiel: Bitte fasse darin folgenden Schriftsatz der Gegenseite kurz zusammen: ### Text aus Schriftsatz der Gegenseite: ###

4. Format

Das Format bestimmt, in welcher Form der Inhalt präsentiert wird. Dies kann eine offene Frage, eine Aufforderung, eine Aussage oder ein anderes Format sein. 

Beispiel: Die E-Mail sollte in verständlicher und strukturierter Weise und in sachlichem Ton geschrieben sein.

5. Kontext

Hierbei handelt es sich um Details wie eine spezifische Situation, ein Ereignis, ein Ort, eine Zeit oder ein Zustand. Der Kontext dient dazu, den ursprünglichen Prompt in einen relevanten Kontext zu setzen. Achte darauf, Beispiele mit Ein- und Ausführungszeichen (bspw. drei Hashtags (###) oder drei Strichen (---)) zu umschließen, um den LLM zu signalisieren, dass hier das Beispiel anfängt und endet. 

Beispiel 1: Basiere den Output auf diesem Beispiel: ### Beispiel ###

Beispiel 2: Nimm dir diesen Text als Beispiel --- Beispieltext ---

6. Review

Am Ende kann man das LLM dazu ermutigen, den Input zu hinterfragen und gegebenenfalls Folgefragen zu stellen. 

Beispiel: Überprüfe den Output auf Widersprüche und Unstimmigkeiten.

Vollständiger Beispielprompt

Du bist ein erfahrener Rechtsanwalt und Spezialist im deutschen Wirtschaftsrecht. Du schreibst eine E-Mail an Deinen Mandanten. Bitte fasse darin folgenden Schriftsatz der Gegenseite kurz zusammen: ### Text aus Schriftsatz der Gegenseite ###. Die E-Mail sollte in verständlicher und strukturierter Weise und in sachlichem Ton geschrieben sein. Basiere die E-Mail auf dem folgenden Beispiel: ### Beispiel E-Mail ###. Überprüfe den Output auf Widersprüche und Unstimmigkeiten.

Durch die Einhaltung der Reihenfolge dieser Elemente bzw. die Nennung dieser Elemente in einem Prompt kann ein strukturierter, gezielter und relevanter Prompt erstellt werden, der dem LLM die Erstellung einer hilfreichen Antwort ermöglicht.

Weiterführende Tipps

Aktuelle Chatbots auf Basis von LLMs beachten bei der Generierung ihrer Antwort nicht nur den Prompt, den sie gerade erhalten, sondern auch die dem vorhergehende Unterhaltung. Daher können Antworten in mehreren Schritten weiter verbessert und angepasst werden, um das Ergebnis zu verfeinern. Um den Überblick am Ende eines langen Chats zu behalten, kann man schließlich nach einer Zusammenfassung des Chats fragen.

Die Einbeziehung der bisherigen Unterhaltung kann aber auch zu Fehlern führen, besonders wenn im Rahmen einer Unterhaltung ganz unterschiedliche Themen angesprochen werden. Sollte ein Chat nicht zu dem erwarteten Ergebnis geführt haben, kann das Beginnen eines neuen Chats dem LLM die Chance geben, ganz von vorne zu beginnen.

Des Weiteren können komplexe Themen in überschaubare Teilfragen aufgeteilt werden, um gezieltere Antworten zu erhalten.

Abschließend: Es ist oft lohnenswert, den Chatbot selbst zu fragen, was man beachten kann, um möglichst passende Ergebnisse auf eine Anfrage zu erhalten.

Legal Prompting – Ein neue juristische Kernkompetenz?

Auf den ersten Blick mag es so erscheinen, als wäre Legal Prompting über Nacht eine Kernkompetenz für den modernen Juristen geworden zu sein und die Zunahme von spezialisierten LLMs bestätigt dies. Große Sprachmodelle, die für juristische Anwendungen entwickelt worden sind, wie Harvey oder Beck Chat, sind auf dem besten Weg, ein fester Bestandteil der Rechtspraxis zu werden. Durch ihre zunehmende Benutzerfreundlichkeit integrieren diese Tools oft unbemerkt zusätzliche Prompts, was die tägliche Nutzung vereinfacht.
Trotz dieser fortschriftlichen Hilfen ist es für Juristen unerlässlich, sich mit den Grundlagen dieser Technologie vertraut zu machen, um sie effektiv einsetzen zu können. Dies erfordert nicht nur ein grundlegendes Verständnis der Funktionsweise und Handhabung der Modelle, sondern auch die Fähigkeit, gut strukturierte Prompts zu erstellen.

Regelmäßige Übung spielt dabei eine entscheidende Rolle, denn wie bei vielen Fähigkeiten gilt auch hier: Übung macht den Meister.

Je öfter Juristen den Umgang mit LLMs praktizieren, desto intuitiver wird deren Handhabung. Somit sind nicht nur die technologischen Fortschritte entscheidend für die Effektivität eines KI-Systems, sondern auch, wie geschickt und bewusst es von den Anwendern eingesetzt wird. Allerdings bleibt – aktuell - das Risiko der zu Beginn des Beitrags dargestellten Schwächen der LLMs und das Erfordernis der stetigen fachlichen Überprüfung der Ergebnisse.

Autor:in
Mai Anh Ma
Klaus Gresbrand

Stand: Mai 2024