Die Integration von ChatGPT in diverse Anwendungen hat die Art und Weise, wie wir mit Künstlicher Intelligenz interagieren, revolutioniert. Ein häufiger Anwendungsfall ist die Instruktion des Modells, Antworten im JSON-Format zu generieren, um die Rückgabe strukturierter und damit maschinenlesbarer Daten zu ermöglichen. Während dies in vielen Fällen funktioniert, kann es vorkommen, dass die Modelle Ausgaben generieren, die nicht als gültige JSON-Objekte geparst werden können.
Um solche Fehler zu vermeiden und die Leistung des Modells zu verbessern, bietet OpenAI nun für die Aufrufe von gpt-4-1106-preview oder gpt-3.5-turbo-1106 eine neue Funktion: das Setzen des response_format auf { „type“: „json_object“ }. Mit dem aktivierten JSON-Modus wird das Modell darauf beschränkt, ausschließlich Strings zu generieren, die sich in gültige JSON-Objekte parsen lassen.
Es gibt jedoch wichtige Hinweise zu beachten, um den JSON-Modus effektiv zu nutzen:
- Der JSON-Modus erfordert, dass das Modell explizit angewiesen wird, JSON zu produzieren. Dies geschieht in der Regel über eine Systemnachricht. Fehlt eine solche explizite Anweisung, könnte das Modell endlos Leerzeichen generieren, und die Anfrage könnte kontinuierlich laufen, bis das Token-Limit erreicht ist. Um dies zu verhindern und um sicherzustellen, dass man es nicht vergisst, wird die API einen Fehler auslösen, wenn der String „JSON“ nicht irgendwo im Kontext erscheint.
- Die von dem Modell zurückgegebene JSON-Nachricht kann unvollständig sein, wenn die finish_reason als ‚length‘ angegeben ist. Dies weist darauf hin, dass die Generierung die maximale Anzahl von Tokens überschritten hat. Um sich dagegen abzusichern, sollte man die finish_reason überprüfen, bevor man die Antwort parst.
- Der JSON-Modus garantiert nicht, dass die Ausgabe einem spezifischen Schema entspricht, sondern lediglich, dass sie gültig ist und ohne Fehler geparst werden kann.
Diese neuen Funktionen in den OpenAI APIs sind ein bedeutender Schritt vorwärts für Entwickler und Unternehmen, die KI-Modelle in ihre Systeme integrieren. Sie vereinfachen die Handhabung von KI-generierten Daten und ermöglichen eine reibungslosere Integration in bestehende Anwendungen.
Für Kapitel H bedeutet diese Neuerung eine Weiterentwicklung unserer KI-basierten Angebote. Die Möglichkeit, sicherzustellen, dass unsere KI-gestützten Services valides JSON zurückgeben, optimiert nicht nur die Datenverarbeitung, sondern auch die Zuverlässigkeit der KI-gestützten Interaktionen mit unseren Kunden. Wir freuen uns darauf, diese fortschrittlichen Funktionen in unsere Produkte zu implementieren und so die Effizienz und Leistung unserer Dienstleistungen weiter zu verbessern.
