Auf den Punkt: Google erweitert sein KI-Framework Genkit um ein Middleware-System, das Entwicklern ermöglicht, agentengestützte Anwendungen durch Interceptoren, erweiterte Fehlerbehandlung und Observability produktionsreif zu machen. TypeScript-, Go- und Dart-Unterstützung sind verfügbar.
Google stellt Genkit Middleware vor – ein modulares System für sichere und zuverlässige KI-Agenten-Anwendungen. Mit Interceptoren auf mehreren Ebenen ermöglicht die Lösung erweiterte Funktionen wie Wiederholungen, Fallbacks und umfassende Überwachung.
Genkit ist ein Open-Source-Framework für die Entwicklung vollständiger, KI-gestützter und agentenbasierter Anwendungen, die auf jeder Plattform laufen und TypeScript, Go, Dart und Python unterstützen. Die Erstellung produktionsreifer agentengestützter Anwendungen erfordert weit mehr als nur leistungsstarke Modelle und sorgfältig formulierte Eingabeaufforderungen. Entwickler benötigen häufig Wiederholungsmechanismen, Fallback-Optionen, menschliche Kontrolle für kritische Operationen und vollständige Stack-Überwachung, um höchste Zuverlässigkeit zu erreichen.
Genkit adressiert diese Anforderungen durch ein Middleware-System – modulare Hooks, die Generierungsanfragen und die Tool-Ausführungsschleife abfangen. Dies ermöglicht es, benutzerdefinierte Logik in jeder Phase einzufügen. Das Middleware-System ist derzeit in TypeScript, Go und Dart verfügbar, Python-Unterstützung folgt in Kürze.
In Genkit führt jeder generate()-Aufruf eine Tool-Calling-Schleife aus: Das Modell generiert Ausgaben, angeforderte Tools werden ausgeführt, ihre Ergebnisse fließen in eine neue Modellinvokation ein, und der Prozess wiederholt sich, bis das Modell Abschluss signalisiert. Middleware-Hooks sind auf drei verschiedenen Ebenen innerhalb dieser Schleife angebracht.