Auf den Punkt: Google Genkit erhält ein neues Middleware-System zur Erweiterung und Sicherung von KI-Anwendungen. Die modularen Hooks ermöglichen Retries, Fallbacks und menschliche Überwachung. Verfügbar in TypeScript, Go und Dart – Python folgt bald.
Google stellt Genkit Middleware vor – ein System mit modularen Hooks, um KI-gesteuerte Anwendungen zu erweitern, zu sichern und zuverlässiger zu machen. Die neue Funktion ist bereits in TypeScript, Go und Dart verfügbar.
Genkit ist ein Open-Source-Framework für die Entwicklung von vollständigen, KI-gesteuerten agentic Anwendungen, die auf jeder Plattform ausgeführt werden können und TypeScript, Go, Dart und Python unterstützen. Die Erstellung produktionsreifer agentic Anwendungen erfordert weit mehr als nur leistungsstarke Modelle und gut formulierte Prompts.
Genkit adressiert diese Anforderungen durch ein Middleware-System – modulare Hooks, die Generierungsanfragen und die Tool-Execution-Schleife abfangen. Dies ermöglicht es Entwickler:innen, benutzerdefinierte Logik in jedem Stadium einzuspritzen.
Konkret können Middleware-Hooks für Wiederholungsversuche, Fallback-Szenarien, menschliche Überwachung gefährlicher Operationen und vollständige Stack-Observabilität genutzt werden, um die höchste Zuverlässigkeit zu erreichen.
Jeder generate()-Aufruf in Genkit führt eine Tool-Calling-Loop aus: Das Modell generiert Ausgaben, alle aufgerufenen Tools werden ausgeführt, deren Ergebnisse werden in einen neuen Modellaufruf eingeleitet, und der Prozess wiederholt sich, bis das Modell signalisiert, dass es fertig ist. Middleware-Hooks sind an drei verschiedenen Ebenen innerhalb dieser Schleife angebracht.
Das Middleware-System ist derzeit in TypeScript, Go und Dart verfügbar. Python-Unterstützung kommt in Kürze.