Auf den Punkt: Eine interaktive Web-App veranschaulicht die tatsächliche Geschwindigkeit von KI-Token-Ausgaben zwischen 5 und 800 Token pro Sekunde, um abstrakte Performanz-Angaben greifbar zu machen.
Eine praktische HTML-Anwendung zeigt die tatsächliche Geschwindigkeit von Sprachmodellen. Mit einer interaktiven Simulation lässt sich nachvollziehen, wie schnell oder langsam Ausgabegeschwindigkeiten von 5 bis 800 Token pro Sekunde wirklich sind.
Der Entwickler Mike Veerman hat eine benutzerfreundliche HTML-Anwendung erstellt, die die Ausgabegeschwindigkeit von Sprachmodellen visualisiert. Das Tool ermöglicht es Nutzerinnen und Nutzern, verschiedene Token-pro-Sekunde-Geschwindigkeiten von 5 bis 800 zu simulieren und so einen praktischen Eindruck davon zu bekommen, wie schnell ein Modell tatsächlich arbeitet. Dies ist besonders hilfreich, wenn Modelle mit Angaben wie „30 Token pro Sekunde” beworben werden, denn die Simulation zeigt, wie diese abstrakten Zahlen in der Realität aussehen. Der Quellcode der Anwendung ist ebenfalls verfügbar und ermöglicht interessierten Entwicklerinnen und Entwicklern, die Funktionsweise nachzuvollziehen oder eigene Anpassungen vorzunehmen.