Aus dem Qwen-Labor von Alibaba ist ein Sprachmodell mit 27 Milliarden Parametern unter der Apache-2-Lizenz erschienen. Es verarbeitet auch Bilder und belegt in der getesteten quantisierten Fassung 17 Gigabyte auf der Festplatte. Der Tester liess es auf einem MacBook Pro mit 128 Gigabyte Arbeitsspeicher und auf einem Rechner von NVIDIA laufen.
Bemerkenswert ist weniger die Grösse als eine Voreinstellung. Das Modell denkt ab Werk auf der höchsten von drei Stufen; daneben stehen eine mittlere und eine sparsame zur Wahl. In dieser Voreinstellung brauchte eine einzige Zeichenaufgabe 21 Minuten, wobei auf 22’276 Token an Überlegung 3’223 Token Ausgabe kamen. Auch die voreingestellte Kontextlänge von 8’192 Token reichte nicht aus; erst mit den maximal möglichen 262’144 verschwand dieses Problem.
Der Tester bezeichnet das Ergebnis als das beste, das er für diese Aufgabe je auf einem lokalen Rechner erzeugt habe – und die Wartezeit dafür als nicht gerechtfertigt. Die Voreinstellung hält er ausdrücklich für keine gute Art, das Modell zu betreiben, besonders auf gewöhnlicher Hardware. Das ist seine Bewertung, kein Messwert: Ob die sparsamen Stufen schlechtere Antworten liefern, belegen die Zahlen im Auszug nicht. Denselben Auftrag hat er auch ohne Denkschritte laufen lassen; das Ergebnis bricht im Auszug ab.
Für die Region
Wer als Verein oder KMU ein solches Modell im eigenen Haus betreibt, prüft besser zuerst die Denkstufe, bevor er das Modell für zu langsam hält – die Werkseinstellung ist die aufwendigste.