Mit phi4 schickt Microsoft einen Ableger von phi ins Rennen, das mit 14b Parameter deutlich umfangreicher ist.
phi4
Dieses Model besitzt eine Downloadgröße von 9,1GB, passt also nicht in 8GB Hauptspeicher. Zum Glück ist mein Raspberry 5 16GB einsatzbereit, den ich zum Test verwenden kann. Den Download mit
ollama pull phi4hat ollama in den frühen Morgenstunden relativ zügig abgeschlossen.
Test
Den verschiedenen Varianten des phi4 Model schicke ich meine Testfrage.
14b
Auf meine Testanfrage für das Defaultmodell mit 14b Parametern , kam nach knapp 3 1/2 Minuten eine merkwürdige Antwort, sie scheint die Handlungen von MIB und MIB 3 zu mischen. Sie ist ähnlich unbrauchbar wie die Antwort von phi, braucht aber länger.
phi4:14b-q8_0
Die q8_0 Variante benutzt eine 8-Bit Quantisierung, um den Speicherverbrauch zu senken. Es benötigt 17GB Hauptspeicher, passt also nicht auf den Raspberry Pi 5.Auch hier wird in die Antwort die Handlung des dritten Teils hineingemischt.
phi4:14b-fp16
Dieses Modell verwendet 16-Bit-Gleitkommazahlen zur Speicherung seiner Gewichte und Berechnungen, anstelle der üblichen 32-Bit-Floats (fp32) in präziseren Modellen.
Dies wirkt sich negativ auf die Antwort aus, die nach gut 7 1/2 Minuten völlig unsinnig geliefert wird.
phi4:14b-q4_K_M
Durch die 4-Bit-Quantisierung benötigt das Modell deutlich weniger Speicherplatz, was es für den Einsatz auf Geräten mit begrenzten Ressourcen geeignet macht. Die Qualität der Antwort lässt dadurch aber völlig zu wünschen übrig, sie bezieht sich mehr auf den dritten Filmteil.
| Model | Hersteller | Parameter | Speicherverbrauch | Lizenz | Testsystem | Laufzeit | Antwortqualität |
|---|---|---|---|---|---|---|---|
| tinyllama | OpenSource | 1,1b | 637MB | Apache | Raspberry Pi 5B 8GB | 24.387617981s | Unsinnige Antwort. |
| phi | Microsoft | 2,8b | 1,6GB | MIT | Raspberry Pi 5B 8GB | 2 Minuten 39.691083496s | teilweise brauchbar |
| llava | Microsoft | 7,2b | 4,7GB | Apache | Raspberry Pi 5B 8GB | 1 Minute 25.629187111s | zufriedenstellend |
| llama3 | Meta | 8,0b | 4,7GB | META LLAMA 3 COMMUNITY LICENSE AGREEMENT | Raspberry Pi 5B 8GB | 3 Minuten 4.925977295s | gut |
| deepseek-v3 | Deepseek | 681,0b | 404GB | DEEPSEEK LICENSE AGREEMENT | Raspberry Pi 5B 8GB | – | – |
| deepseek-r1 | Deepseek | 7,6b | 4,7GB | MIT | Raspberry Pi 5B 8GB | 8 Minuten 23.00118112s | völlig unbrauchbar |
| gemma3 | 4,3b | 3,3GB | Gemma Terms of Use | Raspberry Pi 5B 8GB | 1 Minute 14.086309352s | unbrauchbar | |
| gemma3 | 12b | 8,1GB | Gemma Terms Of Use | Intel i9-10900K (20) @ 5.300GHz | 3 Minuten 34.5325445s | sehr gut | |
| gemma3 | 27b | 17GB | Gemma Terms of Use | Intel i9-10900K (20) @ 5.300GHz | 4 Minuten 41.199445574s | sehr gut | |
| phi4 | Microsoft | 14b | 9,1GB | MIT | Raspberry Pi 5B 16GB | 3 Minuten 17.342953352s | teilweise brauchbar |
| phi4:14b-Q8_0 | Microsoft | 14b | 17GB | MIT | Intel i9-10900K (20) @ 5.300GHz | 5 Minuten 42.156362295s | unbrauchbar |
| phi4:14b-fp16 | Microsoft | 14b | 29GB | MIT | Intel i9-10900K (20) @ 5.300GHz | 7 Minuten 34.78815032s | unsinnig |
| phi4:14b-q4_K_M | Micro | 14b | 9,1GB | MIT | Raspberry Pi 5B 16GB | 4 Minuten 44.654069613s | Thema verfehlt |
Fazit
Für meine Testfrage ist phi4 nicht wirklich zu gebrauchen.
