Gemma3

Ein paar Wochen nach meinem grundlegenden Post zu Large Language Models erschien veröffentlichte Google mit Gemma3 sein LLM.

Gemma3

Wie die bisherigen Modelle lässt sich Gemma3 mit ollama auf dem Raspberry Pi betreiben. Googles Modell steht unter der „Gemma Terms of Use“ Lizenz.

Gemma3 wird in verschiedenen Parameterkonfigurationen zum >Download angeboten, die dadurch unterschiedlich groß sind.

4,3b

Mit 4,3 Milliarden Parametern ist dies das kleinste Model und hat eine Größe von 3,3GB. Um es auf dem Raspberry Pi 5 zu testen, muss ich zunächst die ollama Version aktualisieren. Dies geht sehr einfach mit dem gleichen Script wie bei der Installation

curl -fsSL https://ollama.com/install.sh | sh

Danach lässt sich mit

ollama run gemma3:4b

Dieses Modell runterladen und starten

Wie schon im Februar soll mir Gemma3 die Handlung des ersten „Men in Black“ Films zusammenfassen.

Nach 4 Minuten und 41 Sekunden kam dabei eine völlig unbrauchbare Antwort heraus.

12b

Mit 8,1GB ist das 12b Modell mehr als doppelt so umfangreich. Leider reicht der freie Speicher des Raspberry Pi 5B nicht aus, um das Modell zu laden. Daher versuche ich es auf dem Orange Pi 5 Pro, dort erhalte ich nach dem Download aber Fehlermeldungen wie Error: llama runner process has terminated: signal: killed und Error: Post "http://127.0.0.1:11434/api/generate": EOF, die ich mir nicht erklären kann. Also wechsle ich auf meinen „dicken“ Rechner und erhalte dort innerhalb von 3 Minuten und 35 Sekunden eine wirklich gute Zusammenfassung des Films.

27b

Das umfangreichste Modell von gemma3 mit 27 Milliarden Parametern lädt satte 17GB an Daten runter. Aufgrund der Erfahrungen von eben starte ich das direkt auf dem großen Rechner und die Antwort nach 4 Minuten und 41 Sekunden ist genauso gut wie bei 12b.

Zusammenfassung

gemma3 ist in den größeren Modellen wirklich brauchbar. Allerdings bräuchte ich einen Raspberry Pi mit 32GB Speicher, um eine einheitliche Vergleichsbasis zu schaffen. Die Vergleichstabelle aller Modelle wird sich vielleicht in Zukunft noch um weitere Modelle erweitern.