Nemotron 3 Nano ist ein Modell, dass von NVIDEA trainiert wurde. Es scheint mir ideal, um meinen Orange Pi 5 Plus im Regelbetrieb einzuweihen.
Nemotron 3 Nano
Das Modell steht unter der NVIDIA Open Model License und ist mit 30b Parametern trainiert.
30b
Ich beginne mit dem 30b:latest Modell. Die Daten mit einem Umfang von 24GB passen gut in den Speicher des Orange Pi 5 Plus. Nach gut 66 Minuten erhalte ich eine Antwort, die kleine Fehler enthält.
30b-a3b-q4_K_M
Mit der Q4_K_M Quantifizierung liefert Nemotron nach 51 Minuten und etwa 57 Sekunden eine Antwort mit nur leichten Fehlern.
a3b-fp16
Auch diese Quantifizierung baut Fehler in die Antwort ein, ist aber nach 51 Minuten und 27 Sekunden fertig.
30b-cloud
Diese Modellvariante arbeitet nicht direkt auf meinem Orange Pi 5 Plus sondern in der ollama Cloud. Sie benötigt einen Login und etwas Konfigurationsarbeit. Da ich aber keine Daten in irgendeine Cloud senden möchte, habe ich die Variante nicht weiter betrachtet. Ich gehe davon aus, dass sie sehr viel schneller Antworten liefert, da sie auf richtig potenter Hardware läuft.
Fazit
Nemotron-3 denkt wirklich lange nach, um dann in jeder Variante eine Antwort mit Fehlern zu liefern. Andere Modelle waren allerdings sehr viel fehlerhafter.
