Zelf draaien

1. 01

   Download walnoot-8b-instruct-bf16.gguf en het Modelfile uit WAINUT/walnoot-8b-instruct↗. Zet ze in dezelfde map.

2. 02

   Bouw en start het model met Ollama. Alle instellingen en de systeemprompt zitten in het Modelfile, dus je hoeft verder niets te zetten.

   ollama create walnoot-8b-instruct -f Modelfile
   ollama run walnoot-8b-instruct

3. 03

   Typ je vraag en druk op Enter.

Werk je liever in een venster zonder opdrachtregel, neem dan LM Studio. Daar zet je de instellingen zelf.

Download op Hugging Face↗Naar de vier programma's→

24 GB videogeheugen

Het model gaat er in zijn geheel op.

Minder videogeheugen

Het programma verdeelt de lagen over kaart en processor. Dat werkt, maar het wordt trager.

Laptop met 12 GB videogeheugen en 32 GB werkgeheugen

Ruim de helft van de lagen staat op de kaart.

LM Studio en Ollama hebben wij op het uitgegeven model getoetst. De andere twee routes niet. llama.cpp leest de instellingen uit het meegeleverde bestand; bij vLLM stuurt je programma de temperatuur zelf mee.

1. LM Studio

   Een venster om in te typen, zonder opdrachtregel.Getoetst

   Laad het GGUF-bestand in LM Studio. LM Studio beheert bij deze route zelf de runtime- en samplinginstellingen. Stel deze daarom handmatig in.

   Bij het laden van het model:

   • Context Length: 8192
   • Laat de KV-cache op volledige precisie staan; gebruik geen KV-cache-quantisatie zoals Q8 of Q4. Offload KV Cache to GPU Memory en Unified KV Cache mogen aan blijven.

   Laad daarna het model en ga naar Settings. Stel daar in:

   • Temperature: 0
   • Repeat Penalty: 1.0
   • Top K Sampling: 0
   • Presence Penalty: uit
   • Top P Sampling: 1.0
   • Min P Sampling: 0.0

   Plak tot slot de volledige inhoud van systeemprompt.txt in het System Prompt-veld.

   Let opSla dit niet over. Met de standaardinstellingen meet je LM Studio en niet Walnoot.

   GetoetstDeze route hebben wij op 27 september op het uitgegeven model getoetst, met precies deze instellingen.

2. Ollama

   Twee commando's en de instellingen staan meteen goed.Getoetst

   Bouw het model met het meegeleverde Modelfile en start het. Alle instellingen en de systeemprompt zitten daarin, dus je hoeft verder niets te zetten.

   ollama create walnoot-8b-instruct -f Modelfile
   ollama run walnoot-8b-instruct

   Let opRoep je Ollama vanuit een programma aan, gebruik dan zijn eigen route /api/chat. Op de OpenAI-route /v1/chat/completions negeert Ollama de instellingen uit het Modelfile en zet het de temperatuur stil op 1,0. Gebruik je die route toch, stuur dan zelf temperatuur 0 en top-p 1 mee.

   GetoetstDeze route hebben wij op 27 september op het uitgegeven model getoetst, met precies deze twee commando's. Wat hierboven over de twee ingangen staat, is een eigenschap van Ollama zelf en niet van het model.

3. llama.cpp

   Een eigen server op je werkplek.Niet nagemeten

   De instellingen zitten in het bestand en worden daaruit gelezen, dus je start de server zonder samplervlaggen. Gebruik een uitgave van llama.cpp van oktober 2025 of later, want oudere versies kennen de rekenstap van dit model niet.

   llama-server \
     --model walnoot-8b-instruct-bf16.gguf \
     --ctx-size 8192 \
     --parallel 1 \
     --cache-type-k f16 \
     --cache-type-v f16

   Let opControleer na het starten wat de server aanhoudt: temperatuur 0, top-k 0, top-p 1,0, min-p 0,0 en herhalingsstraf 1,0. Stuurt een programma zijn eigen instellingen mee, dan winnen die altijd van de onze.

   GetoetstDeze route hebben wij niet op het uitgegeven model nagemeten. De vlaggen hierboven horen bij het meegeleverde bestand.

4. vLLM, op een server

   Meerdere gebruikers tegelijk, in je eigen datacentrum of cloudomgeving.Niet zelf gedraaid

   Voor een server neem je niet het gguf-bestand maar de gewichten zelf, uit de gewone modelrepository. vLLM bedient meerdere verzoeken tegelijk. Reken op een kaart met minimaal 24 GB videogeheugen. Hoe je vLLM start hangt af van je opstelling; dit zijn de instellingen die je hem meegeeft.

   --model /pad/naar/walnoot \
     --served-model-name walnoot-8b-instruct \
     --generation-config auto \
     --max-model-len 8192 \
     --dtype bfloat16

   Let opvLLM haalt uit de meegeleverde bestanden geen temperatuur. Laat je programma daarom bij elk verzoek zelf temperatuur 0 en top-p 1 meesturen. Krijg je de melding dat de architectuur niet wordt ondersteund, dan is je vLLM te oud voor het basismodel waarop Walnoot is gebouwd.

   GetoetstDeze route hebben wij niet zelf gedraaid en wij hebben er geen meting onder liggen.

1. § 01ModelkaartWat Walnoot 8B is, waarvoor het is gemaakt en waar de grenzen liggen.
2. § 03ReproducerenElke score zelf narekenen, met een gepinde evaluatieversie.
3. § 02ScorebordAlle EuroEval-taken naast de gepubliceerde cijfers van GPT-NL.
4. § 12LicentieApache 2.0, permanent en inclusief commercieel gebruik.