Het experiment
591.000 trainingsparen, acht H100-GPU’s en NeMo. Negen iteraties leidden tot een laatste trainingsrun van 32 uur.
Eigen R&D
120 miljard parameters. Een domeingerichte training.
Eigen onderzoek naar het aanpassen van een 120B mixture-of-experts-model. De training is uitgevoerd; merge en export zijn nog niet afgerond.
De keuze
Attention-only LoRA om de aanpassing gericht te houden binnen de beschikbare reken- en geheugencapaciteit.
De actuele grens
Een getraind model is nog geen werkende productievoorziening. Merge en export staan open; deze case claimt geen productiedeployment of bewezen algemene prestatiewinst.