De uitdaging
Ontwikkelaars toegang geven tot krachtige modellen binnen de eigen infrastructuur, met een werkbaar geheugen- en capaciteitsbudget.
Nederlandse organisatie in de vitale infrastructuur
Een 72B-codemodel op één H100.
Eigen kwantisatie bracht een 72B-codemodel van circa 144 GB naar 66 GB, passend op één H100 met een contextvenster van 90K tokens.
Wat is gebouwd
Eigen GPTQ-kwantisatie, private modelserving, een API-gateway met sleutels en gebruikslimieten, en een gedeelde chatomgeving. Ook embeddings, reranking en multimodale modellen passen in die toegang.
Wat de cijfers betekenen
De geheugenreductie beschrijft deze specifieke implementatie. Het is geen algemene kwaliteitsclaim ten opzichte van grotere of externe modellen.
VF / 01REFERENTIEARCHITECTUUR
- Medewerkers & applicaties: CHAT / API / DEVELOPER TOOLS
- Toegang · API-gateway: IDENTITY / LIMITS / ROUTING
- AI-agents, retrieval & modellen: TOOLS / SOURCES / MODELS
- GPU · Opslag · MLOps: KUBERNETES / NVMe-oF / OBSERVABILITY
REFERENTIE, GEEN NETWERKKAART
Het patroon achter de oplossing.
Een generiek overzicht van de bouwstenen. Technische adressen, interne systemen en klantidentiteiten blijven buiten de publicatie.
Bekijk de architectuur ↗