Mistral 7B Instruct v0.3 in je browser draaien

3.8 GB voor de q4f16_1-variant, verdeeld over 106 bestanden. Het wordt één keer gedownload en blijft in de cache van je browser, zodat elk later bezoek meteen begint en offline werkt.

Een browser met WebGPU — een recente Chrome, Edge, Firefox of Safari — en ongeveer 4.5 GB GPU-geheugen. Het hulpmiddel controleert je GPU, geheugen en vrije ruimte en zegt of Mistral 7B Instruct v0.3 past voordat er iets wordt gedownload.

Nee. Mistral 7B Instruct v0.3 draait op je eigen GPU in het browsertabblad. Het enige netwerkverkeer is de eenmalige download van de modelbestanden vanaf Hugging Face; je prompts en de antwoorden verlaten het apparaat nooit, en de chats staan in deze browser.

Begin met q4f16_1 — dat is de kleinste download en draait het snelst. De f32-varianten zijn groter en gebruiken meer geheugen, maar werken op GPU's zonder ondersteuning voor 16-bits shaders. Varianten met 1k houden een korter gesprek vast in ruil voor minder geheugen.

Het contextvenster is 4k tokens. Langere gesprekken blijven werken — de oudste beurten vallen met een melding weg zodra het gesprek niet meer past.

De gewichten vallen onder Apache 2.0, overgenomen van de modelkaart van mistralai/Mistral-7B-Instruct-v0.3. Controleer de licentie zelf voordat je het commercieel gebruikt.