Phi-2 in je browser draaien

1.5 GB voor de q4f16_1-variant, verdeeld over 51 bestanden. Het wordt één keer gedownload en blijft in de cache van je browser, zodat elk later bezoek meteen begint en offline werkt.

Een browser met WebGPU — een recente Chrome, Edge, Firefox of Safari — en ongeveer 3.0 GB GPU-geheugen. Het hulpmiddel controleert je GPU, geheugen en vrije ruimte en zegt of Phi-2 past voordat er iets wordt gedownload.

Nee. Phi-2 draait op je eigen GPU in het browsertabblad. Het enige netwerkverkeer is de eenmalige download van de modelbestanden vanaf Hugging Face; je prompts en de antwoorden verlaten het apparaat nooit, en de chats staan in deze browser.

Begin met q4f16_1 — dat is de kleinste download en draait het snelst. De f32-varianten zijn groter en gebruiken meer geheugen, maar werken op GPU's zonder ondersteuning voor 16-bits shaders. Varianten met 1k houden een korter gesprek vast in ruil voor minder geheugen.

Het contextvenster is 2k tokens. Langere gesprekken blijven werken — de oudste beurten vallen met een melding weg zodra het gesprek niet meer past.

De gewichten vallen onder MIT, overgenomen van de modelkaart van microsoft/phi-2. Controleer de licentie zelf voordat je het commercieel gebruikt.