Natančno prilagajanje Phi-3 z QLoRA
Natančno prilagajanje Microsoftovega jezikovnega modela Phi-3 Mini z uporabo QLoRA (Quantum Low-Rank Adaptation).
QLoRA bo pomagal izboljšati razumevanje pogovorov in generiranje odgovorov.
Za nalaganje modelov v 4bitni obliki z uporabo transformers in bitsandbytes morate namestiti accelerate in transformers iz vira ter poskrbeti, da imate najnovejšo različico knjižnice bitsandbytes.
Primeri
- Več informacij s tem vzorčnim zvezkom
- Primer Python skripte za FineTuning
- Primer Fine Tuning na Hugging Face Hub z LORA
- Primer Fine Tuning na Hugging Face Hub z QLORA
Omejitev odgovornosti:
Ta dokument je bil preveden z uporabo AI prevajalske storitve Co-op Translator. Čeprav si prizadevamo za natančnost, vas opozarjamo, da avtomatizirani prevodi lahko vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku velja za avtoritativni vir. Za ključne informacije priporočamo strokovni človeški prevod. Nismo odgovorni za morebitna nesporazume ali napačne interpretacije, ki izhajajo iz uporabe tega prevoda.