Tutustutaan, miten voit suorittaa päätelmiä Phi-3-minillä Android-laitteilla. Phi-3-mini on Microsoftin uusi mallisarja, joka mahdollistaa suurten kielimallien (LLM) käyttöönoton reunalaitteissa ja IoT-laitteissa.
Semantic Kernel on sovelluskehys, jonka avulla voit luoda sovelluksia, jotka toimivat Azure OpenAI -palvelun, OpenAI-mallien ja jopa paikallisten mallien kanssa. Jos olet uusi Semantic Kernelin käyttäjä, suosittelemme tutustumaan Semantic Kernel Cookbookiin.
Voit yhdistää sen Semantic Kernelin Hugging Face Connectoriin. Katso tämä esimerkkikoodi.
Oletuksena se vastaa Hugging Facen mallin tunnistetta, mutta voit myös yhdistää paikallisesti rakennettuun Phi-3-mini -mallipalvelimeen.
Monet käyttäjät suosivat kvantisoituja malleja, jotta mallit voi ajaa paikallisesti. Ollama ja LlamaEdge mahdollistavat yksittäisten käyttäjien kutsua erilaisia kvantisoituja malleja:
Voit ajaa suoraan ollama run Phi-3 tai määrittää sen offline-tilassa luomalla Modelfile-tiedoston, jossa on polku .gguf-tiedostoosi.
FROM {Add your gguf file path}
TEMPLATE \"\"\"<|user|> .Prompt<|end|> <|assistant|>\"\"\"
PARAMETER stop <|end|>
PARAMETER num_ctx 4096
Jos haluat käyttää .gguf-tiedostoja sekä pilvessä että reunalaitteissa samanaikaisesti, LlamaEdge on erinomainen valinta. Voit aloittaa tämän esimerkkikoodin avulla.
- Lataa MLC Chat -sovellus (ilmainen) Android-puhelimille.
- Lataa APK-tiedosto (148 Mt) ja asenna se laitteellesi.
- Käynnistä MLC Chat -sovellus. Näet listan tekoälymalleista, mukaan lukien Phi-3-mini.
Yhteenvetona Phi-3-mini avaa jännittäviä mahdollisuuksia generatiiviselle tekoälylle reunalaitteissa, ja voit alkaa tutkia sen ominaisuuksia Androidilla.
Vastuuvapauslauseke:
Tämä asiakirja on käännetty käyttämällä tekoälypohjaista käännöspalvelua Co-op Translator. Vaikka pyrimme tarkkuuteen, huomioithan, että automaattikäännöksissä saattaa esiintyä virheitä tai epätarkkuuksia. Alkuperäistä asiakirjaa sen alkuperäiskielellä tulee pitää virallisena lähteenä. Tärkeissä tiedoissa suositellaan ammattimaista ihmiskäännöstä. Emme ole vastuussa tämän käännöksen käytöstä aiheutuvista väärinymmärryksistä tai tulkinnoista.