Seuraava dokumentti on esimerkki siitä, miten PromptFlowa käytetään ONNX:n (Open Neural Network Exchange) kanssa Phi-3 -mallien pohjalta kehitettyjen tekoälysovellusten rakentamiseen.
PromptFlow on kehitystyökalupaketti, joka on suunniteltu sujuvoittamaan koko LLM-pohjaisten (Large Language Model) tekoälysovellusten kehityssykliä ideoinnista ja prototypoinnista testaukseen ja arviointiin.
Integroimalla PromptFlow ONNX:n kanssa kehittäjät voivat:
- Optimoida mallin suorituskyvyn: Hyödyntää ONNX:ää tehokkaaseen mallin päättelyyn ja käyttöönottoon.
- Yksinkertaistaa kehitystä: Käyttää PromptFlowta työnkulun hallintaan ja toistuvien tehtävien automatisointiin.
- Parantaa yhteistyötä: Mahdollistaa paremman tiimityön tarjoamalla yhtenäisen kehitysympäristön.
Prompt flow on kehitystyökalupaketti, joka on suunniteltu sujuvoittamaan koko LLM-pohjaisten tekoälysovellusten kehityssykliä ideoinnista, prototypoinnista, testauksesta ja arvioinnista aina tuotantoon käyttöönottoon ja seurantaan asti. Se tekee prompt-tekniikasta paljon helpompaa ja mahdollistaa tuotantolaatuisten LLM-sovellusten rakentamisen.
Prompt flow voi yhdistää OpenAI:hin, Azure OpenAI Serviceen sekä räätälöitäviin malleihin (Huggingface, paikalliset LLM/SLM). Tavoitteenamme on ottaa Phi-3.5:n kvantisoitu ONNX-malli käyttöön paikallisissa sovelluksissa. Prompt flow auttaa meitä suunnittelemaan liiketoimintaamme paremmin ja toteuttamaan paikallisia ratkaisuja Phi-3.5:n pohjalta. Tässä esimerkissä yhdistämme ONNX Runtime GenAI -kirjaston Prompt flow -ratkaisun toteuttamiseksi Windows GPU:lla.
Lue tämä ohje ONNX Runtime GenAI:n asentamiseksi Windows GPU:lle klikkaa tästä
- Asenna Prompt flow VS Code -laajennus
- Asennuksen jälkeen avaa Prompt flow VS Code -laajennus, valitse Installation dependencies ja seuraa ohjeita Prompt flow SDK:n asentamiseksi ympäristöösi
- Lataa Esimerkkikoodi ja avaa se VS Codessa
- Avaa flow.dag.yaml ja valitse Python-ympäristösi
Avaa chat_phi3_ort.py ja muuta Phi-3.5-instruct ONNX -mallin sijainti
- Suorita prompt flow testataksesi
Avaa flow.dag.yaml ja klikkaa visual editoria
Klikkaa tätä ja suorita testi
- Voit ajaa eräajon terminaalissa saadaksesi lisää tuloksia
pf run create --file batch_run.yaml --stream --name 'Your eval qa name'
Tulokset voit tarkistaa oletusselaimessasi
Vastuuvapauslauseke:
Tämä asiakirja on käännetty käyttämällä tekoälypohjaista käännöspalvelua Co-op Translator. Vaikka pyrimme tarkkuuteen, huomioithan, että automaattikäännöksissä saattaa esiintyä virheitä tai epätarkkuuksia. Alkuperäistä asiakirjaa sen alkuperäiskielellä tulee pitää virallisena lähteenä. Tärkeissä asioissa suositellaan ammattimaista ihmiskäännöstä. Emme ole vastuussa tämän käännöksen käytöstä aiheutuvista väärinymmärryksistä tai tulkinnoista.