Skip to content

01.HF.md

Latest commit

 

History

History
110 lines (60 loc) · 4.11 KB

01.HF.md

File metadata and controls

110 lines (60 loc) · 4.11 KB

Hugging FaceでPhiファミリーを使う

Hugging Faceは、豊富なデータとオープンソースモデルのリソースを持つ非常に人気のあるAIコミュニティです。Microsoft、Meta、Mistral、Apple、Googleなど、さまざまなメーカーがHugging Faceを通じてオープンソースのLLMやSLMを公開しています。

MicrosoftのPhiファミリーはHugging Faceで公開されています。開発者はシナリオやビジネスに応じて対応するPhiファミリーのモデルをダウンロードできます。PhiのPytorchモデルをHugging Faceで展開するだけでなく、量子化モデルもリリースしており、GGUFやONNX形式を使ってエンドユーザーに選択肢を提供しています。

Hugging Faceでモデルをダウンロードする

以下のリンクからPhiファミリーモデルをダウンロードできます。

Microsoft Models on Hugging Face

モデルはさまざまな方法でダウンロード可能です。たとえば、Hugging Face CLI SDKをインストールするか、git cloneを使う方法があります。

Hugging Face CLIを使ってPhiファミリーモデルをダウンロードする

  • Hugging Face CLIをインストールする
pip install -U "huggingface_hub[cli]"
  • huggingface-cliでログインする

設定ページから取得したユーザーアクセストークンを使ってHugging Faceにログインします。

huggingface-cli login --token $HF_TOKEN --add-to-git-credential
  • ダウンロードする

モデルをダウンロードしてキャッシュに保存できます。

huggingface-cli download microsoft/phi-4

特定の場所に保存することも可能です。

huggingface-cli download microsoft/phi-4 --local-dir $YOUR_PATH

git cloneを使ってPhiファミリーモデルをダウンロードする

git cloneを使ってモデルをダウンロードすることもできます。

git lfs install

git clone https://huggingface.co/microsoft/phi-4

サンプル - Microsoft Phi-4の推論

  • transformersライブラリのインストール
pip install transformers -U
  • VSCodeでこのコードを実行する
import transformers

pipeline = transformers.pipeline(
    "text-generation",
    model="microsoft/phi-4",
    model_kwargs={"torch_dtype": "auto"},
    device_map="auto",
)

messages = [
    {"role": "user", "content": "I have $20,000 in my savings account, where I receive a 4% profit per year and payments twice a year. Can you please tell me how long it will take for me to become a millionaire? Also, can you please explain the math step by step as if you were explaining it to an uneducated person?"},
]

outputs = pipeline(messages, max_new_tokens=2048)
print(outputs[0]["generated_text"][-1])

免責事項：
本書類はAI翻訳サービス「Co-op Translator」を使用して翻訳されました。正確性を期しておりますが、自動翻訳には誤りや不正確な部分が含まれる可能性があります。原文の言語によるオリジナル文書が正式な情報源とみなされるべきです。重要な情報については、専門の人間による翻訳を推奨します。本翻訳の利用により生じた誤解や誤訳について、当方は一切の責任を負いかねます。