ページ内ナビ
概要
PEFTはlarge pretrained modelを全parameter更新せず、LoRAや各種adapter/prompt tuning手法で少数のparameterだけを学習するParameter-Efficient Fine-Tuning libraryです。Transformers、Diffusers、Accelerate等と統合し、training memoryとcheckpoint storageを抑えながらdownstream taskへmodelを適応できます。
特徴と向いている用途
公式資料に基づく紹介・実機未検証 · 内容確認日:
主な特徴
LoRA等のadapterをbase modelへ追加してtrainable parameterを絞る
LoraConfig等のPEFT configurationとget_peft_modelを使い、base modelの一部moduleへadapterを挿入して少数parameterだけをtraining対象にできます。
出典:[1]
adapter checkpointをbase modelと分離して保存・切替する
fine-tuned adapterをbase model全体とは別に保存でき、inference時にPeftModelで読み込んだり、Transformers integrationで複数adapterを切り替えたりできます。
出典:[1]
Transformers・Diffusers・Accelerate等のHugging Face stackへ統合する
language modelだけでなくDiffusersの画像生成modelやAccelerateによるdistributed training/inferenceとも連携し、parameter-efficient adaptationを複数domainへ適用できます。
出典:[1]
向いている用途
full fine-tuningのGPU memory・checkpoint容量を削減してmodel adaptationを反復したい場合に向く
大規模base modelをtaskごとに全量複製せず、小さなadapter checkpointを複数管理したいLLMやdiffusion modelのexperimentationに適します。
出典:[1]
導入前の確認
0.21.2はPython 3.10以上とPyTorch 1.13以上を要求する
v0.21.2 package metadataはPython >=3.10.0、torch>=1.13.0を要求し、Transformers、Accelerate、Safetensors、Hugging Face Hub等へ依存します。base model側のversion compatibilityも合わせて確認してください。
0.21.2はTransformers 5.18+のencoder-decoder compatibility fix
v0.21.2はTransformers 5.18.0以上でencoder-decoder modelが動作しなくなる問題を修正するpatch releaseです。該当構成ではPEFT側のversion pinも合わせて更新してください。
出典:[2]
参考にした公式資料
- [1]PEFT v0.21.2 README(2026-10-04)
- [2]PEFT v0.21.2 release(2026-10-04)
- [3]PEFT v0.21.2 package metadata(2026-10-04)
- [4]PEFT v0.21.2 version metadata(2026-10-04)
- [5]PEFT Apache 2.0 license(2026-10-04)
編集部からの補足
PEFT libraryのlicenseはApache-2.0ですが、fine-tuning対象のbase modelとdatasetには別license・利用条件があります。adapterを配布する際も元modelの条件を確認してください。
3ステップで試す
- 1
PEFT 0.21.2用virtual environmentを作る
Python 3.10+ environmentでPEFTをstable 0.21.2へversion固定します。
python3 -m venv peft-demo && . peft-demo/bin/activate && python -m pip install --upgrade pip && python -m pip install 'peft==0.21.2' - 2
PEFT versionを確認する
modelをdownloadせず、loadされるlibrary versionだけを確認します。
. peft-demo/bin/activate && python -c 'import peft; print(peft.__version__)' - 3
modelなしでLoRA configurationを作る
GPUやbase modelを使わず、LoRA adapter設定の最小objectを生成してAPI surfaceを確認します。
. peft-demo/bin/activate && python -c 'from peft import LoraConfig, TaskType; c=LoraConfig(r=8,lora_alpha=16,task_type=TaskType.CAUSAL_LM); print(c.peft_type, c.r, c.lora_alpha)'
成長
成長の推移 · 直近30日
21,751 Stars
推移データを蓄積中です。
開発アクティビティ
直近90日・週次
- Commit(直近30日)
- 68
- Open PR
- 51
開発アクティビティを蓄積中です。
Built with
カテゴリとタグ
カテゴリ
GitHubデータ
GitHubのデータGitHubの詳細データを見る
GitHub Topics
- adapter
- diffusion
- llm
- parameter-efficient-learning
- python
- pytorch
- transformers
- lora
- fine-tuning
- peft
- Stars
- 21,751
- Forks
- 2,556
- Watchers
- 113
- Open Issues
- 60
- Contributors
- 358
- 所有者種別
- Organization
- 主要言語
- Python
- ライセンス
- Apache-2.0
- リポジトリ最終更新
- 2026/10/02
関連情報
関連記事を投稿するこのOSSの使い方や活用事例をMarkdownで投稿できます。管理者が承認した後に公開されます。
あわせて探訪
- Mammoth842 Stars
共通タグ 3件 · 共通カテゴリ 1件 · 同じ言語
70超の継続学習手法を共通PyTorch基盤で比較・再現・拡張する
Python - TensorFlow200,702 Stars
共通タグ 3件 · 共通カテゴリ 1件
2.21.0でPython要件と周辺依存が変わった機械学習基盤
C++ - Streamlit45,896 Stars
共通タグ 3件 · 同じ言語
Python scriptをwidget・dataframe・chart・multi-page・chatを備えたinteractive data appへ変換する
Python - Langflow155,504 Stars
共通タグ 2件 · 共通カテゴリ 1件 · 同じ言語
AI処理を見える形で組み、APIとMCPへ展開する
Python - Open WebUI153,981 Stars
共通タグ 2件 · 共通カテゴリ 1件 · 同じ言語
ローカルLLM・クラウドmodel・RAG・Toolsを一つにまとめるセルフホストAIワークスペース
Python - LangChain147,451 Stars
共通タグ 2件 · 共通カテゴリ 1件 · 同じ言語
model・tool・retrieval・middlewareを組み合わせてagentを構築するPython framework
Python
情報の誤りを報告
掲載内容に誤りや古い情報があればお知らせください。