OSS探訪GitHubでログイン

LoRA等でbase modelの一部parameterだけを学習しfine-tuningのmemory・storage costを抑えるPython library

スコアの見方

OSS規模スコアはStars・Watchers・Forks・Contributorsを対数圧縮して重み付けした現在の規模指標(上限なし)です。発掘スコアは現在のOSS規模スコアから発掘時点のOSS規模スコアを引いた値、更新ペースは直近30日Commit数、成長モメンタムは直近の観測期間におけるOSS規模スコア差、OSS健全度は取得できた更新状況・Community Health・Releaseの0〜100評価です。

Stars
21,751
主要言語
Python
ライセンス
Apache-2.0
リポジトリ最終更新
2026/10/02
ページ内ナビ

概要

PEFTはlarge pretrained modelを全parameter更新せず、LoRAや各種adapter/prompt tuning手法で少数のparameterだけを学習するParameter-Efficient Fine-Tuning libraryです。Transformers、Diffusers、Accelerate等と統合し、training memoryとcheckpoint storageを抑えながらdownstream taskへmodelを適応できます。

特徴と向いている用途

公式資料に基づく紹介・実機未検証 · 内容確認日:

主な特徴

LoRA等のadapterをbase modelへ追加してtrainable parameterを絞る

LoraConfig等のPEFT configurationとget_peft_modelを使い、base modelの一部moduleへadapterを挿入して少数parameterだけをtraining対象にできます。

出典:[1]

adapter checkpointをbase modelと分離して保存・切替する

fine-tuned adapterをbase model全体とは別に保存でき、inference時にPeftModelで読み込んだり、Transformers integrationで複数adapterを切り替えたりできます。

出典:[1]

Transformers・Diffusers・Accelerate等のHugging Face stackへ統合する

language modelだけでなくDiffusersの画像生成modelやAccelerateによるdistributed training/inferenceとも連携し、parameter-efficient adaptationを複数domainへ適用できます。

出典:[1]

向いている用途

full fine-tuningのGPU memory・checkpoint容量を削減してmodel adaptationを反復したい場合に向く

大規模base modelをtaskごとに全量複製せず、小さなadapter checkpointを複数管理したいLLMやdiffusion modelのexperimentationに適します。

出典:[1]

導入前の確認

0.21.2はPython 3.10以上とPyTorch 1.13以上を要求する

v0.21.2 package metadataはPython >=3.10.0、torch>=1.13.0を要求し、Transformers、Accelerate、Safetensors、Hugging Face Hub等へ依存します。base model側のversion compatibilityも合わせて確認してください。

出典:[3][4]

0.21.2はTransformers 5.18+のencoder-decoder compatibility fix

v0.21.2はTransformers 5.18.0以上でencoder-decoder modelが動作しなくなる問題を修正するpatch releaseです。該当構成ではPEFT側のversion pinも合わせて更新してください。

出典:[2]

参考にした公式資料

  1. [1]PEFT v0.21.2 README(2026-10-04)
  2. [2]PEFT v0.21.2 release(2026-10-04)
  3. [3]PEFT v0.21.2 package metadata(2026-10-04)
  4. [4]PEFT v0.21.2 version metadata(2026-10-04)
  5. [5]PEFT Apache 2.0 license(2026-10-04)
編集部からの補足

PEFT libraryのlicenseはApache-2.0ですが、fine-tuning対象のbase modelとdatasetには別license・利用条件があります。adapterを配布する際も元modelの条件を確認してください。

3ステップで試す

  1. 1

    PEFT 0.21.2用virtual environmentを作る

    Python 3.10+ environmentでPEFTをstable 0.21.2へversion固定します。

    python3 -m venv peft-demo && . peft-demo/bin/activate && python -m pip install --upgrade pip && python -m pip install 'peft==0.21.2'
  2. 2

    PEFT versionを確認する

    modelをdownloadせず、loadされるlibrary versionだけを確認します。

    . peft-demo/bin/activate && python -c 'import peft; print(peft.__version__)'
  3. 3

    modelなしでLoRA configurationを作る

    GPUやbase modelを使わず、LoRA adapter設定の最小objectを生成してAPI surfaceを確認します。

    . peft-demo/bin/activate && python -c 'from peft import LoraConfig, TaskType; c=LoraConfig(r=8,lora_alpha=16,task_type=TaskType.CAUSAL_LM); print(c.peft_type, c.r, c.lora_alpha)'
公式READMEで確認

成長

成長の推移 · 直近30日

21,751 Stars

推移データを蓄積中です。

開発アクティビティ

直近90日・週次

Commit(直近30日)
68
Open PR
51

開発アクティビティを蓄積中です。

Built with

カテゴリとタグ

カテゴリ

GitHubデータ

GitHubのデータGitHubの詳細データを見る

GitHub Topics

  • adapter
  • diffusion
  • llm
  • parameter-efficient-learning
  • python
  • pytorch
  • transformers
  • lora
  • fine-tuning
  • peft
Stars
21,751
Forks
2,556
Watchers
113
Open Issues
60
Contributors
358
所有者種別
Organization
主要言語
Python
ライセンス
Apache-2.0
リポジトリ最終更新
2026/10/02

このOSSの使い方や活用事例をMarkdownで投稿できます。管理者が承認した後に公開されます。

情報の誤りを報告

掲載内容に誤りや古い情報があればお知らせください。

このページを読んで、次に何をすればよいか分かりましたか?