OSS探訪ページ内ナビ
概要
bitsandbytesはPyTorch向けのk-bit quantization libraryです。LLM.int8による8bit inference、QLoRA向け4bit quantization、8bit optimizerを提供し、model inferenceやtrainingで必要なmemoryを削減します。
特徴と向いている用途
公式資料に基づく紹介・実機未検証 · 内容確認日：
主な特徴
LLM.int8でmodel weightを8bit化してinference memoryを削減する
大部分を8bitで扱いながらoutlierを16bit matrix multiplicationへ分離する方式で、large language model inferenceのmemory footprintを抑えます。
出典：[1]
4bit quantizationとQLoRAでmemory効率のよいfine-tuningを行う
4bit weightとtrainable LoRA parameterを組み合わせるQLoRA workflowを支え、大規模modelのfine-tuningに必要なmemoryを削減できます。
出典：[1]
8bit optimizerとquantized linear layerをPyTorchへ組み込む
bitsandbytes.optimのoptimizerやLinear8bitLt、Linear4bitなどを通じて既存PyTorch codeへquantized operationを導入できます。
出典：[1]
向いている用途
VRAM/RAM制約下でより大きなmodelを推論・学習したい場合に向く
single GPU、workstation、CPU backendなどでmodel memoryを削減し、通常precisionでは収まらないmodelを扱いたい用途に向きます。
出典：[1]
導入前の確認
Python 3.10+とPyTorch 2.4+を前提にする
0.50.2 READMEは全platform共通のminimumとしてPython 3.10以上、PyTorch 2.4以上を示しています。
出典：[1]
acceleratorごとにsupport matrixとperformanceが異なる
CPU、NVIDIA CUDA、AMD ROCm、Intel XPU、Gaudi、Apple Siliconなどで対応状況が異なり、一部featureはpartialまたは未optimizedです。target hardwareのstable release matrixを確認します。
参考にした公式資料
- [1]bitsandbytes 0.50.2 README(2026-10-03)
- [2]bitsandbytes 0.50.2 release(2026-10-03)
- [3]bitsandbytes MIT license(2026-10-03)
編集部からの補足
VRAMやRAM制約で大きなmodelを扱いたい場合に有効ですが、quantization方式とhardware backendで速度・精度・対応operationが変わります。採用時は対象modelと実hardwareでmemory削減だけでなくlatencyと品質も測定してください。
3ステップで試す
- 1
bitsandbytes 0.50.2をisolated環境へ導入する
Python 3.10+環境へstable releaseを固定して導入します。PyTorch 2.4+が必要です。
python3 -m venv .venv && . .venv/bin/activate && python -m pip install bitsandbytes==0.50.2 - 2
導入versionを確認する
modelをdownloadせず、local package metadataからversionだけを確認します。
python -c "import importlib.metadata; print(importlib.metadata.version('bitsandbytes'))" - 3
quantized layer APIを読み込む
modelや外部serviceを使わず、8bit/4bit layer APIをimportできることを確認します。実利用前にはtarget acceleratorのsupport matrixを確認してください。
python -c "import bitsandbytes as bnb; print(bnb.nn.Linear8bitLt, bnb.nn.Linear4bit)"
成長
成長の推移 · 直近30日
8,510 Stars
推移データを蓄積中です。
開発アクティビティ
直近90日・週次
- Commit（直近30日）
- 0
- Open PR
- 46
開発アクティビティを蓄積中です。
Built with
カテゴリとタグ
GitHubデータ
関連情報
関連記事を投稿するこのOSSの使い方や活用事例をMarkdownで投稿できます。管理者が承認した後に公開されます。
あわせて探訪
- PyTorch103,630 Stars
共通タグ 2件 · 共通カテゴリ 2件 · 同じ言語
Pythonからテンソル計算と自動微分を扱う深層学習基盤
Python - Crawl4AI84,701 Stars
共通タグ 2件 · 共通カテゴリ 2件 · 同じ言語
browser renderingしたWebをLLM-ready Markdown/JSONへ変換するPython crawler
Python - LiteLLM60,090 Stars
共通タグ 2件 · 共通カテゴリ 2件 · 同じ言語
100以上のLLM providerをOpenAI互換interfaceへ統一し、routing・cost・guardrail・loggingをAI Gatewayへ集約する
Python - CrewAI59,327 Stars
共通タグ 2件 · 共通カテゴリ 2件 · 同じ言語
role-based Crewとevent-driven Flowを組み合わせ、multi-agent automationを構築する
Python - Aider49,354 Stars
共通タグ 2件 · 共通カテゴリ 2件 · 同じ言語
リポジトリー全体の文脈を使ってターミナルからコードを編集する
Python - spaCy33,935 Stars
共通タグ 2件 · 共通カテゴリ 2件 · 同じ言語
tokenization・NER・tagging・parsing・text classification・trainingをproduction向けPython/Cython pipelineとして提供するNLP library
Python
情報の誤りを報告
掲載内容に誤りや古い情報があればお知らせください。