AnythingLLM

文書取り込みとVector DBを内蔵し、手元データを引用付きチャットへ変える

AnythingLLMはPDF、TXT、DOCXなど複数形式の文書をcollectorで処理し、workspaceへ埋め込んでLLMとの会話に利用できます。標準のVector DBはLanceDBですが、PGVector、Pinecone、Chroma、Weaviate、Qdrant、Milvusなどへ切り替えられます。LLMやEmbeddingもOpenAI系だけに固定されず、Ollama、LM Studio、LocalAI、Gemini、Anthropic、Bedrock、OpenRouterなど多数のproviderを選べるため、ローカル完結を優先する構成から外部API中心の構成まで同じUIで組めます。

出典：[1]

Agent、MCP、Scheduled Tasksを組み合わせ、質問応答から継続的な処理へ広げる

AnythingLLMにはworkspace内で動くAgents、no-code Agent Flow builder、MCP compatibility、cron形式のScheduled Tasksが用意されています。単発の会話だけでなく、外部ツールを使う処理や定期プロンプトを同じ環境から実行できます。Intelligent Skill Selectionでは大量のtoolsを毎回すべてpromptへ詰め込むのではなく、入力に応じて必要なskillsを選ぶことでtool利用時のtoken負荷を抑える設計も入っています。

出典：[1][3]

Dynamic Model RoutingとMemoryで、会話ごとに使うモデルと継続コンテキストを制御する

Dynamic Model Routingでは、定義したruleに応じてconversationを別のprovider/modelへ振り分けられます。実装上もcalculated ruleとLLM ruleを評価し、選択されたproviderとmodelへdelegateする構造になっています。Automatic / User Managed Memoriesもあり、workspaceやユーザーに関する重要情報を継続会話へ持ち越せます。高価なモデルを全会話へ固定するのではなく、用途・条件によってモデルを使い分けながら長期コンテキストを維持したい運用に向きます。

出典：[1][2]

社内文書RAG、ローカルLLM、複数モデル、Agentを別々の製品へ分散させたくない人・チームへ

個人では、OllamaやLM Studioなどのローカルモデルと手元の文書を同じDesktopアプリから扱いたい場合に導入しやすい選択肢です。チームでは、社内文書Q&A、部門別workspace、agent workflow、scheduled automation、Webサイト向け埋め込みChatなどをDocker版へ集約できます。特定のLLM providerやVector DBへロックインせず、後から構成を差し替えたい用途とも相性があります。

出典：[1]

DesktopとDockerで機能差があり、プライバシーは選んだprovider・telemetry設定まで含めて考える

READMEではmulti-user instance support、permissioning、Web向けembeddable chat widgetはDocker版限定と明記されています。Desktop版は個人のローカル利用を始めやすい一方、組織利用や公開サービスとして使う場合はDocker等のserver deploymentを前提に機能を確認した方が安全です。monorepo自体もReact/Vite frontend、Node.js Express server、document collectorなど複数コンポーネントで構成されるため、本番運用では永続データ、backup、外部Vector DBやmodel providerの可用性も管理対象になります。

AnythingLLMには匿名usage telemetryがあり、DISABLE_TELEMETRY=trueまたはUI設定から無効化できます。telemetryを切っても、外部LLM、Embedding、Vector DB、toolを選べばそれぞれのサービスへ通信するため、『self-hosted = すべてローカル』とは限りません。データ境界は利用するproviderごとに確認する必要があります。ソースコード本体はMIT Licenseで公開されています。

出典：[1][4]