「CUDA」タグのOSS

こんなOSS

DesktopとPythonからGGUF系LLMをローカル実行できるprivacy-oriented local AI runtime。

こんなOSS

GGUF・量子化・CPU/GPU backendを横断し、CLIとOpenAI互換APIを提供するC/C++ LLM推論runtime。