Handy

ショートカットを押して話すだけで、録音・VAD・文字起こし・貼り付けまでをローカルでつなぐ

HandyはPush-to-Talk、Toggle、両方を組み合わせた操作に対応し、録音終了後にVADで無音を除外してローカルモデルへ渡します。得られたtranscriptは専用エディタに閉じず、その時点で使っているアプリのtext fieldへ貼り付けられます。音声入力機能がないアプリでもOS全体へ横断的に使えるため、特定のチャットサービスやドキュメント製品に依存しないdictation layerとして扱えます。

出典：[1]

Whisperの精度・GPU活用と、Parakeet V3のCPU中心運用をハードウェアに合わせて選ぶ

文字起こしモデルはWhisperのSmall / Medium / Turbo / Large系に加え、CPU向けに最適化されたParakeet V3を選択できます。Whisperは利用可能な環境でGPU accelerationを使い、Parakeet V3はCPU-onlyでも動作し、自動言語検出にも対応します。READMEではParakeet V3について中程度のCPUで実時間の約5倍の処理速度という目安も示されており、精度、モデルサイズ、推論速度、GPU有無に応じてローカル推論構成を選べます。

出典：[1]

Tauri/Rustを中心にOS統合し、CLIやRaycastから録音・モデル・履歴を外部操作する

HandyはReact/TypeScriptの設定UIと、Rustによるaudio I/O、keyboard event、ML inference、system integrationを組み合わせたTauriアプリです。CLIにはtranscriptionのtoggle、post-processing付きrecording、cancel、hidden startなどが用意され、Raycast extensionからも録音開始・停止、transcript history、dictionary、modelやlanguageの切り替えを操作できます。単独GUIアプリだけではなく、既存のlauncherやhotkey daemonへ組み込める点が拡張性につながっています。

出典：[1]

音声を外部サービスへ送りたくない個人の常用入力や、複数アプリを横断するdictation用途へ

ブラウザ、メール、チャット、IDE、メモなど複数アプリへ日常的に文章を入力し、アプリごとの音声入力機能へ依存したくない場合に向きます。録音とtranscriptionをローカルに置けるため、会話音声を外部Speech APIへ送信しない構成を重視する用途とも相性があります。またCLI操作があるので、デスクトップ環境やWindow Manager側のshortcutへ組み込んだ独自ワークフローを作りたいユーザーにも適しています。

出典：[1]

基本の文字起こしはローカルだが、OptionalなLLM post-processingとOSごとの入力制約は分けて考える

Handy本体のSpeech-to-Textはローカル実行ですが、transcriptを整形するoptional post-processing機能にはOpenAIなどAPI keyを使うproviderやcustom endpointを設定できます。Apple Intelligence向けproviderも実装されています。外部providerを有効にした場合、post-processing対象テキストはそのproviderへ送信され得るため、『完全オフライン』という性質は通常のlocal transcription経路に対するものとして扱う必要があります。

OS統合にも差があります。macOSではmicrophone/accessibility permissionが必要で、Bluetooth microphone利用時は音質モードが切り替わる場合があります。LinuxのWaylandではtext injectionにwtype、dotool、環境によってydotoolなどが必要で、global shortcutもDesktop Environment側で設定するケースがあります。またREADMEでは一部Windows/Linux環境でWhisper model crashが起こる既知問題も案内されています。導入前に対象OSとhardwareで実運用テストを行うのが安全です。ライセンスはMITです。

出典：[1][2][3]