Localito Buddy Support

Language : Japanese / English

Getting started
Localito Buddyの使い方を説明します。

 アプリの起動
macOSはアプリケーションフォルダにあるLocalito Buddyアプリをダブルクリック、Windowsならスタートメニューから起動してください。
初回起動は少し時間がかかります。

 アクセシビリティ
macOSではセキュリティでユーザーに許可が求められます。Loacalito Buddyに必要な許可は以下のとおりです。

ローカルネットワーク使用の許可
LM Studioと通信をするために必要です。許可をクリックしてください。

マイク入力へのアクセス
Localito Buddyには音声認識エンジンが搭載されています。許可することで音声でプロンプト入力が行えます。

キーチェーンアクセス
LM StudioとAPI Authenticationを使ったアクセスをするときに必要になります。管理者パスワードを入れて「常に許可」をクリックしてください。

音声認識の許可
音声認識を利用する場合の許可です。macOS 版の音声入力は Apple Speech framework を使用します。
音声入力は、オンデバイス音声認識が利用可能な場合にのみ有効になります。

アプリ画面の説明
 メイン画面

① チャット履歴表示ボタン
② 選択LLMの表示
③ 新規チャットボタン
④ 設定メニューボタン
⑤ 添付ファイル追加ボタン
⑥ プロンプト入力エリア
⑦ 音声認識入力ボタン
⑧ メッセージ送信ボタン

 チャット履歴管理画面
① 新規チャットボタン
② チャット名変更ボタン
 - ダイアログが出てチャット名を変更できます
③ チャット消去ボタン
 - チャットやRAG、関連ファイルが消去できます

 設定画面
① LM StudioサーバーIPアドレス
 LM Studio側のIPアドレスを入力します
② LM Studio ポート番号入力
③ LM StudioでAuthentification(認証機能)を使う際のAPIキーを管理します
④ LM StudioにインストールされたLLMを選択
⑤ 最大コンテキスト長入力フィールド
⑥ メタプロンプト入力フィールド
⑦ Vision LLM用プリセットプロンプト選択             

⑧ MCPサーバー管理画面
⑨ メニュー言語表示切替
A  音声認識言語切替
B  RAGインデックス再構築ボタン
C  接続テストボタン
D  設定保存ボタン

 

 LM Studioサーバーとの接続

設定画面でLM Studioとの接続設定を行います。LM Studio側に設定されているサーバーアドレスとポート番号を入力します。Localito BuddyアプリとLM Studioが同一マシンにある場合はIPをlocalhostに指定できます。ポート番号のデフォルトは1234ですが他のアプリで使われている場合は別の番号を指定してください。

LM Studio サーバー設定画面

この時点で設定画面の一番下にある「テスト接続」ボタン(英語メニューではTest Connection ボタン)を押してみましょう。画面に「接続成功」とサクッと出れば成功です。失敗した場合はもう一度LM StudioのIPアドレスとポート番号を確かめてください。成功したら「保存」ボタンを押すのをお忘れ無く!

 使うLLMを設定する
LM StudioにダウンロードしてあるLLMを選択してみましょう。テスト接続に成功していれば使用するLLMの項目にすでにAIモデルが表示されています。クリックすればモデル一覧が表示され選択することができます。選択後はメイン画面の上部にモデル名が表示されます。

各モデルにはアイコンがつくことがありますがこれは
絵のアイコン: 画像入力対応
工具のアイコン: Tool Use 対応ということを意味します

アプリ起動後にこのモデル選択をするときは必ずテスト接続をしてください。うっかりモデル選択をしないでメッセージ送信すると前回使ったモデルを使おうとします。

 メッセージの送信
それではメイン画面の下部にあるテキスト入力欄にメッセージを入れて送信ボタンを押してみましょう。メッセージがメイン画面に表示されその下に推論中…と出てきます。しばらくすればLM Studioから回答が返ってきます。
回答はストリームで流れてきて最後に整形して出力されます。まれに回答がバグってメッセージが止まらなくなったり途中で止めたいときはStopボタンが押せます。

音声認識による入力
本アプリには音声認識エンジンが搭載されています。メッセージ入力欄右側のマイクアイコンをクリックすると音声認識機能が働きます。Stopをクリックすれば認識文がメッセージ入力欄に書き込まれます。認識しない場合はOS側のマイク入力、音声レベルをチェックしてみてください。

音声認識言語の切り替えは設定画面から行います。音声認識モデルの切り替えに1〜2秒ほどかかります。
音声データは文字に変換後すぐに破棄されます。

チャット履歴管理
メイン画面左上のアイコンをクリックするとチャット履歴管理エリアが現れます。ここにチャット履歴が保存されます。チャットタイトルはAIが自動で決めてくれます。ユーザーからの初回質問と回答内容から判断します。動作の重いLLMを使った場合はタイムアウトにより「Untitled_ +日付」のような表記になります。

タイトルを変えたい場合は②のタイトル変更ボタンを押します。ダイアログが出て名前を変更します。
チャットを消したい場合は③のゴミ箱ボタンを押します。確認のためのダイアログが出ます。チャットの消去はチャット内容、RAGデータ、添付ファイルなど関連するもの全てが消去されます。


高度な利用

 添付ファイルからRAG生成
LLMが持つ知識だけで無くユーザー側からファイルを追加することでその内容を元にしたチャットを行うことができます。
添付ファイルを使うにはメッセージ入力エリア左側にあるアイコンをクリックしてください。ファイル選択画面が現れます。

 対応ファイル
PDF、テキスト、リッチテキスト、Word、Excel、CSV、HTML、Markdown、EPUB、JSON、JPEG、PNG、TIFF

ファイルを選択すると読込が始まりRAGデータベースを構築します。RAG構築が終了するとチャット画面に添付されたファイル名が表示されます。

添付したファイルはチャットに紐づいて内部にコピーされます。チャット履歴から過去のチャットを選択したときには添付ファイルがチャットエリア上部に表示されます。ファイル名をクリックするとそのファイルタイプに紐づいたアプリが開き、ファイル内容を確認することができます。
添付ファイルは消去することも可能でファイル表示右側にあるアイコンをクリックするとダイアログが出て削除するかどうか訊いてきます。消去されるファイルはアプリ側にコピーされたファイルでオリジナルを消去することではありません。またファイルを消去してもRAGデータベースには影響しません。

 Vision LLMについて
ファイルにある画像や図表を解析し言語化するLLMをVision LLMといいます。このモデルを使うことでテキスト化されていない情報をRAGに取り込むことができます。またフォント化されていない文字はOCRとして認識させることも可能です。
使用するには設定画面にある「使用するLLM」にあるドロップダウンリストで絵のアイコンがあるものを選択します。
ただし絵のアイコンが表示されたLLMでもうまく動作しないこともあるのでその際にはご連絡ください。
Vision LLMを適切に使うためのプリセットが用意されています。設定画面の「Vision 解析モード」のセットリストからユーザーが欲しい情報に近いものを選択します。選択肢には
・一般(軽くなんでも説明)
・チラシ・広告(商品/価格抽出)
・文章(構造化)
・図面・レイアウト
・図表一覧(概要)
・図表読み取り(数値・比較)
・手書きメモ
・レシート
などがあります。ユーザーが設定するカスタムプロンプトもあります。

読取が始まると「Vision 解析中… + ファイル名 + ページ数」の表記が現れます。

 訂正辞書
VisionLLMでOCR代わりに文字を認識させると間違うこともあります。Localito Buddyはハルシネーションを抑えるために少々頑固な造りになっており、誤字を指摘しても直してくれないことがあります。それを解決する機能が訂正辞書(簡易)です。プロンプトに
 訂正前の単語 => 訂正後の単語
 訂正前の単語 -> 訂正後の単語
と矢印を使ったり
 正しくは: 訂正前の単語 訂正後の単語
 実際は 訂正前の単語 訂正後の単語
と書いて送信すると以後訂正された状態を保つことができます。
LLMによっては「本当は〇〇なのにあなたが△△と言ったからそうしました」みたいな捨て台詞を吐くことがありますがご容赦ください。

 マルチモーダルRAG
PDF + VisionLLMでファイルにあるテキストと画像や図表の分析結果を組み合わせたRAGを自動で構成します。この機能により添付ファイルに関してより正確な情報を引き出すことができます。

 LM Studio 認証機能(Authentication)
LM Studioが発行したAPIキーをアプリ側に登録することによりアクセス制御が可能になります。設定画面のAPIキー項目で設定します。

APIキー入力フィールド: APIキーを入力します
保存アイコン: 入力したキーを保存します
ゴミ箱アイコン: 登録したキーを消去します
確認リロードアイコン: キーが保存されているかどうかチェックします
キートークン状態表示: キーが登録されていない場合はToken empty、保存されている場合はToken saved と表示されます

APIキーは保存するとセキュリティのため入力欄には表示されなくなります。APIキーはOSが提供する専用の安全なキーストアに保存されます。macOSならキーチェーン、Windowsなら資格情報マネージャーに暗号化されて保存します。アプリ側には保存されません。

 MCPサーバーの利用
LM Studio側に登録してあるMCPサーバーをLocalito Buddy側から呼び出して使うことができます。

※この機能はローカルLLM利用の範疇を超えることがありますので使用には十分注意してください。

 MCPサーバー利用条件
・LM Studio認証機能が設定されアプリ側でも有効であること
・LM Studio側のチャットでも動作すること
・LM Studio側で以下のサーバー設定がなされていること
 Require Authentication On
 Allow-per-request MCPs On
 Allow calling servers from mcp.json On
 CORSを有効にする On

LM Studioサーバー設定画面

 Localito Buddy側の設定
設定画面のMCP項目を使います
MCP IDとあるフィールドにLM Studioで設定されている名前をそのまま打ち込んでください。
例えば mcp/sandbox と表記があればフィールドにmcp/sandboxと入力してすぐ下の+ボタンをクリックします。これで登録は完了です。MCPサーバー登録の解除はゴミ箱アイコンをクリックします。
利用するには使うMCPサーバーのチェックボックスにチェックを入れmcp tools enabledのトグルスイッチをOnにします。
これで利用可能にはなりますが実際使うかどうかはLLMによるところもありますのでプロンプトで明示的に使うよう促すやり方もあります。

MCPサーバーを使わないときはトグルスイッチをoffにしたりチャットと内容と関係ないMCPサーバーのチェックを外すことで予期しない動作を防ぐことができます。

 ライセンスについて
Localito Buddy アプリは全機能をトライアルで使うことができます。(チャット履歴は2件まで)アプリ内から購入することで制限を外すことができます。
設定画面にあるライセンスの項目でUnlockボタンをクリックすることで購入手続きが始まります。

 サポート連絡先
メールにてサポートを承ります
 support_mdx@m-designx.com

Localito Buddy product site : https://m-designx.com/localito-buddy/
Localito Buddy Privacy Policy : https://m-designx.com/privacy-policy-for-localito-buddy/