Localito Buddy Support
Language : Japanese / English
Contents
Getting started
アプリの起動
アクセシビリティ
アプリ画面の説明
LM Studioサーバーと接続
使うLLMを設定する
メッセージの送信
音声認識による入力
チャット履歴管理
高度な利用
添付ファイルからRAG生成
VisionLLMについて
マルチモーダルRAG
LM Studio 認証機能
MCPサーバーの利用
Getting started
Localito Buddyの使い方を説明します。
アプリの起動
macOSはアプリケーションフォルダにあるLocalito Buddyアプリをダブルクリック、Windowsならスタートメニューから起動してください。
初回起動は少し時間がかかります。
アクセシビリティ
macOSではセキュリティでユーザーに許可が求められます。Loacalito Buddyに必要な許可は以下のとおりです。
アプリ画面の説明
メイン画面
① チャット履歴表示ボタン
② 選択LLMの表示
③ 新規チャットボタン
④ 設定メニューボタン
⑤ 添付ファイル追加ボタン
⑥ プロンプト入力エリア
⑦ 音声認識入力ボタン
⑧ メッセージ送信ボタン
LM Studioサーバーとの接続
設定画面でLM Studioとの接続設定を行います。LM Studio側に設定されているサーバーアドレスとポート番号を入力します。Localito BuddyアプリとLM Studioが同一マシンにある場合はIPをlocalhostに指定できます。ポート番号のデフォルトは1234ですが他のアプリで使われている場合は別の番号を指定してください。
この時点で設定画面の一番下にある「テスト接続」ボタン(英語メニューではTest Connection ボタン)を押してみましょう。画面に「接続成功」とサクッと出れば成功です。失敗した場合はもう一度LM StudioのIPアドレスとポート番号を確かめてください。成功したら「保存」ボタンを押すのをお忘れ無く!
使うLLMを設定する
LM StudioにダウンロードしてあるLLMを選択してみましょう。テスト接続に成功していれば使用するLLMの項目にすでにAIモデルが表示されています。クリックすればモデル一覧が表示され選択することができます。選択後はメイン画面の上部にモデル名が表示されます。
メッセージの送信
それではメイン画面の下部にあるテキスト入力欄にメッセージを入れて送信ボタンを押してみましょう。メッセージがメイン画面に表示されその下に推論中…と出てきます。しばらくすればLM Studioから回答が返ってきます。
回答はストリームで流れてきて最後に整形して出力されます。まれに回答がバグってメッセージが止まらなくなったり途中で止めたいときはStopボタンが押せます。
チャット履歴管理
メイン画面左上のアイコンをクリックするとチャット履歴管理エリアが現れます。ここにチャット履歴が保存されます。チャットタイトルはAIが自動で決めてくれます。ユーザーからの初回質問と回答内容から判断します。動作の重いLLMを使った場合はタイムアウトにより「Untitled_ +日付」のような表記になります。
タイトルを変えたい場合は②のタイトル変更ボタンを押します。ダイアログが出て名前を変更します。
チャットを消したい場合は③のゴミ箱ボタンを押します。確認のためのダイアログが出ます。チャットの消去はチャット内容、RAGデータ、添付ファイルなど関連するもの全てが消去されます。
高度な利用
添付ファイルからRAG生成
LLMが持つ知識だけで無くユーザー側からファイルを追加することでその内容を元にしたチャットを行うことができます。
添付ファイルを使うにはメッセージ入力エリア左側にあるアイコンをクリックしてください。ファイル選択画面が現れます。
対応ファイル
PDF、テキスト、リッチテキスト、Word、Excel、CSV、HTML、Markdown、EPUB、JSON、JPEG、PNG、TIFF
ファイルを選択すると読込が始まりRAGデータベースを構築します。RAG構築が終了するとチャット画面に添付されたファイル名が表示されます。
添付したファイルはチャットに紐づいて内部にコピーされます。チャット履歴から過去のチャットを選択したときには添付ファイルがチャットエリア上部に表示されます。ファイル名をクリックするとそのファイルタイプに紐づいたアプリが開き、ファイル内容を確認することができます。
添付ファイルは消去することも可能でファイル表示右側にあるアイコンをクリックするとダイアログが出て削除するかどうか訊いてきます。消去されるファイルはアプリ側にコピーされたファイルでオリジナルを消去することではありません。またファイルを消去してもRAGデータベースには影響しません。
Vision LLMについて
ファイルにある画像や図表を解析し言語化するLLMをVision LLMといいます。このモデルを使うことでテキスト化されていない情報をRAGに取り込むことができます。またフォント化されていない文字はOCRとして認識させることも可能です。
使用するには設定画面にある「使用するLLM」にあるドロップダウンリストで絵のアイコンがあるものを選択します。
ただし絵のアイコンが表示されたLLMでもうまく動作しないこともあるのでその際にはご連絡ください。
Vision LLMを適切に使うためのプリセットが用意されています。設定画面の「Vision 解析モード」のセットリストからユーザーが欲しい情報に近いものを選択します。選択肢には
・一般(軽くなんでも説明)
・チラシ・広告(商品/価格抽出)
・文章(構造化)
・図面・レイアウト
・図表一覧(概要)
・図表読み取り(数値・比較)
・手書きメモ
・レシート
などがあります。ユーザーが設定するカスタムプロンプトもあります。
読取が始まると「Vision 解析中… + ファイル名 + ページ数」の表記が現れます。
訂正辞書
VisionLLMでOCR代わりに文字を認識させると間違うこともあります。Localito Buddyはハルシネーションを抑えるために少々頑固な造りになっており、誤字を指摘しても直してくれないことがあります。それを解決する機能が訂正辞書(簡易)です。プロンプトに
訂正前の単語 => 訂正後の単語
訂正前の単語 -> 訂正後の単語
と矢印を使ったり
正しくは: 訂正前の単語 訂正後の単語
実際は 訂正前の単語 訂正後の単語
と書いて送信すると以後訂正された状態を保つことができます。
LLMによっては「本当は〇〇なのにあなたが△△と言ったからそうしました」みたいな捨て台詞を吐くことがありますがご容赦ください。
マルチモーダルRAG
PDF + VisionLLMでファイルにあるテキストと画像や図表の分析結果を組み合わせたRAGを自動で構成します。この機能により添付ファイルに関してより正確な情報を引き出すことができます。
LM Studio 認証機能(Authentication)
LM Studioが発行したAPIキーをアプリ側に登録することによりアクセス制御が可能になります。設定画面のAPIキー項目で設定します。
APIキー入力フィールド: APIキーを入力します
保存アイコン: 入力したキーを保存します
ゴミ箱アイコン: 登録したキーを消去します
確認リロードアイコン: キーが保存されているかどうかチェックします
キートークン状態表示: キーが登録されていない場合はToken empty、保存されている場合はToken saved と表示されます
APIキーは保存するとセキュリティのため入力欄には表示されなくなります。APIキーはOSが提供する専用の安全なキーストアに保存されます。macOSならキーチェーン、Windowsなら資格情報マネージャーに暗号化されて保存します。アプリ側には保存されません。
MCPサーバーの利用
LM Studio側に登録してあるMCPサーバーをLocalito Buddy側から呼び出して使うことができます。
※この機能はローカルLLM利用の範疇を超えることがありますので使用には十分注意してください。
MCPサーバー利用条件
・LM Studio認証機能が設定されアプリ側でも有効であること
・LM Studio側のチャットでも動作すること
・LM Studio側で以下のサーバー設定がなされていること
Require Authentication On
Allow-per-request MCPs On
Allow calling servers from mcp.json On
CORSを有効にする On
Localito Buddy側の設定
設定画面のMCP項目を使います
MCP IDとあるフィールドにLM Studioで設定されている名前をそのまま打ち込んでください。
例えば mcp/sandbox と表記があればフィールドにmcp/sandboxと入力してすぐ下の+ボタンをクリックします。これで登録は完了です。MCPサーバー登録の解除はゴミ箱アイコンをクリックします。
利用するには使うMCPサーバーのチェックボックスにチェックを入れmcp tools enabledのトグルスイッチをOnにします。
これで利用可能にはなりますが実際使うかどうかはLLMによるところもありますのでプロンプトで明示的に使うよう促すやり方もあります。
MCPサーバーを使わないときはトグルスイッチをoffにしたりチャットと内容と関係ないMCPサーバーのチェックを外すことで予期しない動作を防ぐことができます。
ライセンスについて
Localito Buddy アプリは全機能をトライアルで使うことができます。(チャット履歴は2件まで)アプリ内から購入することで制限を外すことができます。
設定画面にあるライセンスの項目でUnlockボタンをクリックすることで購入手続きが始まります。
サポート連絡先
メールにてサポートを承ります
support_mdx@m-designx.com
Localito Buddy product site : https://m-designx.com/localito-buddy/
Localito Buddy Privacy Policy : https://m-designx.com/privacy-policy-for-localito-buddy/