Dingo MCPサーバー

概要

mcp_server.pyスクリプトは、FastMCPを使用してDingo用の実験的なModel Context Protocol（MCP）サーバーを提供します。これにより、CursorなどのMCPクライアントがDingoのデータ評価機能とプログラム的に対話できるようになります。

機能

MCPを通じてDingoの評価ロジックを公開
以下のツールを提供：
- run_dingo_evaluation: 指定されたデータに対してルールベースまたはLLMベースの評価を実行
- list_dingo_components: Dingo内で利用可能なルールグループと登録されたLLMモデルをリスト表示
- get_rule_details: 特定のルールの詳細情報を取得
- get_llm_details: 特定のLLMの詳細情報を取得
- get_prompt_details: 特定のプロンプトの詳細情報を取得
- run_quick_evaluation: 高レベルな目標に基づいて簡略化された評価を実行
CursorなどのMCPクライアントを通じた対話を可能にする

インストール

前提条件: GitとPython環境（例：3.8+）がセットアップされていることを確認してください。
リポジトリのクローン: このリポジトリをローカルマシンにクローンします。
```
git clone https://github.com/DataEval/dingo.git
cd dingo
```
依存関係のインストール: FastMCPやその他のDingo要件を含む必要な依存関係をインストールします。requirements.txtファイルの使用を推奨します。
```
pip install -r requirements.txt
# または、最低限：pip install fastmcp
```
Dingoがインポート可能であることを確認: サーバースクリプトを実行する際に、Python環境がクローンしたリポジトリ内のdingoパッケージを見つけられることを確認してください。

サーバーの実行

mcp_server.pyが含まれているディレクトリに移動し、Pythonを使用して実行します：

python mcp_server.py

伝送モード

Dingo MCPサーバーは2つの伝送モードをサポートしています：

STDIO伝送モード：
- 環境変数LOCAL_DEPLOYMENT_MODE=trueを設定することで有効化
- 標準入出力ストリームを使用して通信
- 直接的なローカル実行やSmitheryコンテナ化デプロイメントに適している
- mcp.jsonでcommandとargsを使用して設定
SSE伝送モード：
- デフォルトモード（LOCAL_DEPLOYMENT_MODEが設定されていないか、falseの場合）
- ネットワーク通信にHTTP Server-Sent Eventsを使用
- 起動後に指定されたポートでリッスンし、URL経由でアクセス可能
- mcp.jsonでurlを使用して設定

デプロイメントのニーズに応じて適切な伝送モードを選択してください：

ローカル実行やSmitheryデプロイメントにはSTDIOモードを使用
ネットワークサービスデプロイメントにはSSEモードを使用

SSEモードを使用する場合、スクリプトのmcp.run()呼び出しで引数を使用してサーバーの動作をカスタマイズできます：

# mcp_server.pyでのカスタマイズ例
mcp.run(
    transport="sse",      # 通信プロトコル（sseがデフォルト）
    host="127.0.0.1",     # バインドするネットワークインターフェース（デフォルト：0.0.0.0）
    port=8888,            # リッスンするポート（デフォルト：8000）
    log_level="debug"     # ログの詳細レベル（デフォルト：info）
)

重要: MCPクライアントを設定する際に必要となるため、サーバーが実行されているhostとportをメモしてください。

Cursorとの統合

設定

実行中のDingo MCPサーバーにCursorを接続するには、CursorのMCP設定ファイル（mcp.json）を編集する必要があります。このファイルは通常、Cursorのユーザー設定ディレクトリ（例：~/.cursor/または%USERPROFILE%\.cursor\）にあります。

mcpServersオブジェクト内でDingoサーバーのエントリを追加または変更します。

例1：SSE伝送モード設定：

{
  "mcpServers": {
    // ... その他のサーバー ...
    "dingo_evaluator": {
      "url": "http://127.0.0.1:8888/sse" // <-- 実行中のサーバーのhost、port、transportと一致する必要があります
    }
    // ...
  }
}

例2：STDIO伝送モード設定：

{
  "mcpServers": {
    "dingo_evaluator": {
      "command": "python",
      "args": ["path/to/mcp_server.py"],
      "env": {
        "LOCAL_DEPLOYMENT_MODE": "true",
        "DEFAULT_OUTPUT_DIR": "/path/to/output",
        "DEFAULT_SAVE_DATA": "true",
        "DEFAULT_SAVE_CORRECT": "true",
        "DEFAULT_DATASET_TYPE": "local",
        "OPENAI_API_KEY": "your-api-key",
        "OPENAI_BASE_URL": "https://api.openai.com/v1",
        "OPENAI_MODEL": "gpt-4",
        "LOG_LEVEL": "INFO"
      }
    }
  }
}

SSEモードの場合：urlがmcp_server.pyが使用するように設定されたhost、port、transport（現在URLスキームではsseのみサポート）と正確に一致することを確認してください。mcp.runをカスタマイズしていない場合、デフォルトのURLはhttp://127.0.0.1:8000/sseまたはhttp://0.0.0.0:8000/sseの可能性があります。
STDIOモードの場合：環境変数でLOCAL_DEPLOYMENT_MODEが"true"に設定されていることを確認してください。
mcp.jsonへの変更を保存した後、Cursorを再起動してください。

Cursorでの使用

設定が完了すると、Cursor内でDingoツールを呼び出すことができます：

コンポーネントのリスト表示: "dingo_evaluatorツールを使用して利用可能なDingoコンポーネントをリストしてください。"
評価の実行: "dingo_evaluatorツールを使用してルール評価を実行してください..." または "dingo_evaluatorツールを使用してLLM評価を実行してください..."
詳細の取得: "dingo_evaluatorツールを使用して特定のルール/LLM/プロンプトの詳細を取得してください..."
クイック評価: "dingo_evaluatorツールを使用してファイルを迅速に評価してください..."

Cursorが必要な引数の入力を促します。

ツールリファレンス

`list_dingo_components()`

利用可能なDingoルールグループ、登録されたLLMモデル識別子、およびプロンプト定義をリストします。

引数:
- component_type (Literal["rule_groups", "llm_models", "prompts", "all"]): リストするコンポーネントのタイプ。デフォルト："all"。
- include_details (bool): 各コンポーネントの詳細な説明とメタデータを含めるかどうか。デフォルト：false。
戻り値: Dict[str, List[str]] - component_typeに基づいてrule_groups、llm_models、prompts、および/またはllm_prompt_mappingsを含む辞書。

Cursor使用例:

dingo_evaluatorツールを使用してdingoコンポーネントをリストしてください。

`get_rule_details()`

特定のDingoルールの詳細情報を取得します。

引数:
- rule_name (str): 詳細を取得するルールの名前。
戻り値: ルールの詳細を含む辞書（説明、パラメータ、評価特性を含む）。

Cursor使用例:

Dingo Evaluatorツールを使用して'default'ルールグループの詳細を取得してください。

(Cursorは以下のようなツール呼び出しを提案するはずです)

<use_mcp_tool>
<server_name>dingo_evaluator</server_name>
<tool_name>get_rule_details</tool_name>
<arguments>
{
  "rule_name": "default"
}
</arguments>
</use_mcp_tool>

`get_llm_details()`

特定のDingo LLMの詳細情報を取得します。

引数:
- llm_name (str): 詳細を取得するLLMの名前。
戻り値: LLMの詳細を含む辞書（説明、機能、設定パラメータを含む）。

Cursor使用例:

Dingo Evaluatorツールを使用して'LLMTextQualityModelBase' LLMの詳細を取得してください。

(Cursorは以下のようなツール呼び出しを提案するはずです)

<use_mcp_tool>
<server_name>dingo_evaluator</server_name>
<tool_name>get_llm_details</tool_name>
<arguments>
{
  "llm_name": "LLMTextQualityModelBase"
}
</arguments>
</use_mcp_tool>

`get_prompt_details()`

特定のDingoプロンプトの詳細情報を取得します。

引数:
- prompt_name (str): 詳細を取得するプロンプトの名前。
戻り値: プロンプトの詳細を含む辞書（説明、関連するメトリックタイプ、所属するグループを含む）。

Cursor使用例:

Dingo Evaluatorツールを使用して'PromptTextQuality'プロンプトの詳細を取得してください。

(Cursorは以下のようなツール呼び出しを提案するはずです)

<use_mcp_tool>
<server_name>dingo_evaluator</server_name>
<tool_name>get_prompt_details</tool_name>
<arguments>
{
  "prompt_name": "PromptTextQuality"
}
</arguments>
</use_mcp_tool>

`run_quick_evaluation()`

高レベルな目標に基づいて簡略化されたDingo評価を実行します。

引数:
- input_path (str): 評価するファイルのパス。
- evaluation_goal (str): 評価する内容の説明（例：'不適切なコンテンツをチェック'、'テキスト品質を評価'、'有用性を評価'）。
戻り値: 評価結果の要約または詳細結果へのパス。

Cursor使用例:

Dingo Evaluatorツールを使用してファイル'test/data/test_local_jsonl.jsonl'のテキスト品質を迅速に評価してください。

(Cursorは以下のようなツール呼び出しを提案するはずです)

<use_mcp_tool>
<server_name>dingo_evaluator</server_name>
<tool_name>run_quick_evaluation</tool_name>
<arguments>
{
  "input_path": "test/data/test_local_jsonl.jsonl",
  "evaluation_goal": "テキスト品質を評価し、問題をチェックする"
}
</arguments>
</use_mcp_tool>

`run_dingo_evaluation(...)`

Dingo評価（ルールベースまたはLLMベース）を実行します。

引数:
- input_path (str): 入力ファイルまたはディレクトリのパス（プロジェクトルートからの相対パスまたは絶対パス）。
- evaluation_type (Literal["rule", "llm"]): 評価のタイプ。
- eval_group_name (str): ruleタイプのルールグループ名（デフォルト：""、'default'を使用）。サーバーロジックでは'default'、'sft'、'pretrain'のみが検証されます。llmタイプでは無視されます。
- output_dir (Optional[str]): 出力を保存するディレクトリ。デフォルトはinput_pathの親ディレクトリ内のdingo_output_*サブディレクトリ。
- task_name (Optional[str]): タスクの名前（出力パス生成に使用）。デフォルトはmcp_eval_<uuid>。
- save_data (bool): 詳細なJSONL出力を保存するかどうか（デフォルト：True）。
- save_correct (bool): 正しいデータを保存するかどうか（デフォルト：True）。
- kwargs (dict): 追加のdingo.io.InputArgs用の辞書。一般的な用途：
  - dataset (str): データセットタイプ（例：'local'、'hugging_face'）。input_pathが指定されている場合、デフォルトは'local'。
  - data_format (str): 入力データ形式（例：'json'、'jsonl'、'plaintext'）。可能であればinput_pathの拡張子から推測されます。
  - column_content (str): JSON/JSONLなどの形式では必須 - 評価するテキストを含むキーを指定。
  - column_id、column_prompt、column_image: その他の列マッピング。
  - custom_config (str | dict): JSONコンフィグファイルのパス、JSON文字列、またはLLM評価やカスタムルール設定用の辞書。LLMのAPIキーはここで提供する必要があります。
  - max_workers、batch_size: Dingo実行パラメータ（安定性のためMCPではデフォルトで1）。
戻り値: str - 主要出力ファイルの絶対パス（例：summary.json）。

Cursor使用例（ルールベース）:

Dingo Evaluatorツールを使用してtest/data/test_local_jsonl.jsonlでデフォルトルール評価を実行してください。'content'列を使用することを確認してください。

(Cursorは以下のようなツール呼び出しを提案するはずです)

<use_mcp_tool>
<server_name>dingo_evaluator</server_name>
<tool_name>run_dingo_evaluation</tool_name>
<arguments>
{
  "input_path": "test/data/test_local_jsonl.jsonl",
  "evaluation_type": "rule",
  "eval_group_name": "default",
  "kwargs": {
    "column_content": "content"
    // data_format="jsonl"とdataset="local"は推測されます
  }
}
</arguments>
</use_mcp_tool>

Cursor使用例（LLMベース）:

Dingo Evaluatorツールを使用してtest/data/test_local_jsonl.jsonlでLLM評価を実行してください。'content'列を使用してください。ファイルexamples/mcp/config_self_deployed_llm.jsonを使用して設定してください。

(Cursorは以下のようなツール呼び出しを提案するはずです。LLM評価でcustom_configを使用する場合、eval_group_nameは省略または設定可能です)

<use_mcp_tool>
<server_name>dingo_evaluator</server_name>
<tool_name>run_dingo_evaluation</tool_name>
<arguments>
{
  "input_path": "test/data/test_local_jsonl.jsonl",
  "evaluation_type": "llm",
  "kwargs": {
    "column_content": "content",
    "custom_config": "examples/mcp/config_self_deployed_llm.json"
    // data_format="jsonl"とdataset="local"は推測されます
  }
}
</arguments>
</use_mcp_tool>

APIキーやURLの配置場所を含むcustom_configファイルの構造については、examples/mcp/config_api_llm.json（APIベースLLM用）とexamples/mcp/config_self_deployed_llm.json（セルフホストLLM用）を参照してください。

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Uh oh!