Skip to content

README.ja-JP.md

Latest commit

 

History

History
223 lines (156 loc) · 12 KB

README.ja-JP.md

File metadata and controls

223 lines (156 loc) · 12 KB
Raw

Language: English | 简体中文 | 日本語

OpenGUI バナー

Claude または Codex でブートストラップ マルチロールオペレーターシステム 最大12時間のタスク 推奨モデルプロファイル 手動セットアップドキュメント

OpenGUI が実機 Android エージェントの構築やテストに役立った場合は、GitHub Star でプロジェクトの成長を応援してください。

📣 最近の更新

  • [2026.5.7] README、バックエンド起動出力、Android 設定画面、初回タスク成功後の軽い案内に GitHub Star への導線を追加しました。
  • [2026.5.7] Docker ベースのバックエンド起動時に、一般的な PostgreSQL / Redis ポート競合を避けられるようローカル起動フローを強化しました。
  • [2026.5.2] ソース公開版として読みやすくするため、公開コードコメントと開発者向け文言を英語化しました。
  • [2026.5.1] バックエンドのオンボーディングとして、.env.example、起動時チェック、graph agent 向け VLM 環境変数設定を整備しました。
  • [2026.4.30] 日本語 README を追加し、ライセンスを BUSL-1.1 に切り替え、公開 Android UI とプロンプトを英語化しました。

OpenGUI でできること

OpenGUI は、AI が実際の Android スマートフォンを操作できるようにするシステムです。

このリポジトリは4つの実用的な方法で利用できます:

  • 主要な Android アプリを操作: X、Reddit、Hacker News、Telegram、WeChat、Weibo、小紅書などの Android アプリ上で、AI にモバイルタスクを実行させることができます。
  • 組み込みワークフローを実行: バックエンド、Android クライアント、スタンバイディスパッチパス、組み込みタスク機能一式がすぐに実行可能な状態で含まれています。
  • Claude や Codex にブートストラップさせる: skills/open-gui-bootstrap/SKILL.md をモデルに指示し、目的を自然言語で説明すれば、セットアップ、ビルド、インストール、ローカルデバッグをモデルが処理します。
  • リモートワーカーとしてスマートフォンを操作: Feishu、Telegram、REST API 経由でタスクをディスパッチし、デバイスをスタンバイ状態に保ち、バックエンドから構造化された結果を受け取ることができます。

特徴

  • 長時間タスク向けに設計: OpenGUI は、数時間に及ぶモバイルワークフローに対応しており、進捗、レビュー、リカバリーをシステム内で管理します。
  • タスクの継続実行: Plan Supervisor がタスクの状態と継続を管理し、Executor Graph がスクリーンショット、ビジョン、アクション、ユーザー呼び出しのループをデバイスのリアルタイム状態上で実行し、Summarizer が構造化された結果で実行を完了します。
  • スタンバイ待機: スタンバイディスパッチパスにより、Feishu、Telegram、REST エントリーポイントを通じてデバイスがリモートワークを受信できます。
  • ロール別のモデル割り当て: モデルルーティングにより、プランニングと VLM 実行を分離し、チームがジョブごとにプロバイダーを選択できます。
  • 実際のモバイルワークフローに基づいた設計: グラフ、デバイス実行パス、モデル分割がソースツリーに組み込まれています。

OpenGUI が異なる理由

OpenGUI は、明示的なオーケストレーションレイヤーを持つモバイルオペレーターシステムとして構築されています。

ソースコードは現在、以下のコンポーネントを公開しています:

  • server/apps/backend/src/modules/graph-agent/graph/mobile-agent.graph.ts — メイングラフ
  • server/apps/backend/src/modules/graph-agent/graph/executor.graph.ts — デバイス側の実行ループ
  • server/apps/backend/src/common/ws/standby.gateway.ts — スタンバイデバイスディスパッチ
  • client/core_network/.../StandbySocketManager.kt — 永続的なデバイススタンバイ接続
  • client/core_accessibility/.../GestureService.kt — Android 側のアクション実行
観点 一般的なスマホエージェントデモ OpenGUI
実行モデル 短いインタラクティブループ メイングラフ + エグゼキューターサブグラフ
タスク状態 通常ローカルでセッション単位 バックエンドグラフでタスク状態を管理
デバイスパス 多くの場合ノートPC主導の制御 スタンバイ・実行ソケット付きの Android クライアント
モデル使用 1つのモデルがほぼ全てを処理 プランニングと VLM パスをプロバイダー間で分割可能
リモート操作 オプションのアドオン Feishu、Telegram、REST API、スタンバイディスパッチがバックエンドに組み込み済み

代表的なユースケース

  • X を開いてトピックに関する最近の投稿を収集する
  • 実機で Reddit や Hacker News のスレッドを読んで要約する
  • Feishu や Telegram から Android タスクをリモートでトリガーする
  • Android デバイス上で反復的なモバイルワークフローを実行する
  • 状態管理、レビュー、リカバリーが必要な長時間モバイルワークフローを実行する

OpenGUI の使い方

1. Claude や Codex を使う場合

skills/open-gui-bootstrap/SKILL.md から始めてください。

手順はシンプルです:

  1. Claude または Codex にスキルを指示する
  2. タスクを自然言語で説明する
  3. バックエンドのブートストラップ、APK ビルド、インストール、ローカルデバッグをモデルに任せる

以下の場合のみ操作が必要です:

  • スマートフォンの接続またはエミュレーターの起動
  • USB デバッグの承認
  • AccessibilityService の有効化
  • オーバーレイまたはバッテリー権限の付与
  • API キーまたはボット認証情報の入力

推奨プロファイル:

ハイパフォーマンスプロファイル

プランニング、監視、レビュー、ビジョンのすべてに最新の Claude Opus モデルファミリーを使用し、最高の実行品質を求める場合に推奨します。

最も簡単に最高の実行品質を得られる方法ですが、最もコストが高いパスです。

コスト削減ミックスプロファイル

Planner と Supervisor などのテキスト側ロールには Qwen 3.6 Plus を使用し、VLM 側には Doubao Pro を使用します。

タスクの長さ、スクリーンショット量、トークンミックスにもよりますが、全 Opus 構成と比較してモデルコストを約 10倍〜15倍 削減できることが多いです。

推奨プロンプト:

実行する

Read ./skills/open-gui-bootstrap/SKILL.md and help me run OpenGUI. Only ask me for phone-side actions.

Claude Opus をすべてに使用する

Read ./skills/open-gui-bootstrap/SKILL.md and bootstrap OpenGUI with the latest Claude Opus model family for planning, supervision, review, and vision.

Qwen + Doubao でコスト削減する

Read ./skills/open-gui-bootstrap/SKILL.md and set up OpenGUI with Qwen 3.6 Plus for Planner and Supervisor, and Doubao Pro for VLM execution.

自分の API を使用する

Read ./skills/open-gui-bootstrap/SKILL.md and use my existing model APIs to get OpenGUI working.

2. 手動セットアップ

リポジトリのスクリプトを直接使用します:

cd server
./start.sh
cd client
./start.sh

参考ドキュメント:

システム構成

flowchart LR
    U["ユーザーまたは IM コマンド"] --> BS["ブートストラップスキル / API / IM エントリー"]
    BS --> SP["プランスーパーバイザー"]

    SP --> EX["エグゼキューターグラフ"]
    EX --> AC["Android クライアント"]
    AC --> GX["AccessibilityService + スクリーンショット + アクション"]
    EX --> RV["実行レビューとリトライ"]
    RV --> SP

    SP --> SM["サマライザー"]
    SM --> SR["構造化された結果"]

    RD["Feishu / Telegram / REST API"] --> ST["スタンバイゲートウェイ"]
    ST --> AC

    SP --> MR["モデルルーティング"]
    MR --> MA["Claude / GPT / Gemini / Kimi / MiniMax / 互換"]
    EX --> MR
Loading

コアランタイムコンポーネント

  • バックエンドグラフ: server/apps/backend/src/modules/graph-agent/graph/
  • タスク API: server/apps/backend/src/modules/task/task.controller.ts
  • スタンバイディスパッチ: server/apps/backend/src/common/ws/standby.gateway.ts
  • Android スタンバイ接続: client/core_network/src/main/java/com/coremate/opengui/network/websocket/StandbySocketManager.kt
  • Android 実行パス: client/core_accessibility/src/main/java/com/coremate/opengui/accessibility/GestureService.kt

ドキュメント

コミュニティ / サポート

OpenGUI が役に立った場合、以下の方法でサポートいただけると助かります:

  • リポジトリにスターを付ける
  • バグや機能リクエストの Issue を作成する
  • 実際のユースケースやデプロイメントのフィードバックを共有する
  • ドキュメント、インテグレーション、修正のコントリビューション
  • モバイル AI エージェントを構築しているチームにプロジェクトを紹介する

ライセンス

OpenGUI は Business Source License 1.1 (BUSL-1.1) の下でソース公開されています。

非本番目的でのソースのコピー、修正、配布、使用が可能です。本番使用、商用使用、ホスティングサービス、商用製品への統合には、Core-Mate からの別途商用ライセンスが必要です。

このバージョンについて:

  • 変更日: 2030-04-29
  • 変更ライセンス: Apache License, Version 2.0

変更日まではパブリックソースですが、OSI 認定のオープンソースではありません。

LICENSE を参照してください。