← プロジェクト一覧に戻る

Midscene.js

UIテストを文章で書き、DOMではなく画面のピクセルから操作する。改修のたびにセレクタを直す作業がなくなる

MIT
スター
15.4k
フォーク
1.2k
オープンIssue
103
最終コミット
2026年10月30日

Midscene.jsとは

UIテストは、製品と関係のない理由で壊れます。クラス名が変わった、要素が1階層深くなった、コンポーネントが移動した、といった理由です。Midsceneはセレクタそのものを無くします。手順は文章で書き、要素の位置はモデルが画面の画像から特定し、検証も「その行が強調されている」「レイアウトが崩れていない」のように人が見て分かる内容で書けます。DOMからは届かない場所にも手が届きます。canvasの描画、アイコンだけのボタン、モバイルのネイティブアプリ、別ドメインのフレームなどです。引き換えになるのは1手順あたりの費用と再現性です。各手順が参照ではなくモデルの呼び出しになるため、セレクタなら数秒で終わる一式が同じ時間では終わりません。

Midscene.jsで何ができますか?

  • 要素を特定せず手順を書く — セレクタの代わりに文章を書きます。クラス名の変更やコンポーネントの移動といった改修のたびにテストを直し歩く作業がなくなります。
  • 人が見て分かる内容で検証する — 色や強調、レイアウトについて検証できます。要素の存在だけを確かめるテストでは通ってしまう種類の不具合が対象です。
  • DOMで表現できない部分に届く — canvasの描画、アイコンだけの操作部品、ネイティブアプリ、別ドメインのフレームも、ここではすべて同じ画素として扱えます。
  • 同じ記述をスマートフォンとブラウザに使う — 1つのAPIでWeb、Android、iOS、HarmonyOS、デスクトップを扱えるため、サイトで検証した流れを対応するアプリにも適用できます。
  • 画面から構造化されたデータを取り出す — 問い合わせを書くと、画面の内容が文章ではなくデータとして返ります。APIの無い画面からの取得手段としても使えます。
  • コードを書く前にブラウザで試す — Chrome拡張から自然言語の指示をページに対して実行できるため、テストファイルを1つも書かずに方式を評価できます。

Midscene.jsを選ぶ前に

  • 1手順ごとにモデルを呼ぶため、実行は遅く、手順の数だけ費用がかかり、同じ一式でも結果が毎回同じとは限りません。全ての統合を止めるテストとして使っている場合は影響が出ます。
  • 画面上の位置特定に強い多モーダルモデルが必要です。動作確認済みのモデルは明示されており、その一覧に無い汎用モデルではクリック位置がずれます。

スター推移

8月27日〜10月30日 · +727

14.7k15.4k

よくある質問

Midscene.jsは商用利用できますか?

Midscene.jsはMITライセンスで公開されています。OSI承認のオープンソースライセンスで、商用利用が認められています。

Midscene.jsはどの形で使えますか?

Midscene.jsはローカル実行・セルフホストの形で利用できます。

Midscene.js
AIに聞く
GitHub