Vercelの「agent-desktop」を試してみた｜AIがパソコンのアプリを裏で操作するツール
Vercelの「agent-desktop」を試してみた｜AIがパソコンのアプリを裏で操作するツール
この記事の結論
agent-desktop（エージェント・デスクトップ）は、AIにパソコンのアプリを操作させるための無料ツールです。2026年10月31日にVercel Labsが公開しました。
実際にMacで試したところ、AIが計算機のボタンを押して答えを出し、その結果をテキストエディットに日本語で書き込むところまで、問題なく動きました。人が別のアプリで文字を打っている間も裏で操作が進み、こちらの入力が途切れることはありませんでした。
ただし、Claudeの「Computer Use」もすでに裏で操作できるため、Claudeを使っている人にとっての差は大きくありません。agent-desktopの強みは、Claude以外のAIからも使えることと、AIを使わずにコマンドだけでも動かせることです。そのため「自社の仕組みにパソコン操作の自動化を組み込みたい」という場面で特に役立つツールだと感じました。
agent-desktopとは？
agent-desktopは、Webサービスの開発基盤で知られるVercel社の研究部門「Vercel Labs」が公開したツールです。ひとことで言うと、AIがパソコンのアプリを見て、ボタンを押したり文字を入れたりするための道具です。
おもな特徴は次のとおりです。
料金は無料です（オープンソースで、商用利用もできるApache-2.0ライセンス）
Mac・Windows・Linuxで使えます
インストールはコマンド1行で済みます（npm install -g agent-desktop）
Claude Code、Codex、Cursorなど、いろいろなAIエージェントから呼び出せます
なお、Webページの操作は対象外です。ブラウザの操作には、姉妹ツールの「agent-browser」が用意されています。
しくみ：画面の「部品の一覧」を読んで操作する
AIにパソコンを操作させる方法としては、これまで「画面のスクリーンショットを撮って、AIが画像を見ながら操作する」やり方がよく知られていました。
agent-desktopはスクリーンショットを使いません。代わりに、パソコンのOSが持っている「アクセシビリティ」という仕組みを使います。アクセシビリティは、もともと目の不自由な方が読み上げソフトでパソコンを使えるように用意されているもので、「この画面にはこのボタンとこの入力欄がある」という情報をアプリから受け取れます。
agent-desktopは、この部品の一覧に番号を付けてAIに渡します。AIは「◯番のボタンを押して」と指示するだけで操作でき、操作のあとはもう一度一覧を取り直して、結果が正しいかを確かめます。
検証した環境
パソコン：Mac（Apple Silicon）
agent-desktop：バージョン1.2.0
AIエージェント：Claude Code
検証日：2026年11月6日
実際に試してみた
1. インストールとMacの権限設定
インストールはターミナルでコマンドを1行打つだけで、2秒ほどで終わりました。
次に、Macの「アクセシビリティ」の許可を確認します。agent-desktopには権限を確認するコマンドがあり、許可が足りないときは設定画面まで開いてくれます。
今回の環境ではすでに許可が出ていたので、すぐに次へ進めました。
2. まずは計算機で「読む」「押す」を試す
最初は、壊れても困らない計算機アプリで試しました。
ひとつ目のつまずきは、計算機を起動した直後に画面の読み取りを実行したら「ウィンドウが見つからない」というエラーが出たことです。アプリのウィンドウが開ききる前に読みに行ってしまったのが原因で、少し待ってからやり直すと問題なく読み取れました。エラーメッセージの中に「ウィンドウが出るまで待つか、別のコマンドで確認して」と対処法まで書かれていたのは親切でした。
読み取りに成功すると、計算機のボタン30個が「7」「乗算」「計算実行」のように日本語の名前付きで返ってきました。Macの表示言語が日本語なので、部品の名前もそのまま日本語になります。
そのボタンを番号で指定して「12 × 34 =」と押していくと、計算機に正しく「408」と表示されました。さらにもう一度画面を読み取ると、表示欄の「408」も文字として受け取れました。画像から文字を読み取るわけではないので、読み間違いの心配がありません。
3. Claude Codeに計算機を任せてみる
ここまでは人がコマンドを打っていましたが、本来の使い方は「AIに自分で操作させる」ことです。公式が用意している手順書（スキル）をClaude Codeに入れて試しました。
ここで2つ目のつまずきがありました。スキルを入れるときに「どのAIエージェントに入れますか？」という選択画面が出るのですが、一覧が長く、Claude Codeが最初は表示されていません。思わず「間違えたかな？？」と声が出ました。実際、Claude Codeを選ばないまま進めてしまい、Claude Code用の場所にはスキルが入りませんでした。選択画面で「claude」と打って絞り込み、スペースキーで選んでから確定するのが正解です。今回は、入ったスキルをClaude Code用のフォルダにコピーして対応しました。
準備ができたら、Claude Codeに次のようにお願いしました。
Claude Codeは約20秒で「22.03571429」と答えました。計算機の表示どおりで、正解です。操作のあとに画面を読み直して式と結果を確認する、という流れも自分でこなしていました。
4. 2つのアプリをまたいで、日本語を書き込む
次は少し実務に近い作業として、「計算機で980×3を計算して、その結果をテキストエディットに日本語の文章で書き込む」とお願いしました。
約1分で、テキストエディットに「本日の合計金額は 2,940 円です。」と入りました。途中でテキストエディットが「ファイルを開く」画面を出してきましたが、Claude Codeは自分でメニューから「新規」を選んで進めていました。
日本語の入れ方にも特徴があります。キーボードで1文字ずつ打つのではなく、入力欄に文章を直接書き込む方法（set-value）が使われていました。日本語の変換を通さないため、変換ミスが起きません。
ひとつ注意したいのは、この書き込み方は入力欄の中身を丸ごと置き換える仕組みだという点です。あとから文章を追記したときも、Claude Codeは「元の文章＋追記分」の全文を書き直していました。短いメモなら問題ありませんが、長い文書で使うときは気をつけたほうがよさそうです。
5. 人が作業している裏で動かしてみる
agent-desktopの売りのひとつは、人がパソコンを使っている間も、AIが裏でアプリを操作できることです。
Claude Codeに「7777 ÷ 7 を計算して、テキストエディットに追記して」とお願いし、送信したらすぐにメモアプリへ移って文字を打ち続けました。
結果、19秒でテキストエディットに「（検算：1,111）」が追記されました。その間、メモアプリへの入力はまったく邪魔されず、計算機やテキストエディットが勝手に前に出てくることもありませんでした。正直な感想は「普通にタイピングできました」です。
6. Slackのような、純正以外のアプリはどうか
最後に、Apple純正ではないアプリとしてSlackを試しました。
1回目は失敗しました。Slackを全画面表示にしていたため、別のデスクトップにあるアプリとして扱われ、agent-desktopからは見えなかったようです。全画面を解除して今のデスクトップに出すと、サイドバーのチャンネル名を17秒で正しく読み取れました。
「裏で動ける」のは、あくまで今のデスクトップにあるウィンドウまで、と考えておくとよさそうです。
ClaudeのComputer Useと何が違うの？
検証しながら、いちばん引っかかったのがここでした。正直、最初は「実際に見れるComputer Useよりメリットがあるのはどんなことか、ピンときていない」状態でした。
当社では以前、ClaudeのComputer Use（バックグラウンドで動くもの）も検証しています。そのときも、Claudeは画面の座標ではなくボタンそのものを押していて、裏で動いている間に別のアプリで文字を打っても、入力が途切れることはありませんでした。つまり「裏で動く」「押し間違えにくい」という点は、agent-desktopだけの特徴ではありません。
そのうえで違いを整理すると、次のようになります。
使えるAIを選ばない：Computer UseはClaudeの機能ですが、agent-desktopはClaude Code、Codex、Cursorなど、いろいろなAIから使えます。
AIがなくても動かせる：今回の前半のように、人がコマンドを打つだけでも操作できます。結果が文字データで返ってくるので、自社のシステムやちょっとした自動化の仕組みに組み込みやすくなっています。
無料で、Mac以外でも動く：オープンソースなので費用がかからず、WindowsやLinuxにも対応しています。
Claudeをすでに使っている方なら、Computer Useで十分なことが多いはずです。一方で、Claude以外のAIを使っている方や、「パソコンの操作を自動化する仕組みを自分たちで作りたい」という方には、agent-desktopが選択肢になります。
どんなことに使えそう？
今回の検証で確かめられたのは、「アプリのボタンを押す」「表示された値を読む」「入力欄に文字を入れる」の3つが、人の作業を邪魔せずにできることです。
これを組み合わせると、たとえば次のような使い方が考えられます（今回はここまでは試していないため、あくまで想定です）。
毎日同じ手順で行っている、パソコンアプリへの入力や転記
あるアプリに表示された数字を読み取って、別のアプリに書き写す作業
社内で使っている、外部とつなぐ仕組み（API）がない古いアプリの操作
使うときの注意点
部品の情報を出さないアプリは操作できません：アクセシビリティに対応していないアプリは見えません。
全画面表示や別のデスクトップにあるアプリは見えません：今のデスクトップに出しておく必要があります。
文字の書き込みは全文の置き換え：長い文書に追記するときは、内容が消えないか注意が必要です。
権限の大きいツールです：スキルを入れる画面でも、外部のセキュリティ評価で「中程度のリスク」と表示されていました。パソコンを操作できる以上、大事なデータのあるアプリで試すときは慎重に進めるのがおすすめです。
よくある質問
agent-desktopは無料で使えますか？
はい、無料です。オープンソースで公開されていて、商用利用もできるライセンス（Apache-2.0）です。
プログラミングの知識は必要ですか？
インストールにはターミナルでコマンドを打つ必要があります。ただ、AIエージェントと組み合わせれば、そのあとの操作は「計算機で◯◯を計算して」のように日本語でお願いするだけで進められました。
Windowsでも使えますか？
公式にはMac・Windows・Linuxに対応しています。今回の検証はMacで行いました。
日本語のアプリでも使えますか？
はい。Macの表示が日本語の場合、ボタンの名前も「計算実行」「乗算」のように日本語で取得できました。日本語の文章の書き込みも問題なくできました。
Webサイトの操作にも使えますか？
agent-desktopはWebページの操作には対応していません。ブラウザの操作には、同じVercel Labsの「agent-browser」が用意されています。
まとめ
agent-desktopは、AIがパソコンのアプリを「部品の一覧」を見ながら操作する無料ツールです。計算機やテキストエディットでの操作、日本語の書き込み、人の作業と並行した裏での操作まで、今回の検証ではほぼ問題なく動きました。
Claudeを使っている人にとってはComputer Useとの差は小さいものの、「AIを選ばない」「AIなしでもコマンドで動かせる」という点で、自社の業務自動化の仕組みに組み込む部品として期待できるツールです。
VISKでは、AIを活用した業務の自動化やシステム開発のご相談を承っています。「パソコンでの定型作業をAIに任せられないか」といったご相談も、お気軽にお問い合わせください。
参考
vercel-labs/agent-desktop（GitHub）：https://github.com/vercel-labs/agent-desktop
agent-desktop（npm）：https://www.npmjs.com/package/agent-desktop
この記事の結論
agent-desktop（エージェント・デスクトップ）は、AIにパソコンのアプリを操作させるための無料ツールです。2026年10月31日にVercel Labsが公開しました。
実際にMacで試したところ、AIが計算機のボタンを押して答えを出し、その結果をテキストエディットに日本語で書き込むところまで、問題なく動きました。人が別のアプリで文字を打っている間も裏で操作が進み、こちらの入力が途切れることはありませんでした。
ただし、Claudeの「Computer Use」もすでに裏で操作できるため、Claudeを使っている人にとっての差は大きくありません。agent-desktopの強みは、Claude以外のAIからも使えることと、AIを使わずにコマンドだけでも動かせることです。そのため「自社の仕組みにパソコン操作の自動化を組み込みたい」という場面で特に役立つツールだと感じました。
agent-desktopとは？
agent-desktopは、Webサービスの開発基盤で知られるVercel社の研究部門「Vercel Labs」が公開したツールです。ひとことで言うと、AIがパソコンのアプリを見て、ボタンを押したり文字を入れたりするための道具です。
おもな特徴は次のとおりです。
料金は無料です（オープンソースで、商用利用もできるApache-2.0ライセンス）
Mac・Windows・Linuxで使えます
インストールはコマンド1行で済みます（npm install -g agent-desktop）
Claude Code、Codex、Cursorなど、いろいろなAIエージェントから呼び出せます
なお、Webページの操作は対象外です。ブラウザの操作には、姉妹ツールの「agent-browser」が用意されています。
しくみ：画面の「部品の一覧」を読んで操作する
AIにパソコンを操作させる方法としては、これまで「画面のスクリーンショットを撮って、AIが画像を見ながら操作する」やり方がよく知られていました。
agent-desktopはスクリーンショットを使いません。代わりに、パソコンのOSが持っている「アクセシビリティ」という仕組みを使います。アクセシビリティは、もともと目の不自由な方が読み上げソフトでパソコンを使えるように用意されているもので、「この画面にはこのボタンとこの入力欄がある」という情報をアプリから受け取れます。
agent-desktopは、この部品の一覧に番号を付けてAIに渡します。AIは「◯番のボタンを押して」と指示するだけで操作でき、操作のあとはもう一度一覧を取り直して、結果が正しいかを確かめます。
検証した環境
パソコン：Mac（Apple Silicon）
agent-desktop：バージョン1.2.0
AIエージェント：Claude Code
検証日：2026年11月6日
実際に試してみた
1. インストールとMacの権限設定
インストールはターミナルでコマンドを1行打つだけで、2秒ほどで終わりました。
次に、Macの「アクセシビリティ」の許可を確認します。agent-desktopには権限を確認するコマンドがあり、許可が足りないときは設定画面まで開いてくれます。
今回の環境ではすでに許可が出ていたので、すぐに次へ進めました。
2. まずは計算機で「読む」「押す」を試す
最初は、壊れても困らない計算機アプリで試しました。
ひとつ目のつまずきは、計算機を起動した直後に画面の読み取りを実行したら「ウィンドウが見つからない」というエラーが出たことです。アプリのウィンドウが開ききる前に読みに行ってしまったのが原因で、少し待ってからやり直すと問題なく読み取れました。エラーメッセージの中に「ウィンドウが出るまで待つか、別のコマンドで確認して」と対処法まで書かれていたのは親切でした。
読み取りに成功すると、計算機のボタン30個が「7」「乗算」「計算実行」のように日本語の名前付きで返ってきました。Macの表示言語が日本語なので、部品の名前もそのまま日本語になります。
そのボタンを番号で指定して「12 × 34 =」と押していくと、計算機に正しく「408」と表示されました。さらにもう一度画面を読み取ると、表示欄の「408」も文字として受け取れました。画像から文字を読み取るわけではないので、読み間違いの心配がありません。
3. Claude Codeに計算機を任せてみる
ここまでは人がコマンドを打っていましたが、本来の使い方は「AIに自分で操作させる」ことです。公式が用意している手順書（スキル）をClaude Codeに入れて試しました。
ここで2つ目のつまずきがありました。スキルを入れるときに「どのAIエージェントに入れますか？」という選択画面が出るのですが、一覧が長く、Claude Codeが最初は表示されていません。思わず「間違えたかな？？」と声が出ました。実際、Claude Codeを選ばないまま進めてしまい、Claude Code用の場所にはスキルが入りませんでした。選択画面で「claude」と打って絞り込み、スペースキーで選んでから確定するのが正解です。今回は、入ったスキルをClaude Code用のフォルダにコピーして対応しました。
準備ができたら、Claude Codeに次のようにお願いしました。
Claude Codeは約20秒で「22.03571429」と答えました。計算機の表示どおりで、正解です。操作のあとに画面を読み直して式と結果を確認する、という流れも自分でこなしていました。
4. 2つのアプリをまたいで、日本語を書き込む
次は少し実務に近い作業として、「計算機で980×3を計算して、その結果をテキストエディットに日本語の文章で書き込む」とお願いしました。
約1分で、テキストエディットに「本日の合計金額は 2,940 円です。」と入りました。途中でテキストエディットが「ファイルを開く」画面を出してきましたが、Claude Codeは自分でメニューから「新規」を選んで進めていました。
日本語の入れ方にも特徴があります。キーボードで1文字ずつ打つのではなく、入力欄に文章を直接書き込む方法（set-value）が使われていました。日本語の変換を通さないため、変換ミスが起きません。
ひとつ注意したいのは、この書き込み方は入力欄の中身を丸ごと置き換える仕組みだという点です。あとから文章を追記したときも、Claude Codeは「元の文章＋追記分」の全文を書き直していました。短いメモなら問題ありませんが、長い文書で使うときは気をつけたほうがよさそうです。
5. 人が作業している裏で動かしてみる
agent-desktopの売りのひとつは、人がパソコンを使っている間も、AIが裏でアプリを操作できることです。
Claude Codeに「7777 ÷ 7 を計算して、テキストエディットに追記して」とお願いし、送信したらすぐにメモアプリへ移って文字を打ち続けました。
結果、19秒でテキストエディットに「（検算：1,111）」が追記されました。その間、メモアプリへの入力はまったく邪魔されず、計算機やテキストエディットが勝手に前に出てくることもありませんでした。正直な感想は「普通にタイピングできました」です。
6. Slackのような、純正以外のアプリはどうか
最後に、Apple純正ではないアプリとしてSlackを試しました。
1回目は失敗しました。Slackを全画面表示にしていたため、別のデスクトップにあるアプリとして扱われ、agent-desktopからは見えなかったようです。全画面を解除して今のデスクトップに出すと、サイドバーのチャンネル名を17秒で正しく読み取れました。
「裏で動ける」のは、あくまで今のデスクトップにあるウィンドウまで、と考えておくとよさそうです。
ClaudeのComputer Useと何が違うの？
検証しながら、いちばん引っかかったのがここでした。正直、最初は「実際に見れるComputer Useよりメリットがあるのはどんなことか、ピンときていない」状態でした。
当社では以前、ClaudeのComputer Use（バックグラウンドで動くもの）も検証しています。そのときも、Claudeは画面の座標ではなくボタンそのものを押していて、裏で動いている間に別のアプリで文字を打っても、入力が途切れることはありませんでした。つまり「裏で動く」「押し間違えにくい」という点は、agent-desktopだけの特徴ではありません。
そのうえで違いを整理すると、次のようになります。
使えるAIを選ばない：Computer UseはClaudeの機能ですが、agent-desktopはClaude Code、Codex、Cursorなど、いろいろなAIから使えます。
AIがなくても動かせる：今回の前半のように、人がコマンドを打つだけでも操作できます。結果が文字データで返ってくるので、自社のシステムやちょっとした自動化の仕組みに組み込みやすくなっています。
無料で、Mac以外でも動く：オープンソースなので費用がかからず、WindowsやLinuxにも対応しています。
Claudeをすでに使っている方なら、Computer Useで十分なことが多いはずです。一方で、Claude以外のAIを使っている方や、「パソコンの操作を自動化する仕組みを自分たちで作りたい」という方には、agent-desktopが選択肢になります。
どんなことに使えそう？
今回の検証で確かめられたのは、「アプリのボタンを押す」「表示された値を読む」「入力欄に文字を入れる」の3つが、人の作業を邪魔せずにできることです。
これを組み合わせると、たとえば次のような使い方が考えられます（今回はここまでは試していないため、あくまで想定です）。
毎日同じ手順で行っている、パソコンアプリへの入力や転記
あるアプリに表示された数字を読み取って、別のアプリに書き写す作業
社内で使っている、外部とつなぐ仕組み（API）がない古いアプリの操作
使うときの注意点
部品の情報を出さないアプリは操作できません：アクセシビリティに対応していないアプリは見えません。
全画面表示や別のデスクトップにあるアプリは見えません：今のデスクトップに出しておく必要があります。
文字の書き込みは全文の置き換え：長い文書に追記するときは、内容が消えないか注意が必要です。
権限の大きいツールです：スキルを入れる画面でも、外部のセキュリティ評価で「中程度のリスク」と表示されていました。パソコンを操作できる以上、大事なデータのあるアプリで試すときは慎重に進めるのがおすすめです。
よくある質問
agent-desktopは無料で使えますか？
はい、無料です。オープンソースで公開されていて、商用利用もできるライセンス（Apache-2.0）です。
プログラミングの知識は必要ですか？
インストールにはターミナルでコマンドを打つ必要があります。ただ、AIエージェントと組み合わせれば、そのあとの操作は「計算機で◯◯を計算して」のように日本語でお願いするだけで進められました。
Windowsでも使えますか？
公式にはMac・Windows・Linuxに対応しています。今回の検証はMacで行いました。
日本語のアプリでも使えますか？
はい。Macの表示が日本語の場合、ボタンの名前も「計算実行」「乗算」のように日本語で取得できました。日本語の文章の書き込みも問題なくできました。
Webサイトの操作にも使えますか？
agent-desktopはWebページの操作には対応していません。ブラウザの操作には、同じVercel Labsの「agent-browser」が用意されています。
まとめ
agent-desktopは、AIがパソコンのアプリを「部品の一覧」を見ながら操作する無料ツールです。計算機やテキストエディットでの操作、日本語の書き込み、人の作業と並行した裏での操作まで、今回の検証ではほぼ問題なく動きました。
Claudeを使っている人にとってはComputer Useとの差は小さいものの、「AIを選ばない」「AIなしでもコマンドで動かせる」という点で、自社の業務自動化の仕組みに組み込む部品として期待できるツールです。
VISKでは、AIを活用した業務の自動化やシステム開発のご相談を承っています。「パソコンでの定型作業をAIに任せられないか」といったご相談も、お気軽にお問い合わせください。
参考
vercel-labs/agent-desktop（GitHub）：https://github.com/vercel-labs/agent-desktop
agent-desktop（npm）：https://www.npmjs.com/package/agent-desktop
AI・システム開発のこと、VISKにご相談ください
「自社の業務にAIを活かせないか」「この作業、自動化できないか」——
そんな漠然とした段階からで大丈夫です。大阪のAI・システム開発会社VISKが、御社の課題に合わせて、企画から開発・検証までサポートします。
