Claudeのバックグラウンド Computer Useを試してみた

結論

「Claudeが裏でPCを操作してくれる」と話題の機能を、実際に触ってみました。結論から言うと、裏で動くのは本当でした。Claudeがアプリを操作している間も、自分のマウスはまったく動かず、アプリが勝手に前に出てくることもありません。

ただ、なんでも任せられるわけではないんです。ブラウザの中身はクリックできないし、VSCodeのようなIDEには文字も打てません。MacのYouTubeアプリも、中身がChromeなのでダメでした。

色々試して一番「これは使える」と思えたのは、Expoで作ったアプリをiPhoneシミュレーターで触ってもらい、不具合を見つけて直して、直ったか確かめるところまで任せる使い方です。こちらは別の作業をしたままで、この一連の流れが1分ほどで終わりました。

どんな機能か

9月2日にAnthropicが発表した、Claude CoworkとClaude Code向けの新機能です。これまでのComputer Useは、Claudeが動いている間はマウスもキーボードも取られてしまって、眺めているしかありませんでした。それが裏のウインドウで動くようになって、人は同じPCで普通に作業を続けられるようになった、という話です。

対象：Claude Cowork / Claude Code
OS：macOS 15以降（WindowsはComputer Use自体は使えるが、裏では動かない）
プラン：Pro / Max（ヘルプセンター上は現時点でTeam / Enterprise対象外）
条件：デスクトップアプリを開いたまま、PCが起きていること
状態：ベータ

面白いのは、Claudeがいきなり画面を触りに行くわけではないところです。まず連携機能（コネクタ）を使って、ダメならブラウザ操作、それでも無理なときの最後の手段が画面操作、という順番になっています。公式が挙げている使い道も「競合分析」「スマホアプリのテスト」「連携機能がない社内ツールの操作」の3つだけで、意外と控えめです。

出典：Let Claude use your computer in Cowork（Claude Help Center）、9to5Mac

準備：許可は2段階

使い始めるには、Claude側とmacOS側の両方で許可が要ります。流れはこんな感じです。

Coworkの画面で「コンピューター使用」を許可する
macOSの「システム設定 → プライバシーとセキュリティ → 画面収録」にClaudeを追加し、Claudeを一度終了して開き直す
操作するアプリごとに、その都度許可する

ちょっとハマったのが画面収録の許可です。設定しただけでは反映されず、Claudeを一度終了して開き直す必要がありました。あと、アプリの許可は30分ほど操作しないと切れてしまうので、時間を空けるとまた許可を求められます。

【画像】Coworkの許可カード（「コンピューター使用：許可済み」「画面収録：まだ付与されていません」）とmacOSの画面収録設定のスクショ

検証1〜4：普段使いのアプリで試す

まずは手元のMacに入っているアプリで、本当に裏で動くのか試してみました。

計算機（◎）：1234×56や、3段の連続計算を裏で実行。カーソルは動かず、前面にも出ない
YouTube（×）：起動と画面の読み取りはできたが、検索ボタンを押せない
Slack（○）：画面の読み取りと、サイドバーからのDM移動ができた
Android Studio（△）：IDEは「クリックのみ」の扱い。New Projectを押しても反応なし

計算機：裏で動くことは確認できた

最初は壊れても困らない計算機から。Claudeは画面の座標をクリックするのではなく、ボタンそのものを直接押しているようです（アクセシビリティ経由）。その間に別のアプリで文字を打っていましたが、入力が途切れることもありませんでした。

とはいえ、そのときの率直な感想がこれです。

なんか計算なんか普通のクロードに聞いてもしてくれるやん

裏で動くことはわかったけど、計算機じゃあこの機能の良さは伝わらないですよね。

YouTube：中身がChromeだと触れない

次に「今日の晩酌に合うチャンネルを開いておいて」と頼んでみました。ところが、起動して画面を見るところまでは行けたのに、検索ボタンが押せません。実はMacのYouTubeアプリって中身がChromeなんです。外枠はYouTubeでも、中の画面は「別のアプリ（Chrome）」扱いになり、安全装置で止められてしまいました。この機能では、ブラウザは「見るだけ」なんですね。

ずれているならやめです

Slack：動くが、連携機能で足りる

SlackはYouTubeと違って自前のアプリなので、中身までちゃんと操作できました。ただ、読む・送るだけならSlackの公式コネクタのほうが速くて確実です。それと、やってみて気づいたのが、画面を読む以上はDMに残っているパスワードまでClaudeには丸見えだということ。ここは気をつけたいところです。

Android Studio：IDEは制限がきつい

公式の例にある「スマホアプリのテスト」をやりたくてAndroid Studioを開いたものの、IDEは「クリックだけ」しか許されていなくて文字が打てません。しかも「New Project」を押しても無反応。Java製のアプリだからかもしれませんが、原因は突き止めていません。

検証5：Expo＋iPhoneシミュレーター

Android Studioがダメだったので、代わりにExpoで作ったアプリをiPhoneシミュレーター（Xcodeに付いてくるSimulator）で動かしてみました。Simulatorは普通のMacアプリ扱いなので、タップも入力も制限なしです。

アプリの準備はコマンド1行だけ。

見せ方を工夫した

最初は「＋1する」を押すと2増える、というカウンターの不具合を仕込んで試したのですが、ちゃんと動くものの見た目が地味でした。

アプリがまわるだけじゃなあカウントではなくUIでフッターでページ遷移しているような方が見た目がいい

そこで、下に「ホーム／さがす／お気に入り／マイページ」の4つのタブが並ぶ、カフェ風のアプリに作り替えました。仕込んだのは、「お気に入り」と「マイページ」の行き先が入れ替わっている不具合です。タップすれば一目でおかしいとわかります。

見る→直す→確かめるを一周

タブを順にタップ
行き先の入れ替わりに気づく
タブ設定のコードを修正
Expoが自動で再読み込み
もう一度タップして確認

やっていることはこの流れのとおりです。Claudeがシミュレーターを裏でタップして不具合に気づき、app-tabs.tsxのタブの行き先を直して保存。Expoが勝手に画面へ反映してくれるので、もう一度タップして「直った」と確かめるところまで自分でやってくれます。カウンター版では、この一周が1分ほどでした。

ちなみに、Claudeが操作している間にマウスが動いたか聞かれての返事はこちら。

出てこないし動かない

わかった制限と注意点

ブラウザの中身は触れない：Chromeや、中身がChromeのWebアプリ（YouTubeアプリなど）はクリックできません。ブラウザ操作はClaude in Chromeに任せましょう
IDEとターミナルは「クリックだけ」：文字入力やキー操作はできません
アプリごとに許可が必要：30分ほど触らないと許可が切れて、また許可し直しになります
別のデスクトップにあるウインドウは苦手：Claudeから見えている画面が古いままになることがあります
画面に映るものは全部見える：Slackのパスワードも、案件アプリのデータもそのまま読まれます。公式も、金融・医療・契約書・他人の個人情報を扱うアプリでは使わないようにと書いています
ベータらしい詰まりどころもある：計算機は裏で起動してもウインドウが出てこず、結局一度自分で開くことになりました

まとめ

「裏で動く」のは本当で、作業の邪魔にはほとんどなりませんでした。ただ、普段の仕事がブラウザやSaaS中心なら、Chrome操作や連携機能で足りてしまう場面が多いです。「なんでも同時進行できる」というより、「使いどころを選べば便利」というのが触ってみた感想です。

活きるのは、画面でしか操作できないものを、自分の手を止めずに任せたいとき。今回でいえば、スマホアプリの動作確認がまさにそれでした。コードを書いている横で、Claudeがテスト担当として触って、直して、確かめてくれる。実際の開発でも試してみたい使い方です。

結論