こんにちは、システム・エムズの N0r10 です。
以前から興味のあった、Claude Code に「目」を与える技術検証をしてみました。
ペットボトルのお茶をカメラに向けて「これなんでしょう?」と聞くと、Claude Code は「綾鷹ですね。650ml の大きいボトルで、中身は半分くらいです」と答えました。
「それ、スクショを撮って貼るのと何が違うの?」と思うかもしれません。違うのは、Claude が自分で見に行けることです。人が撮って貼る手間はなく、必要だと思えば Claude がその場で見ます。「見てて」と言えばこれからの動きを、「さっきの見て」と言えば直近 30 秒を振り返るので、静止画 1 枚では分からない動作も伝わります。
作ったのは、PC の Web カメラを Claude Code の「目」として使わせる Windows アプリ、ClaudeEyes です。以下、作ってみて引っかかったところをまとめました。
作ったもの
MCP サーバーを内蔵した WinForms アプリで、Claude Code から呼べるツールは 3 つです。
see:今の光景を 1 枚見るwatch:これから N 秒見続ける(呼ばれる前の 10 秒も含む)recall:直近 30 秒の映像を振り返る
カメラは複数台に対応していて、camera 引数で 1 台を指定するか、省略して全部を見ます。Claude Code へはプラグインとして入れ、MCP の接続先とカメラの使い方を書いたスキルが一緒に入ります。使ったのは .NET 10、MCP の C# SDK、OpenCvSharp4。
工夫したところ
カメラを掴むのはアプリ 1 つだけ
Windows の Web カメラは、基本的に 1 プロセスしか使えません。Claude Code のセッションごとに stdio の MCP サーバーを立てるとカメラの取り合いになるので、常駐アプリがカメラを持ち、自分の PC の中だけで HTTP の MCP を待ち受ける形にしました。C# SDK を使うと、サーバー部分は数行で書けます。
頼まれる前の映像も見る
指の足し算で試した時のことです。「見てて、指を上げるから足し算してね」と送ってすぐ指を上げたら、返ってきたのは「指を上げた手が映っていませんでした」。Claude は「画角の外だったのでは」と言いましたが、原因はタイミングでした。Claude が考えて watch を呼ぶまでの数秒の間に、私はもう指を上げて下ろしていたんです。
そこでアプリは直近 30 秒の映像を常にバッファしておき、watch は呼ばれる前の 10 秒も含めて返すようにしました。直した後は、呼ばれる直前に出していた 1 本目まで拾って、1 本、2 本、3 本、5 本で合計 11 と数えてくれました。
動いた場面を選んで見せる
30 秒分(最大 300 枚)を全部は渡せないので、フレーム間の差分から動き量を出し、動いた区間から多めに選んでいます。画像と一緒に、1 秒ごとの動き量を棒グラフのような 1 行の文字で付けると、選ばれなかった区間の様子も Claude に伝わります。
おわりに
「はじめまして」と伝えたら、Claude がカメラ越しに私を見て返事をしてくれたのには、少し感動しました。愛着がわきます。
技術的に手間がかかったのは、画像を渡す部分より「いつ、どの映像を、何枚見せるか」の方でした。次は CPU で動く無料の Whisper 系で、「耳」を付けてみるつもりです。