Computer Useの意味

Computer Useは、AIモデルが画面の画像や現在の状態を確認し、クリック、入力、スクロール、キー操作などを組み合わせてコンピューター上の作業を進める機能や技術です。AnthropicとOpenAIはいずれも、モデルにコンピューター操作のためのツールを与え、モデルが次の操作を返し、実行側がそれを処理する構成を公式資料で説明しています。これは通常のFunction CallingでAPIを呼ぶのとは異なり、画面や座標、アプリの状態を扱う点が特徴です。一方で、モデルが操作案を返しただけではクリックや送信が完了したとは限りません。ログイン情報、購入、送信、削除などの重要操作では、実行環境の分離、許可する操作の範囲、ユーザー確認、監視、停止、操作結果の検証が必要です。対応するOSやブラウザ、入力方法、精度、提供段階はツールやモデルによって異なるため、名称から完全自動化や安全性を推測しません。

既存の画面中心の業務を自動化する入口になりますが、誤操作が直接システムへ影響するため制御が必要です。

現在は対象画面の変化、権限、確認ステップ、操作ログ、停止条件、機密情報の扱いを設計します。