Copilot Actions: AIを活用したブラウザ自動化機能！

Microsoft というプログラムを通じて行われている。 Copilot Actions この実験的な新機能は、AIアシスタントに新たな機能を提供するもので、情報やアドバイスを提供するだけでなく、ウェブ上で直接タスクを実行してくれる。この新機能は Copilot Labs テストされた機能は、次のようなものである。 Copilot チャットボットからブラウザを自動化するAIエージェントへ。

ユーザーは、簡単な自然言語コマンドを使用することができます。 Copilot これまで手動で何度もクリックする必要があったタスクを完了させる。例えば、"次のボタンを使え "と指示するだけでいい。 OpenTable.com レストランで2人がけのテーブルを予約してください。 1800Flowers.com 花束を注文する"現在Copilot Actions 米国、英国、カナダ、オーストラリア、インド、ニュージーランドの個人には、以下のものが提供されている。 Microsoft このテストは、アカウントにログインしているユーザーが対象となる。なお、この機能は現在、無料ユーザーの場合、1日2～3回までの利用に制限されている。

仕組み：クラウド上の「デジタル労働者

Copilot Actions 実装は非常に革新的だ。複雑なAPIを統合する代わりに、クラウド上のスタンドアロン仮想マシンを Edge ブラウザの例 [1, 4] Copilot は、ウェブページの視覚的要素を分析し、マウスクリック、ページスクロール、キーボード入力などのアクションをシミュレートしてタスクを完了することで、人間のユーザーのように動作する。 [1]

タスクが進み、個人情報（住所や支払い方法など）の入力が必要になったり、重要な決断を下さなければならない段階になるとCopilot は一時停止し、ユーザーに介入を要求する。ユーザーは情報を提供するか、単にリモート・ブラウザを引き継いで操作を完了するかを選択できる。 Microsoft と強調する。Copilot Actions 隔離されたクラウド環境で動作するため、ユーザーのローカルブラウザに保存されたパスワードや個人データにアクセスすることはない。

さらに、透明性を確保し、管理するためである。Copilot 操作されたページのスクリーンショットは、タスク実行中にキャプチャされ、対話履歴とともに保存されます。ユーザーはいつでもそれを見ることができます。 Copilot また、いつでもタスクを一時停止したり、完全にキャンセルすることができます。

本物の "エージェント "か、高度な "マクロ "か？

Microsoft この動きは、技術業界で最もホットなトレンドである「AIエージェント」に沿ったものだ。AIエージェントは、大規模な言語モデルに続くAIの次の大きなブレークスルーと考えられており、複雑なタスクを自律的に理解し、計画し、実行する能力をAIに与えることが中心となっている。 [1, 3]

とおす Copilot Actions属Microsoft は、その実現への道筋を示している。 Copilot 様々なプロのAIエージェントと対話するための統合ポータルとして位置づけられる。 [1]現在提供されているサービスは、旅行や食事の注文など、初期の試みに過ぎない。将来的には、ユーザーは Copilot Studio このようなローコードプラットフォームでは、特定のビジネスプロセスを処理する専用エージェントを作成し Copilot それらを呼び出すことで、パーソナル・アシスタントから企業レベルの自動化プロセスまで、幅広いシナリオがカバーされる。 [2, 3, 5]

セキュリティとプライバシーのトレードオフ

AIにウェブページへのアクセス権を与えることは、必然的にセキュリティーに関する懸念を引き起こす。Microsoft 免責条項は、このツールがまだ初期段階にあり、サイバー攻撃やその他の一般的なセキュリティリスクの影響を受ける可能性があることを認めている。

AIがウェブコンテンツを読み取り、操作できるというこのモデルの性質上、理論的には人間のユーザーと同じセキュリティ脅威にさらされることになる。しかし Microsoft 強力な軽減措置が組み込まれており、攻撃的または有害なコンテンツを含むサイトへのアクセスは禁止されているが、それでもユーザーは、特にログイン認証情報や機密性の高い個人情報が関係するサイトでは、その使用に警戒する必要がある。利便性とリスクのトレードオフなのだ。

Copilot Actions AIアシスタントの登場は、AIアシスタントの主流が「知識提供者」から「タスク遂行者」へと進化したことを意味する。現在のところ、機能と範囲は限定的だが、これは来るべきものの明確な兆候である：あなたのAIアシスタントは、あなたに何をすべきかを教えるだけでなく、あなたのためにそれを行うだろう。