Slackで最高のエージェントは、@メンションを必要としません

The Best Slack Agent Is the One You Never @Mentionの意訳です。

今週、あなたのAIエージェントが行った中で、最も役に立った仕事を思い出してみてください。特に具体的なものを1つだけ選んでみてください。

そして、そこに気付いてみてください。「誰も頼んでいない」可能性が、けっこう高いはずです。最高の仕事は、プロンプトへの回答ではありませんでした。誰かがその場に現れる前から、すでにスレッドの中で出来上がって待っていたのです。

これは偶然ではありません。これこそが本質であり、業界の多くは、頭の中の整理が逆向きになっているのです。

チャットボックスがみんなの頭を乗っ取った

ChatGPTは、1億人もの人々に「AIとは、テキストボックスの裏側に置かれた何か」だと教えました。あなたが入力して、AIが答える。やり取りの起点は常にあなたです。

このインターフェイスがあまりに成功した結果、それがデフォルトのモデルになりました。そしていま、ほとんどの「AIアシスタント」が、無意識に同じ前提を引き継いでいます。「まず最初は必ず人間から始める」という前提です。

あまりにも当たり前すぎて、その仮定はほとんど目に入りません。だからこそ、はっきり言葉にしておく価値があります。すべてのやり取りを必ず人間から始めなければいけないのなら、エージェントの有用性は、その人間の注意力の上限に縛り付けられます。誰かがすでに気付いていて、入力できる程度に整理できていて、しかも質問する時間と心の余裕がある問題にしか、エージェントは役に立てないのです。

その限界の外側に何があるでしょうか。午前2時38分のレイテンシ急増、チームが寝ているあいだに公開された依存関係の脆弱性勧告、誰も適切なチャンネルを見ていなかった瞬間に発生したインシデント、などです。

エージェントが触れられる仕事の中で最も価値が高いのは、まさに「誰も起きていない」「誰もメンションできない」状況で起きていることです。エージェントをプロンプトに縛り付ければ、これらに対しては一切手助けできなくなることが、最初から保証されてしまうのです。

起点を人間からエージェントへ反転させる

だからこそ、反転させましょう。人間が話しかけるのを待つのではなく、エージェントのほうから先に動き出せばよいのです。

Datadogがp99レイテンシの上昇に気付きます。トリガーが発火します。メッセージなし、メンションなし、誰も入力していません。エージェントはトレースを取得し、直近のデプロイをたどり、env varの更新を装ってスケーリング設定を変えていたPRを特定し、その内容を、これからオンコールが呼び出されるチャンネルに投稿します。

そこに人間が登場します。最初のアクションは「エージェントに調べてもらおう」ではありません。最初のアクションは、エージェントがすでに見つけた内容を読み、どう動くかを判断することです。

同じエージェント、同じスコープ、自分が入力していたであろうのと同じ指示。違うのは、最初に動き出したのが人間かエージェントか、ただそれだけです。あえて言いますが、仕組みはとても地味です。ソース、どのイベントを起動条件にするかのルール、指示、そして出力先、これだけです。この小さな違いが、エージェントを「呼びかけられたときに役立つもの」から「重要なときに役立つもの」へと押し上げます。両者は、同じ製品ではありません。

これは、人間の仕事を良い方向に変えます

プロンプト型のモデルでは、人間がエンジンであり、私たちが最初に動き出さない限り何も起こりません。エージェントは呼びかけられるまで待機状態にあり、人間は気付き、整理し、入力するために自分の注意力を使い続けます。

トリガー型のモデルでは、エージェントがエンジンで、人間は判断を担います。エージェントが監視と地道な調査をこなし、人間はもともと自分の役目だった部分、つまり「revertするのが正しいか」「これはSEV-2なのか」「いま出すべきか、待つべきか」を決める仕事をします。

これは良い分業といえます。人間の判断という、高価で代替不能なものは、意思決定に使うべきで「スタートボタンを押す係」に使われるべきではありません。これはまた、人々がエージェントを「セカンドブレイン」と呼ぶときに、口にはしないけれど暗に意味していることでもあります。呼びかけたときだけ動くセカンドブレインは、セカンドブレインではありません。それはリファレンスデスクです。本当に使えるエージェントとは、あなたが頼む前から、すでにその問題に取り組んでいるべきなのです。

「監督なしでうろうろさせたくない」

そう感じるのは正しいですし、そうあるべきです。そして、実際にそうはなっていません。

「人間より先にエージェントが動き出す」という発想は、ともすると「エージェントを野放しにする話」と誤解されがちです。なので、実際に何が起きているのかを正確に書いておきます。エージェントは、所属するチャンネルのスコープの範囲内で動きます。そのチャンネルに許可されたリポジトリ、接続先、利用枠の中だけです。どんな指示文を与えても、これを超えることはありません。エージェントが反応するのは、明示的に許可リストに入れたソースだけで、雑談には反応しません。

エージェントは、本番稼働の前に、実際のイベントに対して1度だけテスト実行されます。その結果を見て、指示を直してから初めて運用に乗せられます。出力は、チームがすでに見ているスレッドに投稿されます。つまり、出力はデフォルトで監督下にあるということです。誰も読まないログではなく、人の目の前に届きますし、監督者が不要にはなりません。タスクの「前(誰かが気付いて頼まなければいけなかった部分)」から、タスクの「後(人間がレビューして判断する部分)」へと移ったのです。

あなたが寝ているあいだに最高の仕事をするエージェントは、チャットの転記ではなく、実際に動いた時間で課金されるべきです。だからこそ、私たちはトークンではなく、稼働した実行時間（分）で計測しています。

補助輪を外す

「自分が頼んだときに、エージェントがどれだけうまく答えるか」でエージェントを評価するのは、もうやめましょう。そのベンチマークはチャットボックスを称えるだけで、エージェントの能力をあなたの注意力の範囲内に静かに押し込めてしまいます。代わりに、朝起きたときにスレッドにすでに何が並んでいるかで評価しましょう。すでにトリアージされたインシデント、すでに検出された問題のあるPR、推奨される次のアクションまで添えてまとめられた勧告。いずれも、誰も頼んでいないものです。

@メンションは、本来の姿に戻っていきます。それは補助輪です。あなたとエージェントがまだ互いを信頼しきれていない段階で、走り出すための仕組みです。役には立ちます。本物でもあります。けれども、目的地ではありません。

Slackで最高のエージェントは、あなたが一度も呼びかけていないエージェントです。そのエージェントを目指して育て、最後には補助輪を外しましょう。

CodeRabbit Agent for Slackから始めてください。