AIが「記録しました」と嘘をつく前に入れる3つの指示

AIに「記録しておいて」と頼んだら、「記録しました」と返事が来た。ところが実際は別の場所に書かれていた。これは自分が経験した事故です。

AIに悪意があったとは思いません。書き込み先を取り違えたまま、頼まれたことを形にして報告しただけでした。この記事では、事故のあとに入れた指示の書き方を、3つの観点に分けて紹介します。

できなかったときの動きを決める3つの書き方

AIは、頼まれたことができない場面でも、何かしらの返事をしようとします。だから最初に決めておくのは、できなかったときの動きです。ここが曖昧だとあとの工夫が効きません。

失敗したときに何をさせるかを、3つの書き方で説明します。

新しい道具は要りません。いつもの依頼文に一行足すだけで試せます。迷ったらまず一つだけ選んでください。

「使えなければ書かずに報告」と言い切る

自分が入れたのは、記録を頼む決まり文句の末尾に「使えなければ書かずに報告」と足すことでした。括弧書きで付けています。

道具が使えない場面で、代わりの作業に流れるのを止めるための一文です。できないときは何もしない。それを先に伝えておくわけです。

禁止だけを並べるより、できないときの正しい動きを指定するほうが、AIは迷いにくいと考えています。たった一行でも指示の中で一番効く場所だと見ています。長い注意書きは、短い一文より読み飛ばされやすいものです。

失敗したときの返事の形を指定する

報告の形も決めておくと便利です。たとえば「何が使えなかったかを一行で書く」「代わりの作業はしない」と指定しておきます。

自分の夜の自動記録では、チャットを読む道具が実行環境になく、その手順を飛ばしたことがありました。このときは「昨夜はチャットを読めませんでした」というカードが残り、作り話の記録は残りませんでした。

失敗の返事が決まっていれば人はすぐ気づけます。静かに失敗するのが一番困るので、失敗が目立つ形にしておくのが狙いです。

代わりの作業を許す範囲を書く

「できなければ止まる」だけでは、止まりすぎて困る場面もあります。そこで、代わりにやってよいことを一つだけ、先に書いておく方法があります。

たとえば「記録の道具が使えなければ、書く予定の内容を返事に貼る」という指定です。こうしておけば内容は失われず、別の場所に勝手に書かれることもありません。

許す範囲はできるだけ狭く書きます。広く許すと、事故のときと同じ方向にAIが動いてしまうからです。迷ったら許可を一つに絞り、足りなければ後から足すほうが安全だと考えています。

やったことの証拠を出させる3つの決め方

「できなかったら報告して」と書いても、AIができたと思い込めば報告は来ません。だから証拠を返事に含めさせます。

証拠にするのは、AIの自己申告ではなく、道具が返した結果です。人間の仕事でも、口頭の報告より受領書のほうが確かです。

AIにも同じ扱いが向いています。ここでは証拠の出させ方を3つに分けて説明します。

道具が返した値をそのまま見せさせる

事故のあとに決めたルールの一つが、書き込みのあとで道具の戻り値を提示させることです。件数と箱と日付とタイトルを、返事に並べてもらいます。

「記録しました」の一言だけでは、本当に書けたのか判断できません。戻り値が付いていれば数字と名前で確かめられます。

戻り値が出てこない返事は、書けていないものとして疑うのがよいと考えています。見るのは件数と日付くらいなので、確認に手間はかかりません。保存先の名前も並べさせると、置き場所の取り違えにも気づけます。

書く前に接続を確かめさせる

もう一つのルールは、書き込みの前に接続の状態を確かめる手順です。確認用の道具を一回呼んでから、本番の書き込みに進ませます。

事故のときは、目的の道具を見つけられなかったAIが、手元のメモ用ファイルに書き込んでいました。ファイル名が紛らわしかったことが原因でした。

先に接続を確かめさせれば、見つからない時点で止まるはずです。ほかの場所に書く余地が減ります。確認の一手間で、取り返しのつかない書き込みを避けやすくなると考えています。

書いた内容を言い直させない

意外と大事なのは証拠を要約にしないことです。AIに「何を書いたか説明して」と頼むと、説明は流れるように返ってきます。

流れるような説明は、実際の書き込みと食い違っていても、すんなり読めてしまいます。だから説明ではなく、道具の出力そのものを貼らせるのです。

人が見るのは、AIの言い分ではなく、道具が返した事実です。言い分は読み物で出力は証拠だと割り切ると、AIの文章が上手いほど、この区別が効いてきます。

人が最後に確かめる場所を決める3つの工夫

指示をどれだけ工夫しても、AIの返事が毎回正しくなるとは限りません。だから、人が最後に確かめる場所を、仕組みの側に用意しておきます。人が見る場所が決まれば見逃しも減ります。

確認の入口を絞り、続けやすい形にしておくことがここでの狙いです。入口が増えるほど確認は後回しになりがちです。

確認を無理なく続ける置き場所を、3つの観点で見ていきます。続かない確認はいずれ誰も見なくなるものです。

確認の入口を一か所に固める

自分の仕組みでは、AIが書いた記録は未確認の状態で入る形です。翌朝の確認カードにまとめて並ぶので、見るべき場所は一つだけです。あちこちを巡回する必要がなく、確認の負担を軽くする狙いです。

AIが作るタスクは、候補としてしか作れず、状態も変えられません。コードとデータベースの二重で止めています。人が見て初めて確定する順番を、仕組みの側で守らせる形です。

指示文で守らせるより、仕組みで守らせるほうが確実だと考えています。人の注意力に頼る部分を、できるだけ減らしたいからです。疲れている日でも守られる形が狙いです。

「出ていなければ書けていない」と決めておく

朝の確認カードに出ていない記録は、書けていないものとして扱う。この判断基準も事故のあとに決めました。

AIの「記録しました」を信じるかどうかで悩むと、毎回疲れてしまいます。カードに出たか出ないかだけで決めれば、迷う時間がなくなります。AIの言葉の調子や自信の度合いは、判断に使いません。

信じるか疑うかを考えなくて済むよう、判断をできるだけ単純にしておく。これが長く続けるためのコツだと感じています。ルールが単純なほど忙しい日にも守れます。

日付を確認項目に入れる

事故のあとに見つかった別の問題が、過去の数か月分の内容に一律で当日の日付が振られていたことでした。中身が正しくても日付が違えば使えません。

そこで確認では、本文だけでなく日付と件数も見るとよいと考えています。件数は戻り値の数と合うかを見る項目です。ここは機械でも人でも確かめやすい項目です。

日付のずれは、本文を読まなくても気づける手がかりになります。確認では数字から見るのがよいと考えています。数字が合っていれば、本文は落ち着いて読めるはずです。

まとめ

AIの作り話を防ぐ指示は、3つに分けると整理できます。

できなかったときの動きを決める。やったことの証拠を出させる。人が最後に確かめる場所を決める。

自分の事故は、道具が見つからないという小さなきっかけから起きました。AIに何かを書き込ませている方は、まず「使えなければ書かずに報告」の一文から足してみてください。

あわせて読みたい：AIに任せる判断と機械で判定することの分け方／AIに下書きを書かせる前に渡す材料