経理担当のShotaです。毎月届く請求書の登録を、AIに手伝ってもらう場面が増えてきました。手は空きますが、任せた分がきちんと終わっているかは気になるところです。
AIに請求書の登録作業を任せたら「完了しました」と返ってきました。ところが一部できていないことがありました。見逃していれば、請求の未払いや過払いにつながるところでした。今回はAIの報告と、実際にできたものがずれる話です。
この記事の3行まとめ
- AIの「完了しました」はAIが自分の作業を説明した文で、できた証拠ではない
- 報告と実物は、少ない・多い・実行されていない・数字が作られる、の4通りでずれる
- 書き込みを任せたら実物の側を数える。ただし数え直すのは、外に出るものとお金が動くものに絞る
「反映も確認しました」は、確認されていませんでした
複数の請求書から決まった項目を読み取って、書き込んでもらう作業でした。しばらくして返ってきた報告は「すべて書き込みました。反映も確認済みです」というものでした。
AIに任せた作業でも、できあがったものは最後に人が確認します。このときもいつもの手順で登録内容を確かめていきました。すると報告では済んでいるはずの請求書のうち、一部が登録されていませんでした。「反映も確認済み」と書かれていた確認も、実際には行われていませんでした。
こうしたずれが見つかるのは、たいていこの「人の確認」の段階です。報告の文面には不自然なところがありませんでした。件数もそろっていて、確認まで済ませたと書いてありました。人の確認があったから、報告の中に隠れていたずれを、次の作業へ進む前に見つけられました。
その人の確認にも落とし穴があります。報告に「確認済み」と書いてあると、チェックの目はつい甘くなります。報告を読んで済ませてしまえば、実物を見たことにはなりません。人が見るべきは報告ではなく、できあがったものそのものです。
報告は、AIが自分の作業を説明した文にすぎません
報告の◯と、実際の成果物は別のもの
この件で考え方が変わりました。AIの報告は作業の結果そのものではありません。AIが「自分はこういう作業をした」と説明した文です。
経理でいえば、経費精算の申請書と領収書の関係に近いと思います。申請書には何にいくら使ったかが書いてありますが、それは本人の申告です。だから私たちは申請書だけで精算せず、領収書と突き合わせます。申請した人を疑っているからではありません。申告と証拠は別のものだからです。
AIの報告は申請書の側です。中身が正しいことも多いのですが、それ自体は証拠になりません。証拠になるのは実際に書き込まれた記録や、作られたファイルのほうです。
報告と実物がずれる4つの型
ずれ方には型があります。型を知っておくと、どこを確かめればいいかが見えてきます。
- 報告より少ない：いくつかの登録のうち1件だけ失敗しても、処理は止まらずに残りを続けます。失敗を飲み込んだまま最後まで進んで「完了しました」と報告されると、数だけがずれます。
- 報告より多い：失敗したと思ってやり直したら、実は1回目が通っていたという場合です。こうなると同じものが二重に入ります。経理でいう二重計上と同じ構造です。
- そもそも実行されていない：「これから書き込んで反映を確認します」という手順を、実行済みのこととして報告に書いてしまう場合です。最初の例の「反映も確認済み」はこれでした。
- 数字そのものが作られる：大量の記録をAIに読み込ませて、条件に合うものを数えさせたときのことです。AIは作業の途中で、それまでの経過を要約して整理し直していました。最後に報告された件数は、私が同じ条件で数え直した件数と大きく違っていました。AIは要約に残った断片から件数を「思い出して」報告していたのです。もっともらしい数字ほど疑われずに通ってしまいます。
1と2は人の作業でも起きます。3と4はAIに任せたときに特に気をつけたい型です。
報告ではなく、できあがったものの側を数える
AIの報告ではなく、できあがったものを人が数える
この4つの型を踏まえて、書き込みを任せたあとに人が確認するときのやり方を3つ決めました。
- 書き込んだら別の手段で取り直して数える：報告に書かれた件数は使いません。登録先の一覧を開き直して、実際に増えた件数を数えます。報告の数と一覧の数が一致して、はじめて完了とします。システムが「成功しました」と返してきた場合も同じです。その返事は「受け付けました」という意味で、書き込みまで終わったとは限らないことがあります。だから反映されたかを取りにいきます。
- やり直す前にいまの状態を確かめる：失敗したように見えても、すぐにはやり直しません。まず登録先を見て、1回目が通っていないかを確かめます。二重に入る型（2）はこれで防げます。
- 結論を左右する数字は1つだけでも自分で数え直す：報告に出てくる数字を全部確かめるのは無理です。ただ判断がその数字で変わるものは、少なくとも1つを同じ条件で自分で数え直します。数字が作られる型（4）は、これでしか見つけられません。
どれも特別な道具はいりません。請求書を発行したあとに送付済みの一覧で件数を確かめるのと同じく、結果の側を見にいく習慣です。
続けてみると、思っていた以上の効果がありました。できあがったものの側を見るようになると、自分が期待していた結果と実際の成果物との差が見えてきます。その差を手がかりに、AIへの指示（プロンプト）を直していきました。たとえば請求書を特定する手がかりを、人なら読み取れても判断が必要な項目から、どの請求書にも共通して載っている項目に変えました。その結果、AIが請求書を特定する精度が上がりました。確かめる作業が、そのまま任せ方を磨く材料になる運用ができあがっています。
数え直す範囲は、絞ります
ここまで読むと、AIの報告は全部数え直すべきだと思われるかもしれません。ただ全部を数え直すなら、AIに任せた意味がなくなります。しかもそうした運用は長続きせず、忙しい月から確認が省かれて「確認したことにする」だけの形になります。報告をうのみにするのと結果は同じです。
だから私は数え直す対象を絞っています。基準は、その作業が外に出るかどうかと、お金が動くかどうかです。会計データへの登録や取引先に届くもの、支払に関わるものは数え直します。AIに資料を読ませて要点をまとめてもらうような、読むだけの作業は対象にしません。間違っていてもあとで直せる範囲にとどまるからです。
明日からの一歩
まずは1回だけ試してみてください。次にAIに何かの登録を頼んで「完了しました」と返ってきたら、その返事を読み込む前に、登録先の一覧を別の画面で開きます。そして返事に書かれた件数と、一覧で実際に増えた件数を比べます。
一致すればそれで安心できます。ずれていたら、それはこの記事の4つの型のどれかに当たるはずです。どの型だったかが分かれば、次から何を確かめればいいかも決まります。
まとめ
AIの「完了しました」は、AIが自分の作業を説明した文です。正しいことも多いのですが、それ自体はできた証拠になりません。報告と実物は少ない・多い・実行されていない・数字が作られる、の4通りでずれます。
だから書き込みを任せたら、報告ではなくできあがったものの側を数えます。書き込んだら取り直して数え、やり直す前にいまの状態を見て、結論を左右する数字は自分で数え直します。そして数え直すのは、外に出るものとお金が動くものに絞ります。
申請書を領収書で確かめるのは、申請した人を疑うためではありません。AIの報告を実物で確かめるのも同じ理由になります。
なお、AIに任せた処理が静かに止まっていた話は先月は来ていた請求書が、今月は来ていない、拾うべき依頼を取りこぼした話は起票されなかったタスクに誰が気づくのかで書いています。
