AIエージェント（Claude）を部下に見立てた一人組織を、数か月運転しています。ここに残すのは、実際に当たった問題と、それに対して自分で決めたことです。
AIの「やりました」が実在しなかった
AIが「保存しました」「終わりました」と報告してきても、実際にはファイルが存在しなかったことがありました。それ以来、完了報告はそのまま信じず、実際の記録やファイルの中身で裏を取ってから信じるというルールにしています。特に作業の担当が切り替わる境目では、この裏取りを省きません。報告には実体の証拠（記録の番号や場所）を添えさせ、添えられない報告は通しません。
複数のAIを同時に動かすと、共有している1つのものが壊れる
複数のAIに並行して作業させたとき、変更を書き込む場所が1つしかない仕組み（git）のせいで、あるAIの変更が別のAIの作業に巻き込まれてしまったことがありました。分けられるものは担当ごとに分け、分けられない共有物は、そもそも触れない構造にするという決め方に切り替えました。あわせて、巻き込みを起こす操作は、実行前にプログラムが自動で止めるようにしています。
AIの答えと、プログラムの答えは、信用の仕方が違う
決まった手順で動くプログラムは、同じ入力なら毎回同じ答えを返します。AIは、同じ材料でも日によって答えが変わることがあります。この2つを同じ「確認済み」として扱っていたのが、初期の失敗でした。今は、「確認した」と言ってよいのはプログラムが出した結果だけに限り、AIが出した判断には、どのくらい確からしいかの印を付けてから記録することにしています。
自分の監査を自分で反証していた
AIに自分の作業を点検させても、点検役自体が同じ判断のクセを持っているため、見落としを見逃していたことがありました。役割（点検の視点）をいくら増やしても直りません。最終的には、頭の中の判断ではなく、実際に動かして出てきた結果に照らして正誤を決めるようにしました。実際、前の点検で「問題なし」とされていた指摘が、データで見ると残っていたことがありました。ただ、データで確かめられない種類の判断をどう扱うかは、まだ答えが出ていません。
作りすぎて空回りした
「念のため」で点検役や自動の便を足すほど、報告は増え、本当に動くべき知らせがその中に埋もれました。仕組みは足した分だけ安全になるのではなく、足した分だけ信号が薄まります。今は、作る前に「繰り返し起きるか」「何をきっかけに動くか」「何が回収できるか」の3つが言えないものは作らない、一定期間動かなかった仕組みは止める、と決めています。それでも、どこまで減らすと組織として回らなくなるのかは、まだ分かっていません。
今のところ行き着いた3つ
いま守っているのは3つです。置き場所が役割を表すこと、読むのは誰でも自由だが書く場所は担当を決めること、過去の記録は書き換えず今の状態だけを最新にすること。当たり前だと思っていたことほど、AIの組織にもそのまま要ると気づきました。
AIに任せてよい範囲と任せてはいけない範囲を、自分の手で線引きしている途中の記録です。
1983年生まれ・石川県出身。飲食店店長→営業→32歳で起業し社長に。いまはWEBメディア運営とAI活用に挑戦中。プロフィールを見る