AIが自信たっぷりに嘘を言うことには名前があります。「ハルシネーション(幻覚)」と呼ばれます。存在しない法律の条文、架空の電話番号、間違った日付、誰も言っていない発言。どれも、文としては自然に出てきます。
厄介なのは、正しい答えと嘘の答えが、同じ文体で出てくることです。人間なら、自信のないときは言い方が変わります。AIは変わりません。第2話の通り、「正しさ」ではなく「続きやすさ」で言葉を選んでいるので、本人(機械)にも嘘をついている自覚がないのです。
起きやすい場面は決まっています。固有名詞(会社名、人名、製品名)、数字(金額、件数、電話番号)、日付、最近の出来事、狭い専門分野、そして「知らない」と言いにくい聞き方をされたとき。逆に、一般的な文章を整える、要約する、言い換える、といった仕事ではめったに起きません。
対策は3つで、第7話で詳しくやります。ここでは順番だけ。まず、事実は自分の手元の資料と突き合わせる。次に、固有名詞と数字と日付だけは、必ず目で見る。最後に、頼むときに「分からなければ分からないと言ってください」と一言添える。これは効きますが、万能ではありません。
一つ、心構えを。「AIが間違えた」は事故ではなく、天気のようなものです。雨が降るのは誰のせいでもなく、傘を持たずに出た方の責任です。確かめないで送った人の責任で、AIの責任ではない。第1話の「責任を取らない新人」に戻ります。