結論:令和7年司法試験 短答式試験(民法)第36問(催告)で、AI法令検索「ことのり」は5記述中4記述は正解と一致したものの、記述アで実在しない「民法125条の2」という条文を根拠に挙げて誤判定し、問題単位では不正解となりました。「外した問題」解剖の第3弾にして、本シリーズで最も重要な回です。AIの法令調査で何より怖い「実在しない条文の引用(ハルシネーション)」が実際にどう起き、どんなシグナルで見抜けるのかを、隠さず全部公開します。
第36問の内容(催告)
第36問は、催告に関する次のアからオまでの各記述のうち「誤っているものの組み合わせ」を選ぶ問題です(配点3点。出典:法務省「令和7年司法試験 短答式試験問題集[民法]」)。
ア.強迫による意思表示をした者が、強迫による畏怖の状況を脱した後、相手方から、1か月以上の期間を定めてその期間内に当該意思表示を追認するかどうかを確答すべき旨の催告を受けた場合において、その期間内に確答を発しないときは、その行為を追認したものとみなされる。
イ.負担付遺贈の受遺者がその負担した義務を履行しないため、相続人が相当の期間を定めてその履行を催告したが、その期間内に履行がないときは、負担付遺贈は、その期間を経過した時にその効力を失う。
ウ.解除権の行使について期間の定めがない場合において、相手方が、解除権を有する者に対し、相当の期間を定めてその期間内に解除をするかどうかを確答すべき旨の催告をしたが、その期間内に解除の通知を受けないときは、解除権は、消滅する。
エ.債権の目的が数個の給付の中から選択によって定まり、当事者の一方がその選択権を有する場合において、その債権の弁済期の到来後に、相手方から相当の期間を定めて催告をしても、選択権者がその期間内に選択をしないときは、その選択権は、相手方に移転する。
オ.遺言者が遺言執行者を指定する遺言が効力を生じ、相続人が、遺言執行者に対して、相当の期間を定めてその期間内に就職を承諾するかどうかを確答すべき旨の催告をした場合において、遺言執行者がその期間内に相続人に確答をしないときは、就職を承諾したものとみなされる。
ことのりの判定結果:4記述一致・1記述不一致
| 記述 | ことのりの判定 | 挙げた主な根拠条文 | 法務省正解との照合 |
|---|---|---|---|
| ア | 正しい | 「民法125条の2」(実在しない条文) | 不一致(正解は「誤り」) |
| イ | 誤り | 民法1027条 | 一致 |
| ウ | 正しい | 民法547条 | 一致 |
| エ | 正しい | 民法408条 | 一致 |
| オ | 正しい | 民法1008条 | 一致 |
法務省正解は「1」(アとイが誤り)。ことのりはアを「正しい」と判定したため、問題単位では不正解です。
記述アで何が起きたか:実在しない条文による判定
ことのりは記述アを「正しい」と判定し、その根拠として「民法第125条の2」を挙げ、「催告に確答しなければ追認とみなされる」という内容まで説明しました。しかし、民法に125条の2という条文は存在しません(民法125条は「法定追認」の規定で、催告への沈黙を追認とみなす内容ではありません)。
現行法で「催告に確答しないと追認とみなされる」仕組みがあるのは、民法20条が定める制限行為能力者の相手方の催告権の場面です。強迫による取消しについては、催告への沈黙で追認を擬制する規定は存在しないため、記述アは「誤り」が正解です。検索で該当する条文が見つからなかった箇所を、AIが学習時の内部知識で穴埋めし、もっともらしい条文番号と内容を生成してしまった——典型的なハルシネーション(幻覚)です。
重要:AIは「危険シグナル」を自分で出していた
このレポートには、見逃してはならない一文がありました。
なお、この民法第125条の2の規定は、提供された参考情報には含まれていません(参考情報に記載がないため学習データに基づく)。(ことのりのレポートより)
つまりAI自身が「この条文は検索結果から取ったものではなく、自分の記憶に基づいている」と申告していたのです。実際、この「条文」にはe-Govへの出典リンクも付いていませんでした。一方、正解した他の4記述(民法1027条・民法547条・民法408条・民法1008条)の根拠条文には、すべて出典リンクが付いています。
この結果から言えること:幻覚の見抜き方
- 出典リンクのない条文引用は信用しない:ことのりの回答で条文にe-Govリンクが付いていない場合、その条文は検索結果由来ではない可能性があります。必ずe-Govで条文番号を確認してください。
- 「参考情報に含まれていない」「学習データに基づく」という注記は赤信号:この注記が付いた記載は、本検証で2回(第1回のウと今回のア)登場し、2回とも内容に問題がありました。注記付きの記載は原文確認が必須です。
- 結論だけ読まない:今回の誤判定も、根拠条文をe-Govで引こうとすれば(存在しないので)すぐ気づけるものでした。AIの回答は「条文への案内」として使い、最終確認は必ず一次情報で行ってください。
本シリーズ全10問・50記述の検証で、実在しない条文が登場したのはこの1箇所でした。発生頻度は低くても、影響は大きい。だからこそ、この回をシリーズの締めくくりに最も詳しく公開しました。
シリーズ累計成績
令和7年司法試験 短答式試験(民法)のうち条文知識を問う10問(第1・2・5・14・15・25・28・32・34・36問)・計50記述で同じ検証を行った結果は次のとおりです。
- 記述単位の正誤判定:50問中47問が法務省正解と一致
- 問題単位(組合せ選択肢の導出):10問中7問正解
正解できなかった3問(第25・28・36問)も含めて、全問をこのシリーズで公開します。うまくいった例だけを選んで載せることはしません。第1回はこちら。
同じ検索を、あなたの実務の疑問で試せます
「ことのり」なら、調べたいことを日常の言葉で入力するだけで、関連する条文と出典リンク付きのレポートを数十秒で生成できます。本検証で使ったのと同じ本番サービスです。
この問題の論点を実際に検索してみるよくある質問
AIの「ハルシネーション」とは何ですか?
AIが事実に基づかない内容を、もっともらしく生成してしまう現象です。本件では、検索で根拠条文が見つからなかった箇所をAIが内部知識で穴埋めし、実在しない条文番号を挙げました。
存在しない条文を見抜く方法はありますか?
2つあります。①出典リンクの有無:ことのりは検索で取得した条文にe-Govへのリンクを付けるため、リンクのない条文引用は要注意です。②本件ではAI自身が「この条文は参考情報に含まれていない」と注記していました。この注記がある回答は必ず原文確認してください。
この問題を受けて、サービスは改善されますか?
検証で得られたこのパターン(検索で条文が見つからない場合に内部知識で補完する挙動)は、表示の改善などの検討材料として活用していきます。検証シリーズはそのための取り組みでもあります。
※本記事はAIによる調査支援を活用して作成した参考情報です。検証結果は記載の問題・時点におけるものであり、すべての検索で同等の結果を保証するものではありません。制度の詳細や最新の取扱いは、必ず一次情報および専門家にご確認ください。