「AIをうたうなら、その精度は公開の場で証明すべき」──答えが公表されている宅地建物取引士資格試験(宅建)の問題で、AI法令検索「ことのり」の正誤判定を1記述ずつ検証し、良し悪しを含めてそのまま公開しています。出典は一般財団法人 不動産適正取引推進機構(RETIO)公表の問題・正解番号表です。
現在の累計成績(宅建・宅地建物取引業法)
記述単位の正誤判定で28記述中25記述が公式正解と一致、問題単位で7問中4問正解。
うまくいった回だけを選んで載せることはせず、外した問題が出れば隠さず解剖して公開します。
検証の方法
各問の4つの記述を1つずつ(1記述=1検索)、本番稼働中のことのりに「正しいか誤りか、根拠条文を挙げて判定してください」と入力し、返ってきた判定をRETIO公表の正解番号と照合します。プロンプトの工夫・再試行・人間の誘導はありません。
なぜ「AIが解く」を公開するのか
ことのりは、コラムもAIが一次情報をもとに作成していることを隠しません(→編集方針とAIの作り方)。だからこそ「そのAIはどこまで正確なのか」を、検証可能な題材で、隠さず示す責任があると考えています。専門家を置き換えるためではなく、一次情報への入口を誰にでも速く・透明に開くために、精度を正直に積み上げます。
これまでの検証(随時追加)
公開済み
- 第1回 宅建業法・宅地建物取引士
- 第2回 宅建業法・広告規制
- 第3回 宅建業法・免許
- 第4回 クーリング・オフできない「勤務先」(外した回)
- 第5回 聴聞は「公開」という宅建業法の特則(外した回)
- 第6回 「官報に公告」を条文にないと誤判定(外した回)
- 第7回 宅建業法・変更等の届出
今後公開予定(順次)
- 第8回 宅建業法・従業者証明書と従業者名簿
- 第9回 宅建業法・手付金等の保全措置
- 第10回 宅建業法・専任媒介契約
- 第11回 宅建業法・37条書面
- 第12回 建物状況調査の定義とあっせん料金(外した回)
同じ検索を、あなたの実務の疑問で試せます
「ことのり」なら、調べたいことを日常の言葉で入力するだけで、関連する条文と出典リンク付きのレポートを数十秒で生成できます。本検証で使ったのと同じ本番サービスです。
ことのりを無料で試す