「AIをうたうなら、その精度は公開の場で証明すべき」──答えが公表されている社会保険労務士試験(健康保険法など)の問題で、AI法令検索「ことのり」の正誤判定を1記述ずつ検証し、良し悪しを含めてそのまま公開しています。出典は全国社会保険労務士会連合会 試験センター公表の問題・正答です。
現在の累計成績(社労士・健康保険法)
記述単位の正誤判定で40記述中34記述が公式正答と一致、問題単位で8問中5問正解。
このシリーズには、ことのりが外した問題も含まれます。うまくいった回だけを選んで載せることはせず、隠さず解剖して公開します。
検証の方法
各問の記述(A〜E)を1つずつ(1記述=1検索)、本番稼働中のことのりに「正しいか誤りか、根拠条文を挙げて判定してください」と入力し、返ってきた判定を公表の正答と照合します。プロンプトの工夫・再試行・人間の誘導はありません。
なぜ「AIが解く」を公開するのか
ことのりは、コラムもAIが一次情報をもとに作成していることを隠しません(→編集方針とAIの作り方)。だからこそ「そのAIはどこまで正確なのか」を、外した問題も含めて隠さず示す責任があると考えています。専門家を置き換えるためではなく、一次情報への入口を誰にでも速く・透明に開くためです。
これまでの検証(随時追加)
公開済み
- 第1回 健康保険法・協会の運営と給付
- 第2回 健康保険法・長文記述で3つ取りこぼし(外した回)
- 第3回 実在する条文を「存在しない」と誤判定(外した回)
- 第4回 健康保険法 問4『誤っているもの』を満点で特定
- 第5回 健康保険法 問7『誤っているもの』も満点で的中
- 第6回 『正しい』の早合点と告示頼みの保留(外した回)
- 第7回 健康保険法 問2『誤りの組合せ』も的中
- 第8回 健康保険法 問3『誤っているもの』を満点で特定
今後公開予定(順次)
- 第9回 柔道整復師の施術同意を『正しい』と早合点(外した回)
- 第10回 自殺と埋葬料の解釈を取り違え(外した回)
- 第11回 余分な『誤り』判定で正解肢を絞れず(外した回)
- 第12回 健康保険法 問6『正しいもの』を満点で特定
- 第13回 健康保険組合開設病院の指定を取り違え(外した回)
- 第14回 高額療養費の入院・外来別扱いを取り違え(外した回)
同じ検索を、あなたの実務の疑問で試せます
「ことのり」なら、調べたいことを日常の言葉で入力するだけで、関連する条文と出典リンク付きのレポートを数十秒で生成できます。本検証で使ったのと同じ本番サービスです。
ことのりを無料で試す