AI添削サービスを作るとき、最初に決めたのは「何を出すか」ではなく「何を出さないか」でした。この記事は、その判断の根拠と、実際にどういう形で結果を返しているかの説明です。サービスの設計思想を書いた記事なので、この記事だけはサービス自体の話をします。
出さないもの1:合否予想
「あなたの答案は合格ラインです」「このままだと不合格です」といった判定は出しません。根拠がないからです。
技術士第二次試験の合否決定基準として公表されているのは、文部科学省が示した「60%以上の得点」という基準だけです。何をどう評価して何点になるのか、その内訳は公開されていません。 さらに受験申込み案内には、筆記試験の合格発表の項に「採点結果の内容(答案用紙の開示を含む)に関する問合せには、一切応じません」、最終合格発表の項に「採点結果の内容に関する問合せには、一切応じません」と明記されています。
つまり、採点の実際を外部から観測する手段がありません。観測できないものについて「合格ラインです」と言えば、それは推測を断定の形で出していることになります。受験者にとって最も知りたい情報であることは承知していますが、根拠のない安心も、根拠のない不安も、対策の役に立ちません。
出さないもの2:総合点
「100点満点で68点」のような総合点も出しません。理由は2つあります。
1つは合否予想と同じで、配点の内訳が非公開である以上、総合点を出す根拠がないこと。
もう1つは、総合点が構造的に誤解を招くことです。技術士第二次試験の合否は合計点ではありません。筆記は必須科目と選択科目それぞれ60%以上、口頭は4つの試問事項それぞれ60%以上という、区分ごとの絶対基準です。したがって「合計70点」という表示は、たとえ正確でも意思決定を誤らせます。3項目が満点でも1項目が基準未満なら不合格になる試験で、合計点は行動を変える情報になりません。
出すもの:試問事項ごとの充足度と、その根拠
代わりに出しているのは、公式の試問事項に1対1で対応づけた充足度です。
口頭試験の試問事項は受験申込み案内に明記されています。
| 試問事項 | 配点 | 合否決定基準 |
|---|---|---|
| Ⅰ 技術士としての実務能力 ① マネジメント、評価 | 30点 | 60%以上 |
| Ⅰ ② コミュニケーション、リーダーシップ | 30点 | 60%以上 |
| Ⅱ 技術士としての取組姿勢 ③ 技術者倫理 | 20点 | 60%以上 |
| Ⅱ ④ 継続研さん | 20点 | 60%以上 |
出力はこの4項目ごとに「どの程度示せているか」を段階で示し、それぞれに根拠を添えます。根拠とは次の2つです。
- あなたの文章のどこを見たか:該当箇所の引用。引用できる箇所がなければ、その項目は「示せていない」と判定します
- 公式のどの記述に照らしたか:試問事項名と、技術士に求められる資質能力(コンピテンシー)の定義原文
たとえばマネジメントについての指摘であれば、コンピテンシーの定義「業務の計画・実行・検証・是正(変更)等の過程において、品質、コスト、納期及び生産性とリスク対応に関する要求事項…を満たすことを目的として、人員・設備・金銭・情報等の資源を配分すること」のどの語に対応するかを示します。
指摘の正しさを、読んだ人が自分で検証できる形にする。これが設計の中心です。AIの判断を信じてもらう代わりに、根拠を確認して自分で判断してもらうという立て付けにしています。
なお、令和8年度の試験からはコンピテンシーの改訂版が適用されます。評価に使う原文も改訂後のものです。
出すもの:事実を捏造しない改善案
添削では改善案も返しますが、ここに1つ強い制約をかけています。あなたが書いていない事実を、AIが補わないことです。
生成AIに「業務内容の詳細を良くして」と頼むと、もっともらしい数値や固有名詞が混ざった文章が返ってくることがあります。これは受験申込書では致命的です。受験申込書に記載した業務経歴と業務内容の詳細は、提出後に加筆・訂正ができません。そして口頭試験は「業務経歴を踏まえ実施する」ものであり、試験官はその記載を前提に質問します。書いていない事実を書けば、口頭試験で答えられない質問を自分で用意することになります。
そのため改善案では、数値や固有名詞が必要な箇所はプレースホルダで示し、「ここはあなたが実際の値を入れてください」と明示します。文章の骨格と論理構成は提案しますが、事実は受験者本人のものだけを使います。
720字の構成そのものについては業務内容の詳細(720字)の構成を参照してください。
3つの機能と、それぞれの評価軸
現在の機能は3つで、いずれも同じ原則で動いています。
1. 受験申込書「業務内容の詳細」の添削
720字の本文を、記入要領が挙げる4要素(目的/立場と役割/技術的内容及び課題/技術的成果)の有無、字数(半角文字も1字・図表不可)、そして口頭の試問事項のうち申込書で示せる項目との対応で見ます。加えて「専門とする事項」との整合を確認します。
2. 口頭試験の想定質問生成
申込書の内容から、試問事項①〜④それぞれについての想定質問を生成します。各質問には「どの試問事項に対応するか」と「試問の意図」を付けます。質問そのものより、なぜその質問が来るのかのほうが準備には効くためです。
3. 回答の評価
想定質問への回答を入力すると、試問事項ごとの充足度と、公式が求める「試問の意図を考え簡潔明瞭に」という基準に照らした指摘を返します。20分で4項目を示す必要がある試験なので、冗長さと脱線は内容の誤り以上に問題になります。
申込書が口頭の材料になる構造については申込書が口頭試験の台本になる理由で扱っています。
どこまで検証できていて、何が未検証か
「AIが評価します」と言うだけなら誰でも言えます。実際にどう確かめたかを書きます。
想定質問の的中:公開されている再現記録との照合
公開されている受験者本人の口頭試験再現記録(令和元年度〜令和6年度)のうち、建設部門の6本を使いました。6本のうち合否が本文に明記されているのは1本のみで、残りは合否の記載がありません。手順は、再現記録から「本人の業務概要(申込書に相当する情報)」と「実際に聞かれた質問」を分離し、業務概要だけを入力して想定質問を生成し、実際に聞かれた質問102問がどれだけ含まれているかを判定するというものです。
初期版のカバー率は102問中58問(57%)でした。取りこぼしを分析すると、冒頭の「経歴と業務内容を◯分で説明してください」、受験動機、失敗例の質問など、業務内容に依存しない定番質問がまとめて抜けていました。そこで、公式の試問事項に紐づく定番質問のテンプレートを層として加えたところ、**102問中85問(83%)**になりました。
申込書添削の妥当性:意図的に劣化させた文章での検証
720字の文章から「技術的成果」の記述を削る、立場の記述を曖昧にする、マネジメントに関する記述を削るといった操作を行い、狙った項目の充足度だけが下がるかを確認しました。6ケース中4ケースで狙った項目の低下を検出しています。
未検証・限界として認識していること
- サンプル数が少ない。想定質問の検証は建設部門6本、申込書添削の検証は2本の文章が元です。統計的な精度を主張できる規模ではありません
- 申込書の実例が集めにくい。合格者が実際に提出した720字は、性質上ほとんど公開されていません。検証に使えたのは教材用の例文が中心です
- 充足度の尺度が粗い。段階評価では良い文章が上限に張り付く傾向が出たため、尺度の見直しを進めています
- 建設部門以外は未検証。現在の対象は建設部門です
これらは今後改善していく項目ですが、現時点で「精度◯%」と一言で言える状態ではない、というのが正確なところです。
使う側に判断してほしいこと
このサービスは、合否を教えるものではありません。公式に書かれている基準に対して、自分の文章や回答がどこまで対応しているかを、根拠つきで可視化する道具です。
そのうえで、次の使い方をおすすめします。
- 指摘に付いている根拠(引用と公式の記述)を必ず読み、納得できない指摘は採用しない
- 改善案のプレースホルダは、必ず自分の実際の業務の事実で埋める
- AIの出力を最終判断にしない。公式資料の原文を一次の根拠として、自分で確認する
試問事項4項目の全体像は口頭試験の試問事項と配点(令和8年度)にまとめています。
まとめ
- 合否予想と総合点は出さない。採点の内訳は非公開で、答案も開示されないため、根拠がない
- 合計点は誤解を招く。この試験は区分ごとに60%以上という絶対基準で、1項目の欠落が合否を決める
- 出すのは試問事項4項目ごとの充足度と、あなたの文章の引用+公式記述という2つの根拠
- 改善案で事実は捏造しない。数値・固有名詞はプレースホルダで示し、本人が埋める
- 検証は公開されている再現記録との照合で行い、想定質問のカバー率は102問中85問(83%)。ただしサンプルは建設部門6本で、限界も併記している