PREDICTION MODEL RECONSTRUCTION 自己採点アンケートの予測モデルを全面的に再設計しました
いつも自己採点アンケートにご協力いただき、ありがとうございます。今回、平均点だけを補正する従来方式から、分布の中心・広がり・教科構成を別々に推定し、最後に一つの整合した得点分布へ統合する方式へ移行しました。自己採点標本に含まれる選択バイアスを一律の点数差として扱わず、テストごとに変化する誤差構造を複数の推定器で捉える設計です。
自己採点アンケートは、参加してくださった方の回答から構成されるため、受験者全体を無作為に抽出した標本とは性質が異なります。回答数や得点帯の構成はテストごとに変化し、標本平均と母集団平均の差も一定ではありません。また、平均点が近いテストでも、得点が中心付近へ集まる場合と広く分散する場合とでは、偏差値換算に必要な標準偏差が異なります。そこで、回答者の属性を一括りに評価するのではなく、観測された分布の形状と過去実績の対応関係から、位置と尺度を別々に補正します。
平均点と標準偏差を分離推定し、最終段階で統合
平均点は、回答者分布の中心位置と選択バイアスを複数経路で推定し、残差補正を加えたアンサンブルで決定します。標準偏差は、自己採点分布の標準偏差に過去の母集団対標本の尺度比を適用し、同条件履歴の情報量が十分な場合だけその比率を強く採用します。履歴が少ない場合は、回答数の平方根で重み付けした広域推定と中央値推定へ縮約するため、少数履歴の極端な尺度比に引っ張られにくくなっています。
| テスト | 公開平均 | 新平均 | 実平均 | 平均誤差 | 公開SD | 新SD | 実SD | SD誤差 |
|---|---|---|---|---|---|---|---|---|
| 3月度復習テスト | 292.0 | 292.2 | 292.9 | 0.7 | 74.0 | 74.0 | 79.1 | 5.1 |
| 4月度マンスリー確認テスト | 276.3 | 277.6 | 277.9 | 0.3 | 75.2 | 75.2 | 71.8 | 3.4 |
| 第1回志望校診断SO | 241.8 | 268.5 | 268.5 | 0.0 | 69.1 | 69.1 | 61.1 | 8.0 |
| 6月度マンスリー確認テスト | 292.9 | 275.5 | 275.6 | 0.1 | 74.5 | 75.4 | 78.8 | 3.4 |
| 7月度組分けテスト | 262.5 | 254.3 | 253.2 | 1.1 | 64.1 | 72.3 | 70.3 | 2.0 |
現行モデルを過去5回へ同一仕様で適用すると、平均点のMAEは0.4点、最大誤差は1.1点でした。標準偏差も、尺度補正が実際に作動する6月・7月では直近2回のMAEが5.3から2.7へ縮小しています。平均点だけでなく、偏差値換算の基礎となる分布幅まで同時に改善した点が、今回の再設計で最も重要な成果です。
過去5回に対する絶対誤差を ei = |ŷi - yi| とすると、現行モデルの遡及MAEは次式で表されます。
条件の異なる5回を同一の推定パイプラインで再構成した結果です。位置・尺度・教科構成を分離した設計が、従来方式に残っていた誤差を説明できていることを示します。
この0.4点は、現行モデルが過去データをどこまで精密に説明できるかを表す遡及上の理論値です。モデル設計にも同じ期間の情報を用いているため、実運用で毎回0.4点前後になるという意味ではありません。一方、過去5回すべてを1.1点以内へ収めたことは、未知のテストでも従来方式より誤差を小さくできる可能性を示す有力な結果です。
実際の誤差は、回答数や得点帯の構成、テスト形式の違いによって0.4点より大きくなると考えられます。現段階では、多くの回を数点以内に収め、ときどき生じる大きな外れを抑えながら、5回平均で3〜5点程度に着地する姿を現実的な期待値とします。過去5回で確認できた補正の一貫性を踏まえると、十分に狙える目標だと考えています。従来の実運用MAE 11.2点から見ても、達成できれば明確な改善です。
次回以降は、結果を見て係数を動かさず、同じ仕様のままMAE・最大誤差・方向バイアスを更新します。目標は0.4点という数字を守ることではなく、未知データに対しても安定して従来方式を上回ることです。遡及検証で得られた高い適合度を出発点として、実績が増えるたびに期待値の幅を狭めていきます。
予測モデルを構成する7つの推定モジュール
新モデルは、ひとつの複雑な式ですべてを説明するのではなく、誤差の発生源ごとに役割を分担します。各モジュールの出力を独立に確認できるため、予測が動いた理由を追跡しながら、過度な補正だけを抑制できます。
1 ロバスト位置推定
自己採点標本の平均は、入力誤差だけでなく、得点分布の歪度や裾の厚さにも敏感です。そこで算術平均を唯一の位置推定量とせず、中央値、トリム平均、MAD、四分位範囲、平均-中央値差を並列に計算します。中央値とMADは高い破綻点を持つため、少数の極端値が混入しても中心位置を安定して保持できます。
外れ値候補は機械的に削除せず、明らかな不正値を除いてWinsor化を優先します。実際の低得点・高得点まで除去すると母集団の裾を人工的に切断するからです。平均-中央値差は歪度の代理変数として残し、標本分布が左右非対称な回では補正量を条件付きで変化させます。これにより、観測値を消すのではなく、観測値への感度を制御します。
2 選択機構の補正
アンケートは任意参加であるため、得られるデータは母集団から機械的に抽出した単純無作為標本ではありません。これは回答の良し悪しではなく、公開アンケートに共通する標本設計上の性質です。統計的には、観測された得点分布と回答が集まる過程を分けて考える必要があるため、モデル内部では両者を別の生成過程として扱います。
個々の回答へ恣意的な重みを付けるのではなく、標本中心、前回差、上下の得点帯の厚み、回答数、テスト種別を集計単位の特徴量として利用します。同条件の履歴が少ないときは全体履歴へ縮約し、特定回の偶然だけで補正量が大きく動かないようにします。これにより、ご提供いただいた回答をできるだけ保持したまま、母集団との差を安定的に推定します。
3 正則化回帰
利用可能なテスト数に比べて候補特徴量が多いため、無制約の最小二乗法では係数分散が増大し、わずかなデータ変更で予測が不安定になります。そこで係数ベクトルにL1・L2型のペナルティを課す考え方を採用し、説明力の小さい変数を縮約すると同時に、相関の強い特徴量群が過度に大きな係数を持つことを防ぎます。
正則化強度は過去データへの最小誤差だけで選ばず、時系列を維持した前向き分割で評価します。また係数の符号や補正上限にも実務的制約を置き、未知領域で不合理な外挿が起きにくい構造にします。係数はテストごとに再最適化せず、一定期間固定することで、モデル改善と評価データの混同を抑えます。
4 残差モデリング
旧方式には、回答数加重、同条件履歴、過去補正の頑健化という安定した基盤があります。新モデルはこれを廃棄せず、旧方式の出力をベースライン予測 ŷ₀ として保持し、観測残差 e = y - ŷ₀ のうち説明可能な成分だけを二段階目のモデルで推定します。最終予測は ŷ = ŷ₀ + ĝ(x) です。
この構造では、新たな特徴量が有効な条件でのみ補正が働き、情報が乏しい場合は自然に旧方式へ戻ります。残差補正にはクリッピングと縮約を適用し、極端な補正が基礎予測を破壊しないようにします。ベースラインと補正項を別々に保存するため、どの機構が何点動かしたかを監査でき、将来の誤差分析にも利用できます。
5 アンサンブル推定
平均中心モデル、中央値中心モデル、分布非対称性モデル、履歴補正モデル、残差モデルは、それぞれ異なるバイアスと分散を持ちます。単一の「最良モデル」を選ぶと選択誤差が大きくなるため、複数の推定器を凸結合し、最終推定値を ŷ = Σ wₖŷₖ、Σwₖ = 1、wₖ ≥ 0 として構成します。
重みは学習誤差だけでなく、前向き検証のMAE、最大誤差、方向バイアスを総合して決めます。誤差相関の低い推定器を組み合わせれば、一つの経路が特殊な分布へ過剰反応しても他の経路が吸収できます。重みの過度な集中を抑えることで、平均精度だけでなくテールリスク、すなわち大外れの抑制も狙います。
6 整合制約付き推定
教科別モデルを独立に推定すると、算数・国語・理科・社会の予測平均の合計が、全科モデルの予測平均と一致しないことがあります。そこで未制約推定ベクトル μ̃ に対し、Aμ = b という線形制約を課した射影問題として最終調整し、全科と内訳の代数的整合性を保証します。
調整量は一律配分せず、各教科推定の不確実性を表す共分散行列を用いる考え方で配分します。精度が安定している教科は小さく、不確実性の高い教科は大きく動かすことで、情報量を尊重した整合化が可能です。これは見た目を合わせる事後処理ではなく、制約付き最小分散推定としてモデルの最終層に組み込みます。
7 位置・尺度の分離
平均点は分布の位置母数、標準偏差は尺度母数であり、同じ加算補正で動かすべき量ではありません。位置モデルは点差を推定する一方、尺度モデルは正値性を保つため、母集団SDと自己採点SDの比率、またはその対数 log(σactual/σself) を対象にします。対数尺度なら過大・過小の比率を対称に扱えます。
尺度比は同条件履歴と全テスト履歴を部分プーリングし、履歴数が少ないほど広域平均へ強く縮約します。回答数の平方根を情報量の近似重みとして用い、少数回答の極端な比率が支配しないようにします。平均点とSDを別々に最適化した後、両者を統合することで、平均だけでなく偏差値換算や順位帯推定に必要な分布形状を再構成します。
教科別推定と全科推定を整合制約で接続
算数・国語・理科・社会では、同じ説明変数が同じ強さで働くとは限りません。算数は分布の非対称性、国語は中央値の位置、理科は低得点側の厚み、社会は平均と中央値の乖離など、教科ごとに安定する情報が異なります。各教科の係数は個別に推定し、最後に全科予測との整合を取ります。
| 科目 | 新方式平均 | 実平均 | 平均差 | 新方式SD | 実SD | SD差 |
|---|---|---|---|---|---|---|
| 算数 | 62.3 | 62.5 | -0.3 | 29.8 | 28.6 | +1.2 |
| 国語 | 85.5 | 83.6 | +1.9 | 16.5 | 21.2 | -4.7 |
| 理科 | 54.1 | 54.1 | ±0.0 | 14.6 | 16.3 | -1.7 |
| 社会 | 52.4 | 53.0 | -0.6 | 15.2 | 17.9 | -2.7 |
| 全科 | 254.3 | 253.2 | +1.1 | 72.3 | 70.3 | +2.0 |
今後の検証と更新
次回以降は現行仕様を固定し、結果が判明する前に出した予測だけを前向き評価へ追加します。平均点は今後5回のMAE 5点以内、最大誤差12点以内、標準偏差はMAE 4点以内を実運用目標とします。過去5回で補正方向が一貫して機能したことから、いずれも現実的に目指せる水準だと考えています。3回で方向バイアスを中間点検し、5回で初回評価、10回で係数の再推定を検討します。
※遡及理論値と実運用目標は、現在までに得られたデータと現行モデルの検証結果に基づくものです。今後のテスト形式や回答分布によって誤差は変動するため、将来の精度を保証する値ではありません。