機械学習 評価指標：モデル診断ガイド

機械学習の評価指標：あなたのモデルを測る羅針盤

機械学習モデルの構築において、最も重要な要素の一つが「評価指標」です。モデルの性能を定量的に把握し、改善の方向性を見つけるために、様々な評価指標が存在します。本記事では、代表的な評価指標をわかりやすくまとめ、それぞれの特性と使い分けについて解説します。

1. 正確度 (Accuracy)

正確度は、予測結果が正解であった割合です。最も理解しやすい指標ですが、データセットのクラス分布が偏っている場合は、その偏りを反映した結果しか得られません。例えば、ある病気の診断モデルで、正常者が9割、患者が1割というデータセットでは、このモデルの正確度は非常に高くなります。しかし、実際には患者の割合が少ないため、モデルの真の性能を測っているとは言えません。

計算式：(正しく予測されたデータ数) / (全データ数)

2. 再現率 (Recall)

再現率とは、実際に正しくポジティブ（例：病気である）と予測されたデータのうち、実際にポジティブだったデータである割合です。つまり、モデルがポジティブなものをどれだけ見逃さないかを示す指標です。医療診断などの分野では、誤診（false negative）を減らすことが重要であるため、再現率の高さが求められることが多いです。

計算式：(真のポジティブデータ数) / (真のポジティブデータ数 + 偽のネガティブデータ数)

3. 適合率 (Precision)

適合率とは、モデルがポジティブと予測したデータのうち、実際にポジティブだったデータである割合です。つまり、モデルが「ポジティブ」と判断したものがどれだけ正しいかを示す指標です。スパムメールフィルタリングなど、誤ってポジティブと判断した場合に、悪い影響が少ない場合に有用です。

計算式：(真のポジティブデータ数) / (真のポジティブデータ数 + 偽のポジティブデータ数)

4. F1 スコア

F1 スコアは、適合率と再現率の調和平均です。適合率と再現率のバランスを考慮した指標であり、特にデータセットのクラス分布が偏っている場合に有用です。 適合率と再現率のどちらか一方だけが高い場合でも、F1 スコアはバランスの取れた評価値となります。

計算式：2 * (適合率 * 再現率) / (適合率 + 再現率)

5. 混同行列 (Confusion Matrix)

混同行列は、モデルの予測結果を視覚的に表現するための表です。真の値（実際）と予測された値を比較し、正しい予測数、誤った予測数（偽のポジティブ、偽のネガティブ）を把握することができます。 混同行列を分析することで、モデルの弱点や改善のポイントを発見することができます。

混同行列は、以下の要素で構成されます。

• True Positive (TP): 真のポジティブで、モデルが正しくポジティブと予測
• True Negative (TN): 真のネガティブで、モデルが正しくネガティブと予測
• False Positive (FP): 偽のポジティブ: ネガティブだったが、モデルがポジティブと予測
• False Negative (FN): 偽のネガティブ: ポジティブだったが、モデルがネガティブと予測

これらの評価指標を理解し、適切に活用することで、機械学習モデルの性能をより深く理解し、改善していくことができます。