AI評価とは

AI評価の責任範囲

AI評価（AI evaluation）は、AIの回答品質、安全性、再現性、業務適合性を測る活動です。

AI品質の作業では、AI評価を「入力、参照データ、モデル出力、評価、権限境界を分ける」ための言葉として扱います。値や名称を覚えていても、どの画面、どのログ、どの経路で効いているかを言えなければ、変更後の説明や障害報告には使いにくくなります。

ハルシネーション、レッドチーミング、モデルドリフトと並べると、AI評価が前提なのか、結果なのか、確認手段なのかを分けやすくなります。

AI評価の障害時の見方

リリース前確認、モデル変更、RAG改善、プロンプト変更、運用報告で使います。

作業前には、対象、確認元、利用者影響、戻し条件を短く書き出します。ここを曖昧にしたまま値を直すと、作業後に成功した通信だけが残り、なぜその状態で完了と判断したかを説明できません。

• AI評価を使う対象と所有者を確認する。
• 正常時、変更前、変更後の差分を同じ観点で比較する。
• ハルシネーション、レッドチーミング、モデルドリフトとの関係を作業メモに残す。

AI評価の確認粒度

評価データ、合格基準、回帰テスト、人手評価、失敗例の管理を確認します。

証跡には、プロンプト、参照元、検索結果、出力、評価観点、権限フィルター、監査ログを同じ時刻帯でそろえます。画面の表示だけ、単発の疎通結果だけ、誰かの口頭説明だけでは、後から別の担当者が再確認できません。

• 確認した場所、コマンド、画面名、時刻を残す。
• 成功結果だけでなく、失敗時のログやエラーも保存する。
• 値の根拠をチケット、台帳、設計資料へ紐付ける。

AI評価の似た用語との差分

便利な応答だけでは、根拠、再現性、データ保持、権限継承、誤回答時の責任範囲を確認できない。AI評価でも、表示上の有効化、単発の成功、設定値の一致だけで完了にすると、例外条件や古い経路が残る場合があります。

似た用語との差は、説明文の言い換えではなく作業結果で確認します。ハルシネーション、レッドチーミング、モデルドリフトのどれが入力で、どれが制御で、どれが確認結果なのかを分けると、レビューで話が戻りにくくなります。

• 単一の画面、単一のログ、単一の成功結果だけで完了にしない。
• 一時例外には理由、期限、削除条件を付ける。
• 影響が残る利用者、経路、権限、データを明記する。

AI評価の次の調査への渡し方

引き継ぎでは、AI評価の説明だけでなく、次に見る資料、異常時の連絡先、戻し判断の条件を残します。作業の最後に、設定値、利用者影響、証跡、関連語がつながっているかを確認します。

AI評価を単独の知識で閉じず、ハルシネーション、レッドチーミング、モデルドリフトと並べて説明できれば、設計、障害対応、監査のどの場面でも使いやすくなります。

• 作業後の確認結果と残課題を同じ記録に残す。
• 次回見直しの条件と担当を決める。
• 関連語としてハルシネーション、レッドチーミング、モデルドリフトを添え、次の調査順を示す。

関連語

同じ主要カテゴリの用語

AI・LLMの学習順

同じ主要カテゴリの用語をまとめて確認できます。現在の用語を起点に、前後の用語へ進むと文脈を保ったまま読み進められます。

InfraEngKit内の関連機能