AI Recommendation Validation

このページで学ぶこと

• Recommendation vs Observed Fact
• Grounding with 確認情報
• Context Consistency Validation
• Problem-Action Fit
• Change Risk Evaluation
• Blast Radius Evaluation
• Policy Permission Constraints
• Human Approval as Control Point
• Pre-change vs Post-change Validation
• Outcome Verification

推奨と観測事実を分ける

AIが示したDiagnosisやRecommendationは、観測されたNetwork Factそのものではありません。Telemetry、Log、Topology、Configurationなどの根拠情報と照合し、推奨が現在の実状態に基づいているかを確認します。

Grounding

Groundingでは、Agentic AIが推奨の根拠となる確認情報をNetworkの実データへ結び付けます。もっともらしい説明でも、現在のTelemetryやConfigurationと一致しなければ、そのままActionへ進めません。

Context整合性

同じ症状でもTopology上の位置、Device Role、Redundancy、Change履歴によって適切なActionは異なります。推奨が対象Deviceだけでなく周辺Contextと整合するかをValidationします。

ProblemとActionの対応

Observed Problemに対し、Proposed Actionが直接的な原因や症状へ作用するかを確認します。問題と無関係なChangeや、原因を確認せず広範囲を変更する提案はRiskを高めます。

Change RiskとBlast Radius

変更によるService Impact、Failureの可能性、対象範囲を評価します。Blast Radiusは、誤ったActionが影響し得るDevice、Site、User、Serviceなどの広がりを考える視点です。

Policy / Permission / Constraint

Actionは技術的に可能でも、Permission、Maintenance Window、Change PolicyなどのConstraintに反する場合があります。Agentic AIはPolicy-boundなExecutionとして、許可された範囲でActionを進めます。

人間の承認

すべてのActionを人間が手動実行する必要はありません。高Risk、広いBlast Radius、Policyで承認必須とされたActionなどでは、人間の承認をControl Pointとして残します。

Pre-changeとPost-change

Pre-change Validationは実行前に根拠、Risk、Policy、対象を確認する役割です。Post-change Validationは実行後にNetwork状態を再確認し、期待した改善と副作用の有無を確認します。

Outcome Verification

Actionが実行できたことと、Goalを達成したことは別です。Expected Outcomeが得られたかを確認し、不十分なら追加調査や別Actionへ戻ることでClosed Loopを完成させます。

重要な注意点

AIのConfidenceが高いことを正しさの証明にしません。また人間の承認を「すべてのActionを人が手動で操作すること」と同一視しません。ValidationはGrounding・Risk・Policy・Outcomeを含むSystem Roleとして扱います。