You've already forked AI-Sandb-Evaluation
Import UAPF package
106 lines
3.8 KiB
YAML
106 lines
3.8 KiB
YAML
# AI Evaluation Guardrails — MI sandbox atlases process
|
|
# Šis fails definē ierobežojumus un noteikumus AI aģenta iesaistei vērtēšanā.
|
|
#
|
|
# Konteksts: EU AI Act (Regula 2024/1689), Nolikuma prasības, human-in-the-loop princips.
|
|
# AI aģents darbojas kā "asistents" (mode: assisted), nevis kā lēmumu pieņēmējs.
|
|
|
|
guardrails:
|
|
version: "1.0"
|
|
appliesTo: agent.evaluation_assistant
|
|
|
|
# === FUNDAMENTĀLIE PRINCIPI ===
|
|
principles:
|
|
- id: HUMAN_FINAL_DECISION
|
|
rule: "AI aģenta izvade ir tikai ieteikums. Galīgais lēmums vienmēr ir komisijas."
|
|
enforcement: hard
|
|
reference: "Nolikuma 20.p."
|
|
|
|
- id: TRANSPARENCY
|
|
rule: "Katrs AI izvades elements ietver pamatojumu (reasoning chain) un atsauci uz nolikuma punktu."
|
|
enforcement: hard
|
|
|
|
- id: NO_SCORE_OVERRIDE
|
|
rule: "AI nedrīkst mainīt komisijas piešķirtos 0–5 vērtējumus. AI var tikai ieteikt."
|
|
enforcement: hard
|
|
|
|
- id: AUDIT_TRAIL
|
|
rule: "Katra AI aģenta darbība tiek reģistrēta audita žurnālā ar laika zīmogu."
|
|
enforcement: hard
|
|
|
|
# === IEVADES VALIDĀCIJA ===
|
|
input_validation:
|
|
- check: "Iesnieguma dati atbilst candidate-input shēmai"
|
|
action: reject_if_invalid
|
|
- check: "TRL līmenis ir skaitlis [1..9]"
|
|
action: reject_if_invalid
|
|
- check: "Vērtējumi ir skaitļi [0..5]"
|
|
action: reject_if_invalid
|
|
- check: "Nav personas datu ievadē (GDPR compliance)"
|
|
action: flag_and_redact
|
|
|
|
# === IZVADES IEROBEŽOJUMI ===
|
|
output_constraints:
|
|
format: structured_json
|
|
required_fields:
|
|
- field: recommendation
|
|
type: enum
|
|
values: ["RECOMMEND_APPROVE", "RECOMMEND_REVIEW", "RECOMMEND_REJECT", "INSUFFICIENT_DATA"]
|
|
- field: confidence
|
|
type: number
|
|
range: [0.0, 1.0]
|
|
- field: reasoning
|
|
type: array
|
|
minItems: 1
|
|
itemSchema:
|
|
criterion: string
|
|
observation: string
|
|
nolikumaRef: string
|
|
- field: flags
|
|
type: array
|
|
description: "Brīdinājumi, ko komisija jāpārskata"
|
|
- field: disclaimers
|
|
type: array
|
|
minItems: 1
|
|
mustInclude: "Šis ir AI aģenta ieteikums. Galīgais lēmums ir komisijas kompetencē."
|
|
|
|
# === AIZLIEGTĀS DARBĪBAS ===
|
|
prohibited_actions:
|
|
- "Piešķirt galīgo punktu skaitu"
|
|
- "Mainīt komisijas vērtējumus"
|
|
- "Pieņemt lēmumu par apstiprināšanu/noraidīšanu"
|
|
- "Salīdzināt konkrētus iesniedzējus savā starpā (bias prevention)"
|
|
- "Izmantot ārējos datus, kas nav iesnieguma daļa"
|
|
- "Sazināties tieši ar iesniedzēju"
|
|
|
|
# === UZRAUDZĪBA ===
|
|
monitoring:
|
|
logging:
|
|
destination: system.audit_log
|
|
events:
|
|
- ai-invocation-started
|
|
- ai-input-validated
|
|
- ai-output-generated
|
|
- ai-output-reviewed-by-human
|
|
- ai-output-accepted
|
|
- ai-output-overridden
|
|
alerting:
|
|
- condition: "confidence < 0.3"
|
|
action: "Flag for mandatory human review"
|
|
- condition: "AI output contradicts DMN result"
|
|
action: "Flag discrepancy, require commission justification"
|
|
drift_detection:
|
|
enabled: true
|
|
baseline: "examples/expected-output.example.json"
|
|
threshold: 0.2
|
|
|
|
# === EU AI ACT ATBILSTĪBA ===
|
|
eu_ai_act_compliance:
|
|
riskCategory: "high-risk-support-system"
|
|
article3_qualification: >-
|
|
AI aģents secina no iesnieguma datiem, kā ģenerēt novērtējuma ieteikumus,
|
|
tādējādi atbilst Regulas 3.panta 1.punkta MI sistēmas definīcijai.
|
|
humanOversight: "Regulas 14.pants — komisija pārbauda katru AI ieteikumu"
|
|
transparency: "Regulas 13.pants — pamatojums un atsauces pieejamas"
|
|
dataGovernance: "Regulas 10.pants — tikai iesnieguma dati, nav ārējie avoti"
|
|
technicalDocumentation: "Regulas 11.pants — šis guardrails fails + mappings.yaml"
|