You've already forked AI-Sandb-Evaluation
Import UAPF package
init
This commit is contained in:
@@ -0,0 +1,105 @@
|
||||
# AI Evaluation Guardrails — MI sandbox atlases process
|
||||
# Šis fails definē ierobežojumus un noteikumus AI aģenta iesaistei vērtēšanā.
|
||||
#
|
||||
# Konteksts: EU AI Act (Regula 2024/1689), Nolikuma prasības, human-in-the-loop princips.
|
||||
# AI aģents darbojas kā "asistents" (mode: assisted), nevis kā lēmumu pieņēmējs.
|
||||
|
||||
guardrails:
|
||||
version: "1.0"
|
||||
appliesTo: agent.evaluation_assistant
|
||||
|
||||
# === FUNDAMENTĀLIE PRINCIPI ===
|
||||
principles:
|
||||
- id: HUMAN_FINAL_DECISION
|
||||
rule: "AI aģenta izvade ir tikai ieteikums. Galīgais lēmums vienmēr ir komisijas."
|
||||
enforcement: hard
|
||||
reference: "Nolikuma 20.p."
|
||||
|
||||
- id: TRANSPARENCY
|
||||
rule: "Katrs AI izvades elements ietver pamatojumu (reasoning chain) un atsauci uz nolikuma punktu."
|
||||
enforcement: hard
|
||||
|
||||
- id: NO_SCORE_OVERRIDE
|
||||
rule: "AI nedrīkst mainīt komisijas piešķirtos 0–5 vērtējumus. AI var tikai ieteikt."
|
||||
enforcement: hard
|
||||
|
||||
- id: AUDIT_TRAIL
|
||||
rule: "Katra AI aģenta darbība tiek reģistrēta audita žurnālā ar laika zīmogu."
|
||||
enforcement: hard
|
||||
|
||||
# === IEVADES VALIDĀCIJA ===
|
||||
input_validation:
|
||||
- check: "Iesnieguma dati atbilst candidate-input shēmai"
|
||||
action: reject_if_invalid
|
||||
- check: "TRL līmenis ir skaitlis [1..9]"
|
||||
action: reject_if_invalid
|
||||
- check: "Vērtējumi ir skaitļi [0..5]"
|
||||
action: reject_if_invalid
|
||||
- check: "Nav personas datu ievadē (GDPR compliance)"
|
||||
action: flag_and_redact
|
||||
|
||||
# === IZVADES IEROBEŽOJUMI ===
|
||||
output_constraints:
|
||||
format: structured_json
|
||||
required_fields:
|
||||
- field: recommendation
|
||||
type: enum
|
||||
values: ["RECOMMEND_APPROVE", "RECOMMEND_REVIEW", "RECOMMEND_REJECT", "INSUFFICIENT_DATA"]
|
||||
- field: confidence
|
||||
type: number
|
||||
range: [0.0, 1.0]
|
||||
- field: reasoning
|
||||
type: array
|
||||
minItems: 1
|
||||
itemSchema:
|
||||
criterion: string
|
||||
observation: string
|
||||
nolikumaRef: string
|
||||
- field: flags
|
||||
type: array
|
||||
description: "Brīdinājumi, ko komisija jāpārskata"
|
||||
- field: disclaimers
|
||||
type: array
|
||||
minItems: 1
|
||||
mustInclude: "Šis ir AI aģenta ieteikums. Galīgais lēmums ir komisijas kompetencē."
|
||||
|
||||
# === AIZLIEGTĀS DARBĪBAS ===
|
||||
prohibited_actions:
|
||||
- "Piešķirt galīgo punktu skaitu"
|
||||
- "Mainīt komisijas vērtējumus"
|
||||
- "Pieņemt lēmumu par apstiprināšanu/noraidīšanu"
|
||||
- "Salīdzināt konkrētus iesniedzējus savā starpā (bias prevention)"
|
||||
- "Izmantot ārējos datus, kas nav iesnieguma daļa"
|
||||
- "Sazināties tieši ar iesniedzēju"
|
||||
|
||||
# === UZRAUDZĪBA ===
|
||||
monitoring:
|
||||
logging:
|
||||
destination: system.audit_log
|
||||
events:
|
||||
- ai-invocation-started
|
||||
- ai-input-validated
|
||||
- ai-output-generated
|
||||
- ai-output-reviewed-by-human
|
||||
- ai-output-accepted
|
||||
- ai-output-overridden
|
||||
alerting:
|
||||
- condition: "confidence < 0.3"
|
||||
action: "Flag for mandatory human review"
|
||||
- condition: "AI output contradicts DMN result"
|
||||
action: "Flag discrepancy, require commission justification"
|
||||
drift_detection:
|
||||
enabled: true
|
||||
baseline: "examples/expected-output.example.json"
|
||||
threshold: 0.2
|
||||
|
||||
# === EU AI ACT ATBILSTĪBA ===
|
||||
eu_ai_act_compliance:
|
||||
riskCategory: "high-risk-support-system"
|
||||
article3_qualification: >-
|
||||
AI aģents secina no iesnieguma datiem, kā ģenerēt novērtējuma ieteikumus,
|
||||
tādējādi atbilst Regulas 3.panta 1.punkta MI sistēmas definīcijai.
|
||||
humanOversight: "Regulas 14.pants — komisija pārbauda katru AI ieteikumu"
|
||||
transparency: "Regulas 13.pants — pamatojums un atsauces pieejamas"
|
||||
dataGovernance: "Regulas 10.pants — tikai iesnieguma dati, nav ārējie avoti"
|
||||
technicalDocumentation: "Regulas 11.pants — šis guardrails fails + mappings.yaml"
|
||||
Reference in New Issue
Block a user