AI_Sandbox/AI-Sandb-Evaluation
MCP Server
Active
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
Files
main
AI-Sandb-Evaluation/README.md
rg4444 784fdbe71e moved files
2026-03-07 14:42:14 +02:00

9.2 KiB
Raw Permalink Blame History

MI Sandbox Atlases Process — UAPF/ProcessGit Demo

Šis repozitorijs ir UAPF Level 4 pakotne, kas modelē VDAA publicēto Speciālās regulatīvās vides mākslīgā intelekta sistēmu attīstībai projektu iesniegumu atlases nolikumu kā mašīnlasāmu, versionējamu un izpildāmu procesa + lēmumu + gadījumu modeli.

⚠ Svarīgi. Šis ir demonstrācijas projekts. Tas nav oficiāls VDAA vai MI centra vērtēšanas instruments, nav juridiski saistošs un neaizstāj nolikuma tekstu vai iestādes pieņemto lēmumu.

Ko šis demo parāda

  1. Process (BPMN) — iesnieguma plūsma no saņemšanas līdz lēmumam, ieskaitot trūkumu novēršanas apakšplūsmu ar 5 d.d. taimeri.
  2. Algoritms (DMN) — trīs lēmumu modeļi: atbilstības vārti, svērtais punktu aprēķins, TRL līmeņu kartējums.
  3. Gadījuma pārvaldība (CMMN) — komisijas vērtēšana ar obligātiem un diskrecionāriem soļiem (ārējie eksperti, AI iepriekšējais novērtējums).
  4. Resursu kartējums — kas izpilda katru uzdevumu: cilvēki, sistēmas, AI aģenti.
  5. AI aģenta koncepts — kā piesaistīt MI vērtēšanas asistentu ar guardrails ierobežojumiem un EU AI Act atbilstību.
  6. ProcessGit viewer GUI — interaktīvs komisijas vērtēšanas panelis, kas ielādējas ProcessGit saskarnē.

UAPF struktūra

enterprise/
  enterprise.yaml                          # L0 — darbvietas indekss

processes/L4/vdaa.mi.sandbox.atlase/       # L4 — izpildāmā pakotne
  uapf.yaml                                # UAPF manifests (kind: uapf.package)
  agent.chat.yaml                          # ProcessGit AI čata konfigurācija
  examples/
    processgit.viewer.json                 # Pielāgota GUI deklarācija (co-located)
    komisija-vertesana.html                # Interaktīvs vērtēšanas panelis
    candidate-input.example.json           # Piemēra iesnieguma dati
    expected-output.example.json           # Sagaidāmais rezultāts (ar AI novērtējumu)

  bpmn/
    mi-sandbox-atlase.bpmn.xml             # Galvenais process

  dmn/
    01-atbilstiba-un-izsledzosie.dmn.xml   # Atbilstības un izslēdzošo nosacījumu DMN
    02-vertesanas-punkti.dmn.xml           # 5 kritēriju svērtais punktu aprēķins
    03-trl-vertejums.dmn.xml               # TRL → 0–5 vērtējuma kartējums

  cmmn/
    vertesanas-lieta.cmmn.xml              # Komisijas vērtēšanas gadījums

  resources/
    mappings.yaml                          # Targets + bindings (UAPF formāts)

  guardrails/
    ai-evaluation-rules.yaml               # AI aģenta ierobežojumi un EU AI Act

  metadata/
    ownership.yaml                         # Īpašnieki un pārskatīšana
    lifecycle.yaml                         # Dzīves cikla statuss un ierobežojumi

  docs/
    source-reference.md                    # Nolikuma punktu kartējums uz artefaktiem
    CHANGELOG.md                           # Izmaiņu žurnāls

Kā tas darbojas

1. Iesnieguma saņemšana un reģistrācija

BPMN process sākas ar elektronisku iesniegumu (info@ailatvia.lv). Lietvedības darbinieks reģistrē un veic sākotnējo pārbaudi.

2. Formālā atbilstība (DMN 01)

Lēmumu tabula ar FIRST hit policy pārbauda 7 nosacījumus secīgi: juridiskais statuss → jurisdikcija (LV/EU/EEA/CH) → termiņš → valoda → e-paraksts → aizliegtā prakse → izslēdzošie nosacījumi.

Trīs iespējamie iznākumi: ELIGIBLE, FIX_OR_REJECT, REJECT.

3. Trūkumu novēršana (Nolikuma 12.p.)

Ja rezultāts ir FIX_OR_REJECT, BPMN aktivizē apakšplūsmu: pieprasījums → gaidīšana ar 5 darba dienu taimeri → atkārtota pārbaude vai noraidīšana pēc termiņa beigām.

4. Kompetento institūciju atzinumi (Nolikuma 13.–14.p.)

Process nosūta iesniegumu kompetentajām institūcijām 3 darbdienu laikā un gaida atzinumus MK noteikumu 14.p. termiņā.

5. Komisijas vērtēšana (Nolikuma 16.–19.p.)

Komisija piešķir 0–5 vērtējumus pieciem kritērijiem. CMMN modelis ļauj diskrecionāri piesaistīt ārējos ekspertus vai AI aģentu.

6. Punktu aprēķins (DMN 02 + DMN 03)

TRL līmenis vispirms tiek kartēts uz 0–5 skalu (DMN 03, 2.pielikums), pēc tam svērtais punktu aprēķins visiem kritērijiem:

kritērija_punkti = svars × (vērtējums / 5)
gala_summa = Σ visu kritēriju punkti
Nr. Kritērijs Svars
1 Inovitāte un tirgus nepilnību novēršana 20
2 Ieguldījums digitālās transformācijas mērķos 15
3 Tehniskā gatavība un resursu nodrošinājums 30
4 Augsta riska MI sistēmas kvalifikācija 10
5 Regulatīvās vides pamatojums 25

Neizšķirtā gadījumā prioritāte: Kr.3 → Kr.5 → Kr.1.

7. Lēmums (Nolikuma 20., 22.p.)

Ne vairāk kā 3 MI sistēmas ar augstāko punktu skaitu tiek iekļautas speciālajā regulatīvajā vidē. Paziņojums ≤45 dienas.

AI aģenta koncepts

Arhitektūra

AI aģents darbojas asistētā režīmā (mode: assisted) — tas sniedz strukturētu ieteikumu, bet galīgais lēmums ir cilvēka (komisijas) ziņā.

┌─────────────┐     ┌──────────────┐     ┌─────────────────┐
│  Iesnieguma │────▸│  AI Aģents   │────▸│   Komisijas     │
│  dati       │     │  (asistents) │     │   panelis       │
└─────────────┘     └──────┬───────┘     └────────┬────────┘
                           │                      │
                    ┌──────▼───────┐        ┌─────▼──────┐
                    │  Guardrails  │        │  Galīgais  │
                    │  validācija  │        │  lēmums    │
                    └──────────────┘        └────────────┘

MCP rīki

AI aģentam ir pieejami trīs MCP rīki, kas izpilda DMN modeļus:

  • check_eligibility — pārbauda atbilstību
  • calculate_score — aprēķina punktus
  • map_trl_level — kartē TRL līmeni

Guardrails

Fails guardrails/ai-evaluation-rules.yaml definē:

  • 4 obligātos principus: cilvēka lēmums, pārredzamība, vērtējumu nemainīšana, audits
  • Ievades validāciju: shēmas pārbaude, diapazona kontrole, GDPR redakcija
  • Izvades ierobežojumus: strukturēts JSON ar pamatojumu un atsaucēm
  • Aizliegtās darbības: 6 konkrēti aizliegumi
  • EU AI Act atbilstību: atsauces uz Regulas 3., 10., 13., 14. pantu

Kāpēc tas ir nozīmīgi

Šis koncepts demonstrē, kā regulatīvā procesa kontekstā var:

  1. Definēt AI iesaisti kā mašīnlasāmu konfigurāciju (ne tikai aprakstu)
  2. Nodrošināt guardrails kā koda artefaktu (versionējams, pārskatāms, pārbaudāms)
  3. Saglabāt pilnu audita pēdu par AI darbībām
  4. Demonstrēt EU AI Act atbilstību strukturēti

ProcessGit viewer

Fails processgit.viewer.json aktivizē interaktīvu komisijas vērtēšanas paneli, kad lietotājs atver examples/candidate-input.example.json. Panelis ietver 5 cilnes:

Cilne Saturs
Atbilstība Formālās atbilstības pārbaude ar DMN 01 loģiku
Vērtēšana Kritēriju vērtējumu ievade, punktu aprēķins, TRL kartējums
AI Aģents AI iepriekšējā novērtējuma palaišana un rezultāta pārskatīšana
Guardrails AI ierobežojumu un EU AI Act atbilstības vizualizācija
Audits Notikumu žurnāls ar laika zīmogiem

Viewer izmanto PGV (ProcessGit Viewer) protokolu un var saglabāt izmaiņas atpakaļ repozitorijā caur PGV_REQUEST_SAVE.

Kā izmantot

  1. Atver repozitoriju ProcessGit vidē (processgit.org vai processgit.dev).
  2. Atver bpmn/mi-sandbox-atlase.bpmn.xml — grafiski redzams process.
  3. Atver dmn/*.dmn.xml — lēmumu tabulas ar skaidrojumiem.
  4. Atver cmmn/vertesanas-lieta.cmmn.xml — gadījuma modelis.
  5. Atver examples/candidate-input.example.json — ielādējas viewer GUI.
  6. Noklikšķini uz agent.chat.yaml — atveras AI čata panelis (🏛️).

UAPF atbilstība

Prasība Statuss
kind: uapf.package manifestā ✅
cornerstones deklarācija (BPMN+DMN+CMMN+Resources) ✅
owners ar kontaktu ✅
lifecycle statuss ✅
L0 enterprise index ar kind: uapf.enterprise.index ✅
.bpmn.xml / .dmn.xml / .cmmn.xml paplašinājumi ✅
resources/mappings.yaml ar targets + bindings ✅
metadata/ ar ownership + lifecycle ✅
MCP endpoint deklarācija (exposure.mcp) ✅

Licences un ierobežojumi

Reference in New Issue View Git Blame Copy Permalink