Kontrola CSV pomocí AI před importem do firemního systému
Obsah · 8 kapitol
STRUČNÁ ODPOVĚĎ
Před importem CSV ověřte původ souboru, mapování a typy sloupců, jedinečnost identifikátorů, rizikové řádky a kontrolní součty. Poté proveďte zkušební import mimo produkci, porovnejte vratný export se zdrojem a nechte odpovědnou osobu rozhodnout o převzetí.
Vstupní balíček a evidence původu souboru
Shromážděte soubor CSV, popis jeho původu, jméno dodavatele nebo systému, datum exportu, definici sloupců a informaci, zda jde o úplný stav, nebo přírůstek. Zaznamenejte také, kdo soubor předal a jakým způsobem. Podle přehledu W3C PROV zahrnuje provenience informace o entitách, aktivitách a lidech spojených se vznikem dat. Širší posouzení připravenosti dat pro AI se zaměřuje na jinou otázku; tento postup se týká konkrétního souboru určeného k importu.
Přístup k produkčnímu importu omezte na určené osoby a citlivé kroky předávejte ke schválení. OWASP doporučuje kontrolovat oprávnění a schvalovat citlivé akce u AI agentů. Obsah CSV posuzujte jako data, nikoli jako pokyny pro systém. Pokud při kontrole používáte AI, výsledky ověřte podle zdrojového souboru a schválených pravidel.
Postup kontroly CSV krok za krokem
-
Ověřte technické čtení. Zkontrolujte kódování UTF-8, oddělovač, uvozovky a ukončení řádků. Soubor otevřete ve dvou nezávislých nástrojích a porovnejte hlavičku i počet řádků. Pokud se výsledky liší, nepokračujte, dokud neobjasníte příčinu.
-
Zapište mapování sloupců. U každého sloupce CSV uveďte odpovídající cílové pole, požadovaný typ, povinnost vyplnění a povolený formát. Zaznamenejte verzi mapování použitou při kontrole. Při změně mapování vytvořte nový záznam verze, aby bylo zřejmé, podle kterých pravidel byla dávka posouzena.
-
Prověřte identifikátory. Určete klíč záznamu, například kód zakázky, kombinaci varianty a kódu skladu nebo interní ID. Ověřte jedinečnost klíče, prázdné hodnoty a nechtěné mezery před hodnotou či za ní. Pokud se klíč skládá z více sloupců, kontrolujte jedinečnost jejich kombinace.
-
Zkontrolujte typy a formáty. U čísel ověřte desetinný oddělovač, zápis tisíců a pravidla pro záporné hodnoty. U dat určete přijímaný formát, například pořadí dne, měsíce a roku. Časové pásmo posuzujte, pokud se v datech používá. U textových polí vyhledejte znaky, které cílový systém podle schváleného mapování nepřijímá. Nejednoznačné hodnoty neopravujte odhadem.
-
Prověřte vzorek řádků. Vyberte náhodný vzorek i cílený vzorek rizikových záznamů, například nových identifikátorů, nulových cen nebo neobvyklých kódů. Zkontrolujte hodnoty vůči zdroji a pravidlům mapování. Postup pro výběr vzorku rozebírá také kontrola vzorku výstupu AI; v této fázi jej použijte na data před importem.
-
Nezávisle ověřte číselné údaje. Mimo cílový systém spočítejte kontrolní sloupce a zaznamenejte počty řádků, množství a unikátních identifikátorů. Tyto hodnoty porovnejte se zkušebním importem a následným vratným exportem. Výklad o chybných výpočtech AI připomíná, že výstup AI je třeba ověřit; nepoužívejte jej jako náhradu kontrolního výpočtu.
-
Proveďte zkušební import mimo produkci. Použijte testovací prostředí nebo postup, který umožňuje změny vrátit. Zaznamenejte prostředí, odmítnuté řádky, chybové kódy a výsledek kontroly po importu. Produkční zápis nespouštějte jako součást zkoušky.
-
Proveďte vratné ověření. Z testovacího prostředí exportujte naimportovaná data a porovnejte je se zdrojem. Porovnejte počet řádků, klíčové hodnoty a kontrolní součty. Nevysvětlené rozdíly řešte kontrolou zdroje nebo úpravou mapování; nepřepisujte je ručně v cílovém systému bez doložení opravy.
Vyplnitelný záznam o kontrole před importem
Vyplňte samostatný záznam pro každou dávku. Tabulka je pracovní pomůcka pro evidenci kontroly.
| Pole záznamu | Vyplňuje role | Obsah |
|---|---|---|
| Označení dávky | Operátor dat | Název souboru, datum exportu a verze mapování |
| Zdroj a předal | Operátor dat | Systém nebo osoba, kontakt a způsob předání |
| Rozsah | Operátor dat | Počet řádků ve zdroji, úplný stav nebo přírůstek |
| Klíč záznamu | Datový analytik | Název klíčových sloupců a pravidlo jedinečnosti |
| Výsledek technické kontroly | Datový analytik | Kódování, oddělovač, počet řádků a stav hlavičky |
| Odmítnuté řádky | Datový analytik | Čísla řádků, důvod odmítnutí a případná oprava |
| Zkušební import | Správce systému | Použité prostředí a výsledek bez zápisu do produkce |
| Vratné ověření | Datový analytik | Shoda počtu řádků a kontrolních součtů |
| Rozhodnutí | Odpovědná osoba | Převzít, převzít s výhradou, nebo nepřevzít |
Modelový syntetický příklad s rozborem
Následující čísla a záznamy jsou výslovně syntetické; nejde o reálná data ani o klientský případ.
Zdrojový soubor sklad_prijem_test.csv obsahuje synteticky zvolených 500 řádků a sloupce kod_polozky; sklad; mnozstvi; datum_prijmu. Podle modelového mapování cílové pole mnozstvi přijímá celé kladné číslo. Verze mapování 3 určuje klíč kombinací kod_polozky a sklad.
Modelová kontrola nachází shodnou dvojici A140 a H2 v řádcích 48 a 49. V řádku 112 chybí kód položky. Řádek 305 obsahuje množství 12,5 s desetinnou čárkou. V řádku 410 je datum 02/03/2026 bez určení formátu. Zkušební import v tomto syntetickém příkladu odmítne 4 řádky a vratný export obsahuje 496 řádků.
Duplicita v řádcích 48 a 49 vytváří nejasnost v klíči; vyžádejte si proto vysvětlení od zdroje dat. Prázdný klíč v řádku 112 nelze bezpečně domyslet. Hodnota 12,5 neodpovídá stanovenému celočíselnému typu, takže vlastník dat musí objasnit, zda jde o chybu, nebo například o jinou jednotku podle pravidel daného souboru. Datum v řádku 410 nepřebírejte, dokud nebude známé pořadí dne a měsíce. Návrh opravy vytvořený AI berte jako podnět k prověření; změněnou hodnotu doložte zdrojem nebo rozhodnutím odpovědné osoby.
Rozhodovací kritéria: kdy výsledek nepřevzít
O převzetí rozhoduje odpovědná osoba. Dávku vraťte k objasnění nebo nepřevezměte, pokud nastane některá z těchto situací:
- Není doložen původ souboru nebo verze mapování, případně se počty klíčů ve zdroji a testovacím exportu liší bez vysvětlení.
- Klíčové identifikátory nejsou jedinečné nebo obsahují prázdné hodnoty; případně zkušební import opakovaně odmítá záznamy ze stejné nevysvětlené příčiny.
- Počty řádků, kontrolní součty množství nebo počty unikátních klíčů se mezi zdrojem a vratným exportem liší a rozdíl není objasněn.
- Soubor obsahuje smíšené či nejednoznačné formáty dat nebo nepovolené znaky a vlastník dat neschválil pravidlo jejich převodu.
- Import má zapisovat do produkce bez zkušebního importu, záznamu o kontrole nebo schválení odpovědnou osobou.
- V dávce jsou osobní údaje, jejichž použití není pokryto schváleným účelem, existuje podezření na neoprávněný přístup nebo se v datových polích objeví text vydávaný za pokyny pro systém.
Předání odpovědné osobě a uchování podkladu
Operátor dat předá vyplněný záznam, zdrojový soubor, verzi mapování, protokol zkušebního importu a výsledek vratného ověření. Odpovědná osoba rozhodne, zda dávku převezme, vrátí k opravě, nebo nepřevezme. Pokud se opravená dávka znovu kontroluje, zaznamenejte její verzi a změny oproti předchozímu souboru. Částečný import odmítnutých řádků proveďte až po samostatném posouzení a schválení. Podklady uložte tak, aby bylo možné dohledat zdroj, použité mapování, provedené kontroly a přijaté rozhodnutí.
ZDROJE A OVĚŘENÍ
automatická redakční kontrola CIAD editorial research; Codex review ·