Pipeline-підхід до автоматизованого збору та попередньої обробки відкритих даних

Анотація

У роботi запропоновано pipeline-пiдхiд до автоматизованого збору та попередньої обробки вiдкритих даних, що iнтегрує етапи збору, очищення, трансформацiї та оцiнювання якостi в єдиний iтеративний процес. Наукова новизна полягає у трьох складових: (1) формалiзована система методологiчних принципiв (вiдтворюванiсть, модульнiсть, розширюванiсть, вимiрюванiсть), адаптована до гетерогенних вiдкритих джерел; (2) iтеративний механiзм feedback loop, що забезпечує керування процесом обробки на основi кiлькiсної оцiнки якостi; (3) математична модель оцiнювання якостi даних \(Q(D)\) на основi стандарту ISO/IEC 25012 з теоретично обґрунтованими властивостями обмеженостi, монотонностi та коректностi граничних випадкiв. Пiдхiд апробовано на реальних даних порталу вiдкритих даних України (data.gov.ua): з використанням CKAN API зiбрано 95 наборiв метаданих та проведено їх обробку за основними етапами pipeline. Iнтегральний показник якостi зрiс з \(Q(D) = 0.7720\) до \(Q(D) = 0.8222\) (прирiст \(\Delta Q = +6.5\%\)). Найбiльший внесок у покращення якостi забезпечив етап очищення, тодi як показник актуальностi залишився низьким (\(Q_\textrm{tim} = 0.2886\)) через значний середнiй вiк даних (1031 день). Отриманi результати демонструють, що запропонований пiдхiд є практично ефективним iнструментом для пiдвищення якостi вiдкритих даних та виявлення системних проблем їх актуальностi, що обмежують можливостi подальшого аналiтичного використання.