Андрій Гнап, СEO Waste Ukraine Analytics
З червня 2022 року почав працювати над проєктом «Відкриті дані про відходи в Україні» в рамках Стипендіальної програми Європейського Союзу для лідерів громадянського суспільства країн Східного партнерства. На початку реалізації проекту ставив перед собою низку завдань від виконання яких отримали навіть більше, ніж очікувалося.
Отже, ціллю на початок реалізації було сприяння формування кращої системи управління відходами в Україні шляхом створення та публікації відкритих наборів даних про відходи. В якості вхідних даних було обрано три набори Міністерства захисту довкілля та природних ресурсів України:
Міністерство захисту довкілля та природних ресурсів України має в своєму розпорядженні архів із сотнями документів у середовищах Word і Excel, які вони надали на запит. Оприлюднення цих наборів даних у формі відкритих даних буде мати велике значення в організації поводження з відходами для післявоєнної Україні, а також матиме позитивний ефект для регіонів, де зараз ведуться бойові дії, особливо щодо залучення інвестицій у цю сферу.
Іншою важливою частиною проєкту стали проведені за підтримки Міністерства цифрової трансформації тренінги з покращення якості та підготовки даних до публікації (очистка, трансформація) для відповідальних осіб у дотичних до тематики відходів міністерствах і органах державної влади.
Звичайно, як це часто буває у таких випадках, під час проведення активностей відкрились причини чималої кількості перепон, які заважають розпорядникам розкрити потенціал наявних у них даних, які вони мають публікувати згідно з ключовою для сфери постановою КМУ від 21.10.2015 № 835, в народі «Про відкриті дані».
Саме про ці перепони варто розповісти детальніше. Нам усім потрібні докази та факти, щоб приймати якісні управлінські рішення та вести конструктивну дискусію з будь-якої теми. Інша важлива думка, з якої розпочинається часто мій діалог з представниками влади та громадськості, це те, чим по суті є відкриті дані: запрошення. Запрошення для будь-кого, будь-де, будь-коли, долучитись до життя громади, міністерства або органу державної влади. Усвідомлюючи це, формальне визначення відкритих даних: публічна інформація у формі відкритих даних – це публічна інформація у форматі, що дозволяє її автоматизоване оброблення електронними засобами, вільний та безоплатний доступ до неї, а також її подальше використання, вже сприймається дещо інакше розпорядниками. В цьому місці діалогу відбувається перехід до дещо технічиш речей, де все більш важливу роль починають відігравати тип та формат даних. Поширеною негативною практикою багатьох розпорядників в Україні в перші роки масової публікації даних було використання невідповідних форматів для оприлюднення наборів даних. Тим самим значно ускладнювалася можливість роботи користувачів з даними, що містяться у документах.
Іншим поширеним викликом серед розпорядників при публікації даних є різнотлумачення та/або ігнорування принципів відкритих даних. Серед ключових принципів, які порушують найчастіше, можна виділити «оперативність» та «доступність використання». Перший наголошує, що оприлюднення має бути у первинній (неагрегованій) формі. Іншими словами не лише узагальнені дані по країні, а тисячі та іноді десятки тисяч окремих форм звітності. В такій формі вони несуть значно більше цінності для дослідників. Другий наголошує, що оприлюднення публічної інформації у формі відкритих даних має бути саме у машиночитаному форматі, про що вже частково йшлося раніше. Важливо публікувати дані у форматах зрозумілих для машин, таким чином надаючи змогу досліднику опрацьовувати великі масиви інформації.
Саме тому в рамках проекту було приділено стільки уваги якості наборів даних, які публікують розпорядники за тематикою екології та захисту навколишнього природного середовища загалом і відходів зокрема.
Перше правило організації даних – бути послідовними. Це стосувалось позначень сталих назв для змінних, використання одних й тих самих позначеннь для всіх пропущених значень («NULL» наприклад), використання схожих назв файлів, запису дати у форматі YYYY-MM-DD (ISO 8601), заповнення порожніх клітинок, практикування підходу «В одній клітинці – одне значення», виключення обчислень, кольору шрифту і фону тексту з файлів із сирими даними, створення копій тощо. Ці практики здаються інтуїтивно зрозумілими, проте коли ми почали демонструвати колегам, як вони публікують свої дані, то побачили численні приклади, де було б доцільно приділити більшу увагу використанню зазначених принципів.
Далі про процес організації оприлюднення відкритих даних у розпорядників. Варто зазначити, що на цьому етапі розвитку відкритих даних в Україні для більшості типових проблемних ситуацій існують типові шаблони рішень. Іншими словами, якщо розпорядник має сумнів щодо того, чи є він розпорядником інформації, у нього відсутній розпорядчий документ про визначення відповідальної особи за оприлюднення відкритих даних, внутрішня нормативно-правова база розпорядника інформації є застарілою або неефективною, повноваження з оприлюднення відкритих даних не визначено у посадових інструкціях відповідальної особи, інформація з наборів створюється на договірних засадах з третіми особами і так далі, він вже може використати типові рекомендації та шаблони. Звернув увагу, що розпорядники можуть оприлюднювати інші набори, навіть, якщо їх немає у постанові КМУ № 835 у разі високого суспільного інтересу: за умови високої частоти запитування, результатів опитування громадян або потенційного антикорупційного чи економічного ефекту.
Дуже важливо було донести до розпорядників даних інформацію щодо побудови аналітичної культури на основі дани для всієї екосистеми користувачів відкритих даних в Україні та їхню роль у цій системі. Саме тому відчутну частину нашого діалогу та комунікації зайняла розмова про побудову аналітичного процесу за допомогою даних. Щоб перейти від звітів і сповіщень до аналізу спершу потрібно було визначитись із спільною термінологією. Звітність – процес організації даних в інформаційні зведення для відстеження того, як функціонують різні сфери організації. Аналіз – перетворення даних у висновки, на основі яких будуть прийматися рішення і реалізовуватися дії за допомогою людей, процесів і технологій. Далі акцентував на тому, що звіти по своїй суті – описові та ретроспективні. Вони порушують питання.
Наприклад: що відбуваєть? як часто? де? Контекст відсутній. На противагу цьому, аналіз дає рекомендації, прогнози. Одним словом – перспективу. Він відповідає на питання. Створює контекст та історію. Чим вищий рівень аналітичної культури в організації, тим більше складних питаннь можна поставити і, головне, відповідей на них можна отримати. Від лише констатації фактів можна перейти до планування дій. Дій, які з найвищим відсотком ймовірності призведуть до бажаного результату. Саме тому дослідники в свій час відзначили, що для бізнесу кожний долар інвестований в аналіз поверне 13.01$7.
Проте, щоб це відбулось потрібно подолати низку перешкод для активного використання інформації. Серед найбільш поширених: брак розуміння, як використовувати аналітику для підвищення ефективності організації, брак уваги зі сторони керівництва, нестача навичок в кадрів, існуюча корпоративна культура не сприяє обміну інформації тощо. Установам слід перейти до прийняття рішень на основі даних, а не лише на основі думки особи з найбільшою зарплатою. Показовим було також, що переважна більшість слухачів до тренінгу не чула про термін «машинне навчання».
Наш діалог був би малоефективним, якби на тренінгах не ознайомили із інструментом, який би допоміг розпорядникам подолати технічні виклики, пов`язані з якістю даних та налагодженням аналітичної культури в їхніх установах. Таким інструментом стала мова програмування й середовище для статистичних обчислень і графічного аналізу – R. У R є багато особливостей, які дозволяють рекомендувати саме цю мову програмування. Більшість комерційних статистичних програм коштують тисячі, якщо не десятки тисяч доларів. R – безкоштовна. Це потужна статистична програма, у якій реалізовані всі способи аналізу даних. Має сучасні графічні можливості для візуалізації навіть складних дані. Дає можливість імпортувати дані з різних джерел, включно з текстовими файлами, системами управління базами даних, іншими статистичними програмами та спеціалізованими сховищами даних. Є платформою для простого написання програм, що реалізує нові статистичні методи та має безліч графічних інтерфейсів, призначених для підвищення зручності роботи користувачів. Під час тренінгів ми пропрацювали необхідну інформацію для початку роботи і заклали фундамент для подальшого дослідження можливостей цього інструменту. Також, на прикладі роботи функцій в R продемонстрував чому важливо дотримуватись підходу «охайних даних», коли кожна змінна – в окремому стовпчику, кожне спостереження – в окремому рядку, а в одній комірці – лише одне значення.
Таким чином, на основі активностей проєкту з розпорядниками даних в Україні та роботі безпосередньо з наборами даних про відходи можна відмітити, що публікація розпорядниками відкритих даних неналежної якості є ознакою ранньої стадії розвитку аналітичної культури прийняття рішень на основі даних. Це також може свідчити, що статистичне моделювання на основі історичних даних не проводилось через відсутність технічної можливості використати такі інструменти, як мова програмування R. Якщо ситуація не зміниться, існує ризик, що діалог між представниками громадянського суспільства і бізнесу з однієї сторони та розпорядниками – з іншої щодо планування управлінських рішень в майбутньому може стати лише обміном думками та позицій.
Звичайно, існують й інші виклики, накладені воєнним станом. Найбільш очевидний – це відсутність і припинення оновлення великої кількості даних. Проте вирішення проблем з якістю даних, про які йшлося в цій статті, та побудова аналітичної культури прийняття рішень на основі даних, можуть зробити квантовий стрибок в системі державного управління. Переконаний, що прозорість та підзвітність в поєднанні з прогресивним аналізом даних допоможуть побудувати в Україні громадянське суспільство, якого ми всі прагнемо та на яке безперечно заслуговуємо.
Прес-служба Офіс сталих рішень