Ресурсы
Qlik Sense
03
/21
О чем мы поговорим сегодня
Узнаем, как анализировать госзакупки и приносить пользу обществу вместе с Qlik Sense, а также разберемся из чего состоит работа с полями данных — какие ресурсы вам доступны и как с ними работать!
ИСТОРИЯ УСПЕХА
Аналитика госзакупок в Министерстве Финансов РК
Виталий Тренкеншу
основатель, Datanomix.pro
Сегодня мы расскажем о проекте по аналитике госзакупок в Республике Казахстан, который получил международную награду «World Commerce & Contracting Innovation & Excellence Awards 2021». Благодаря приложениям на Qlik Sense уже проверены закупки на 384 миллиона долларов США и выявил финансовые нарушения на сумму 65 миллионов.
Ежегодно 18 тысяч организаций заключают более 1,5 миллионов договоров о государственных закупках в Казахстане. Раньше процесс мониторинга госзакупок осуществляли специалисты Комитета внутреннего государственного аудита вручную. В результате большая доля неконкурентных закупок по завышенным ценам оставалась без внимания аудиторов.
Ежегодные потери бюджета Казахстана составляли $ 470 млн, поэтому мониторинг госзакупок решили автоматизировать.
В качестве платформы будущего инструмента команда проекта Datanomix.pro выбрала Qlik Sense. На решение повлияли высокая скорость разработки, возможность подключения множества разрозненных источников, и гибкость в изучении данных для конечных пользователей. Последнее особенно важно — только аудитор принимает конечное решение по каждому индикатору риска, так что инструмент должен был обладать свободой исследования данных.
Реализация проекта
Аудиторы предъявляли высокие требования к автоматизации процесса мониторинга государственных закупок.

Проект создания «ОКО» состоял из нескольких этапов:
1
Адаптация методики оценки рисков для целей и задач аудиторов
2
Проведение оценки потребностей. Соответствующие государственные служащие предоставили информацию о своих сценариях использования
3
Разработка интерактивных информационных панелей на базе Qlik, которые покрывают потребности аудитора для проведения функции предварительного контроля
4
Разработка учебных материалов и чек-листов, а также проведение обучения. Около 40 государственных служащих прошли тренинги по использованию сервиса
Разработанная система на основе Qlik Sense анализирует все этапы процесса государственных закупок, включая 3 миллиона позиций планов закупок, 1,5 миллиона контрактов и 700 000 лотов. «ОКО» выявляет рискованные процессы планирования, тендеры и контракты, сужая выборку для аудиторов. Она фокусирует их внимание с 3 миллионов позиций до 130 000 — с наибольшими рисками неэффективного расходования средств.

Аналитическая система также интегрирована с казначейством, реестром юридических лиц, реестром государственных предприятий, базой данных по сертификатам происхождения товаров и другими реестрами для расширения документальной базы.
Скриншоты из системы «ОКО». Слева: дашборд показывает, какие закупающие организации осуществляют наиболее рискованные закупки. Справа: список договоров с подсветкой рисков
Результаты проекта
Комитет внутреннего государственного аудита Республики Казахстан сообщил, что уже выявил финансовые нарушения на сумму 93 миллионов долларов США. Почти 70% «красных флажков» выявили на стадии планирования и предотвратили.

В общей сложности к дисциплинарной ответственности привлекли 1 685 сотрудников отдела закупок. По результатам аудиторских мероприятий 190 дел передали в правоохранительные органы.
Алмас Кавкитаев
Заместитель председателя Комитета внутреннего государственного аудита Министерства финансов Республики Казахстан
Комитетом проведена работа по усовершенствованию системы управления рисками. В 2021 году совместно с компанией Datanomix.pro была разработана аналитическая система оценки и выявления рисков в системе госзакупок. Данная система была презентована главе государства на форуме Digital Bridge и получила престижную международную премию, конкурировав в финале с компанией Shell и службой госзакупок правительства Великобритании.
Выступление о проекте по аналитике госзакупок
Qlik Data Transformation Day 2022 в Astana Hub
Виталий Тренкеншу
основатель, Datanomix.pro
Наша система представляет собой симбиоз человека и компьютера: она обозначает риски, показывает так называемые «красные флажки», обращает на них внимание проверяющих, но не навешивает ярлыков, ведь зачастую причиной правонарушений становится не злой умысел, а человеческий фактор — ошибка, невнимательность или элементарная лень.
$93 000 000
Комитет внутреннего государственного аудита Республики Казахстан сообщил, что уже выявил финансовые нарушения на сумму 93 миллионов долларов США
70%
Почти 70% «красных флажков» выявили на стадии планирования и предотвратили
ТЕОРИЯ
Ресурсы данных
Перед тем, как загружать данные и создавать диаграммы в Qlik Sense, разберемся с ресурсами данных.

При создании визуализации в Qlik Sense, вам доступны:
  • Поля (fields)
  • Меры (measures)
  • Измерения (dimensions)
  • Основные элементы/глоссарий (master items)
При загрузке данных, все поля из источника преобразовываются в меры или измерения.
Меры — это значения данных, те числа, которые вы хотите отобразить на визуализации. Все меры агрегируются, например, с помощью агрегаций суммы или среднего.

Измерения — это категории, по которым вы хотите сгруппировать ваши данные; уровень, на котором вы хотите показать меры.
Денис Катюшин
генеральный директор, QUBData
Мера — логически — это показатель, который мы рассчитываем на основании загруженных наборов данных по определенной методологии с использованием математического аппарата Qlik Sense. Например, если мы загрузили данные по продажам товаров в нашей сети магазинов в виде набора чеков и строк чеков, то мы можем подсчитать выручку (по кассе).

Измерение — логически — это аналитический разрез показателя, анализ которого мы проводим. Выручку, которую мы подсчитали выше, мы сможем проанализировать в динамике — по временной шкале: либо за период, либо нарастающим итогом (ежедневную, еженедельную, ежемесячную, годовую), а также проанализировать структуру этого показателя в разрезе товаров и магазинов, чтобы понять какие товары или магазины приносят наибольшую выручку, а какие наименьшую.
Т.к. диаграммы строятся на основе мер и измерений, то при перетаскивании полей на диаграмму, они всегда конвертируются либо в меру, либо в измерение со своими дополнительными настройками: название, формат числа, агрегация.
Но что если у вас десятки визуализаций, на которых вы хотите прописать новую агрегацию поля? Вам помогут основные элементы (глоссарий).

Основные элементы (master items) - это адаптированные и преднастроенные меры и измерения, которые упрощают работу в Qlik Sense. Основные элементы могут содержать измерения, меры и даже целые визуализации, которые заранее настроены и стандартизированы для пользователей.
Шотан Жандос
старший менеджер, Datanomix.pro
Представьте, что в вашем приложении 10 листов, в каждом из них по 5 графиков, в которых мерой используется формула для расчета маржи.

Если вы решите эту формулу изменить — вам придется обновить все графики на всех листах, что очень неудобно. Альтернатива — внести эту меру в основные элементы. Тогда изменять ее придется только один раз, формула поменяется на всех графиках. Также этот основной элемент для расчета маржи можно использовать в других формулах путем обращения к нему по названию основного элемента.
>> Для чего нужны основные элементы на практике?
В частности, на ряде проектов именно основные элементы используются для целей настройки интеграции с системами бизнес-глоссариев показателей, которые реализуются на базе различных платформ. В итоге, если формировать глоссарий показателей в Qlik Sense, то можно обеспечить:
  1. Ведение кода показателя;
  2. Ведение наименование показателя;
  3. Ведение математики расчета показателя;
  4. Добавление описания методологии описания показателя;
  5. Добавление цветовых характеристик показателя (определенный показатель будет во всех визуализациях отображаться одним цветом);
  6. Определение форматирования вывода значения показателя.
Процесс создания визуализаций
Рабочая область в режиме редактирования поделена на несколько основных блоков. В левой части экрана находятся переключатели по выбору Полей, Основных элементов, Диаграмм и Пользовательских объектов. В правой части экрана находится область визуализации, на которую в режиме перетаскивания drag-and-drop вы добавляете элементы из меню слева.
Способ 1
Один из способов создания визуализаций начинается с типа диаграммы. Т. е. сначала вы выбираете тип диаграммы, который хотите построить, добавляете ее на лист, затем добавляете данные. Для этого нужно выбрать блок Диаграммы слева.
Способ 2
Второй способ создания визуализаций начинается с данных. Перетаскивайте нужные вам данные на область визуализации, а Помощник по рекомендациям диаграмм подберет для вас наиболее подходящий тип визуализации. Рекомендации основываются на типах выбранных данных. При изменении списка полей рекомендуемая визуализация подстраивается под внесенные изменения.
Способ 3
Третий способ создания визуализаций основан на инсайтах, или на наблюдениях. В верхней части экрана есть строка Insight Advisor, который формирует визуализации исходя из вашего текстового запроса. Работает на английском и на русском.

Вы записываете в строку интересные вам данные, а помощник по наблюдениям предлагает срезы для их анализа (наблюдения, совместно с другими полями) и способы их визуализации (диаграммы).
Способ 4
Еще один способ создания визуализаций основан на пользовательских объектах — расширениях и виджетах. Это объекты, которые создают пользователи либо самостоятельно (при использовании Dev Hub), либо скачивая уже готовые расширения на специальных девелоперских площадках (Qlik Branch). Расширения позволяют вам использовать нестандартные визуализации на данных, загруженные в Qlik.
Настройка диаграммы
При создании диаграммы вы можете получить:
  • таблицу без графического представления данных,
  • KPI (Ключевой показатель эффективности)
  • визуализацию на основе только измерения, только меры или (что чаще всего) на основе и измерения и меры сразу
Денис Катюшин
генеральный директор, QUBData
Самое важно при настройке любой диаграммы выполнить три базовых шага:
  1. Выбор типа диаграммы;
  2. Выбор (из глоссария)/расчет показателя;
  3. Выбор (из глоссария)/настройка измерения (применимо не для всех типов диаграмм, не используется для KPI, для тахометров/градусников).
Остальные настройки — это уже оформление диаграммы.
Оформление диаграмм — важный шаг, который может полностью сформировать конечное впечатление от аналитики для вас и ваших пользователей. Цвет, подписи (их расположение и осмысленность), сортировка, визуальное представление — все это создает удобство для визуального восприятия цифр.

Например, вы можете выбрать будет ли столбиковая диаграмма горизонтальной или вертикальной — эти настройки индивидуальны и могут меняться для каждого вида визуализации.
ПРАКТИКА
Исследование возможностей Qlik
Практическое задание 1
В сегодняшнем дне мы предлагаем вам изучить приложение-тренажер от Datanomix.pro. Ниже вы найдете объясняющее видео. Предлагаем вам поисследовать рабочие листы приложения и поделиться своими впечатлениями!

  1. Файл с готовым приложением нужно скачать здесь.
  2. Загрузить его в свою версию Qlik Sense.
Объяснение Тренажера
Видео от Datanomix.pro
Полезные ссылки
Если вам интересно узнать больше, переходите по ссылкам для дальнейшего изучения тем и расширения кругозора
Обзор дня и встреча с экспертом: День 03
Виталий Тренкеншу, Chief Qlik Officer, Datanomix.pro
Телеграм-сообщество Qlik
Приглашаем вас присоединиться к телеграм-чату Qlik, чтобы общаться с коллегами, задавать вопросы экспертам и оставаться в курсе новостей Марафона.
@qlikbi_chat

2022