Первые визуализации
07
/21
О чем мы поговорим сегодня
Познакомимся с кейсом создания data-driven государства от Агентства по финансовому мониторингу вместе с Qlik Sense! И, конечно, продолжим изучать визуализацию — посмотрим на краткую историю визуального представления данных и создадим первые барчарты!
ИСТОРИЯ УСПЕХА
Использование Qlik в деятельности органов по финансовому мониторингу РК
Сегодня на марафоне будет видео-кейс: на конференции Qlik Data Transformation Day 2022 (~20 минут) Руслан Остроумов, руководитель управления превенции департамента аналитических разработок и превенции, Агентство по финансовому мониторингу РК рассказал о конкретных кейсах использования аналитики Qlik Sense для отслеживания нарушений.
Среди них:
Среди них:
➜
борьба с теневой экономикой: выявлено 130 групп «фирм-однодневок» по признакам аффилированности, 117 групп ликвидированы, по 80 уже окончены производством уголовные дела
➜
социальная сфера: выявлено 29 схем хищения в детских учреждениях на 510 млн тенге, возбуждено 53 дела, защищены права 1,3 тыс детей
➜
социальная сфера: мониторинг в сфере снабжения населения электричеством, теплом и водой: выявлены необоснованные траты 22 монополистов в сфере снабжения населения электричеством, теплом и водой, повлекших рост тарифов на 17 млрд тенге. Усилиями Агентства не допущен рост и снижены тарифы на тепло, воду и газ для 1,3 млн граждан
Выступление на Qlik Data Transformation Day 2022 в Astana Hub
Data-driven государство: как Агентство по финансовому мониторингу использует аналитику?
Qlik Sense в Агентстве по финансовому мониторингу РК интегрирует 14 источников данных, включая базы данных государственных и специальных органов, внутренние источники данных и открытые данные. Всего в Qlik обрабатывается примерно 2 Тб данных и более 1 млрд строк.
20 приложений
по 20 направлениям и сферам анализа
> 3 раз
сокращение времени на анализ данных
ТЕОРИЯ
Зачем нужна визуализация
Визуальные образы воспринимаются человеком быстрее и эффективнее, чем их словесное описание.
В XVII веке, ученые начали визуализировать метео-данные на картах и вести простые таблицы метеорологических наблюдений. Затем стало понятно, что визуализация может приносить пользу и в других областях знаний. Через столетие, благодаря Уильяму Плейфейру, появились первые научные способы визуализации статистической информации и экономических данных. Плейфэр говорил, что диаграммы передают, «коммуницируют» данные эффективнее, чем таблицы и текст. Именно он — создатель линейного графика, столбиковой и круговой диаграммы.
В XVII веке, ученые начали визуализировать метео-данные на картах и вести простые таблицы метеорологических наблюдений. Затем стало понятно, что визуализация может приносить пользу и в других областях знаний. Через столетие, благодаря Уильяму Плейфейру, появились первые научные способы визуализации статистической информации и экономических данных. Плейфэр говорил, что диаграммы передают, «коммуницируют» данные эффективнее, чем таблицы и текст. Именно он — создатель линейного графика, столбиковой и круговой диаграммы.
Уильям Плейфейр
шотландский инженер и политэконом, основатель графических методов статистики
 |  |  |  |
Примеры визуализаций Уильяма Плейфейра. Нажмите на изображение, чтобы увеличить его
В наше время, визуализация помогает понимать смысл массивов данных, преобразовывая сырые данные в наглядные диаграммы. Данные без обработки, в сыром виде, нам ни о чем не сказали бы — как можно уловить суть таблицы на 50 тысяч строчек без какого-либо анализа?
Денис Катюшин
генеральный директор, QUBData
“
Визуализация позволяет быстро считывать со страницы сигналы. Как правило, дашборд строится как некий набор индикаторов, который подсказывает на что необходимо обратить внимание, подсвечивает проблемную область.
>> Кейс из практики
В организации, которая реализует коммерческие и федеральные проекты строительства, необходимо разработать дашборд, который позволит оперативно оценивать состояние проектов.
Для этих целей было разработано аналитическое приложение, при это использовался индикативный подход для оценки пула проектов, что предполагает:
Если пул проектов очень большой, то для повышения эффективности индикативного подхода может использоваться доп. условия – показывать только важно – те проекты, которые имеют красный индикатор хотя бы по одному параметру.
Для этих целей было разработано аналитическое приложение, при это использовался индикативный подход для оценки пула проектов, что предполагает:
- для всех проектов применяется единый набор метрик для оценки состояния;
- руководитель получает информацию по всему пулу проектов в одном ключе;
- каждый проект имеет оценку в виде индикаторов (зеленый, желтый, красный) по: превышению бюджета, отставанию по срокам, наличию реализованных рисков;
Если пул проектов очень большой, то для повышения эффективности индикативного подхода может использоваться доп. условия – показывать только важно – те проекты, которые имеют красный индикатор хотя бы по одному параметру.
Компоненты визуализаций
Любая диаграмма состоит из четырех частей — системы координат, шкалы, визуальной кодировки и контекста. Каждый из этих строительных блоков выполняет свою отдельную функцию, а вместе они обеспечивают простое и быстрое понимание диаграммы аудиторией.
Понимание как работают и из чего состоят 4 основные части, поможет в выборе правильной визуализации для ваших данных.
>> Система координат
Внешний вид диаграммы полностью зависит от выбранной системы координат. Существуют 3 вида системы координат: декартова, полярная и географическая. Декартова система координат всем знакома со школы: самые распространенная с координатами X и Y. В полярной системе координаты располагаются в соответствии с радиусом и величиной угла. Гео-система использует широту и долготу как координаты, позволяя строить карты.
>> Шкалы
Благодаря подписям данных на шкалах, мы понимаем на что мы смотрим, какая размерность у графика, что представляет каждая категория. Размерность шкалы также определяет как будет выглядеть конечный график.
Системы координат и шкалы
>> Визуальная кодировка
Данные должны быть правильно закодированы для того, чтобы они были понятны. Визуальная кодировка, которую вы будете использовать, зависит от природы ваших данных и вашей цели.
Визуальная кодировка может выражаться через:
Визуальная кодировка может выражаться через:
- Столбцы
- Линии
- Точки
- Символы (квадраты, звездочки, треугольники…)
- Площадь
- Радиус угла
- Направление
>> Контекст
Контекст — это все текстовое и информативное оформление, которое помогает аудитории понять смысловое окружение диаграммы: наименование показателя, временные рамки, пояснения сокращений. Без контекста данные могут быть трактованы некорректно.
Столбиковая диаграмма
Столбиковая (линейчатая) диаграмма — это самый распространенный и универсальный вид диаграммы. Она отвечает на вопрос «сколько?» и позволяет сравнить категории между собой.
Величина показателя выражается при помощи длины столбиков: чем длиннее столбец, тем больше его значение. Столбиковая диаграмма может быть и вертикальной и горизонтальной, в зависимости от того, где располагаются категории.
Величина показателя выражается при помощи длины столбиков: чем длиннее столбец, тем больше его значение. Столбиковая диаграмма может быть и вертикальной и горизонтальной, в зависимости от того, где располагаются категории.
Диаграмма показывает значения одного показателя по каждой дискретной категории, сравнивая их друг с другом. Если вы хотите линейчатой диаграммой отображать тренды во времени, это лучше сделать при помощи линейного графика.
В Qlik Sense диаграмма создается на основе хотя бы одного измерения и одной агрегированной меры. Вы можете настроить расположение диаграммы: она может быть как вертикальной, так и горизонтальной. Также, вы можете настроить прокрутку, шаг периодичности линий сетки, добавить опорную линию и подписи значений над столбцами.
На основе стандартной линейчатой диаграммы можно создать линейчатую диаграмму с несколькими измерениями. Для этого, после создания диаграммы, в ее свойствах вам необходимо добавить еще одно дополнительное измерение, чтобы получить опции группировки наборов данных.
Гистограмма
Гистограмма — это вид статистического графика, который показывает распределение величины. Гистограмма показывает частотность значений переменной, т. е. сколько раз то или иное значение встречается в наборе данных. Визуальной кодировкой здесь будет длина столбца — чем он выше, тем больше частота значения величины.
Гистограммы используются для того, чтобы отследить концентрацию значений, выявить экстремумы, установить тип статистического распределения. При этом, частотность может показываться как на интервалах значений, так и на периоде времени. По смыслу, гистограмма показывает плотность распределения.
Распределения важны для понимания природы данных. На гистограмме будут хорошо видны асимметрии, возможные выбросы, меры центральной тенденции. В общем, это некий «слепок» наших данных, который мы, кстати, можем сравнивать с другими слепками других данных — и это будет эффективно!
Подробнее про статистические распределения читайте в Открытом Марафоне DataYoga по Грамотной работе с данными: https://dataliteracy.ru/speak04
Подробнее про статистические распределения читайте в Открытом Марафоне DataYoga по Грамотной работе с данными: https://dataliteracy.ru/speak04
Применение визуализаций
Денис Катюшин
генеральный директор, QUBData
Диаграммы — это средство визуального представления информации. Если сравнить с таблицей, то, например 6 строк (например, 6 показателей) таблицы с отражением факта, плана, % исп., факта прошлого года, % изм. к прошлому году при графическом отражении может потребовать больше пространства, но при этом такое представление будет более наглядным.
Кейс. 1. Логистическая компания: разработка дашборда руководителя.
Задача — необходимо на одной странице отразить ключевые показатели работы компании (выручка, EBITDA, чистая прибыль, объем перевозок, средняя ставка, рентабельность по ЧП).
При этом важно обеспечить ответы на следующие вопросы:
➜ какой факт за отчетный период?
➜ какой процент исполнения плана?
➜ какая динамика за последние 5 кварталов/13 месяцев?
➜ какая динамика по отношению к прошлому году?
Для этих целей используется набор следующих объектов визуализации:
➜ KPI объект для отражения факта и процента исполнения плана
➜ Линейный график/Линейчатый график или Гистограмма/Комбодиаграмма — для отражения динамики факта за 5 кварталов/13 месяцев. Подобный график позволит получить информацию по динамике показателя, по сопоставлению с прошлым годом, а также при необходимости сопоставление с планом в динамике.
Кейс. 1. Логистическая компания: разработка дашборда руководителя.
Задача — необходимо на одной странице отразить ключевые показатели работы компании (выручка, EBITDA, чистая прибыль, объем перевозок, средняя ставка, рентабельность по ЧП).
При этом важно обеспечить ответы на следующие вопросы:
➜ какой факт за отчетный период?
➜ какой процент исполнения плана?
➜ какая динамика за последние 5 кварталов/13 месяцев?
➜ какая динамика по отношению к прошлому году?
Для этих целей используется набор следующих объектов визуализации:
➜ KPI объект для отражения факта и процента исполнения плана
➜ Линейный график/Линейчатый график или Гистограмма/Комбодиаграмма — для отражения динамики факта за 5 кварталов/13 месяцев. Подобный график позволит получить информацию по динамике показателя, по сопоставлению с прошлым годом, а также при необходимости сопоставление с планом в динамике.
ПРАКТИКА
Создаем визуализации
Игорь Буробин
эксперт по Qlik Sense, «Про BI»
Практическое задание
Мы будем работать на основе уже загруженных данных (из практики дня 05).
Постройте линейчатую диаграмму (Bar chart), отражающую рейтинг стран по количеству фильмов. Так же как и в прошлых заданиях, старайтесь использовать меры и измерения.
Укажите для визуализации заголовок, подзаголовок.
Постройте линейчатую диаграмму (Bar chart), отражающую рейтинг стран по количеству фильмов. Так же как и в прошлых заданиях, старайтесь использовать меры и измерения.
Укажите для визуализации заголовок, подзаголовок.
Подсказки:
Рейтинги как правило не выводят все значения измерений, а ограничиваются лучшими или худшими значениями. Используйте настройки ограничения измерения, чтобы вывести только 5 первых значений.
При этом обратите внимание, что ограничение будет работать вместе с указанным порядком сортировки. Для рейтинга порядок сортировки должен быть по мере — Количеству фильмов. Если у вас указан другой порядок сортировки (по наименованию страны) поменяйте порядок передвинув наименование меры вверх.
Рейтинги как правило не выводят все значения измерений, а ограничиваются лучшими или худшими значениями. Используйте настройки ограничения измерения, чтобы вывести только 5 первых значений.
При этом обратите внимание, что ограничение будет работать вместе с указанным порядком сортировки. Для рейтинга порядок сортировки должен быть по мере — Количеству фильмов. Если у вас указан другой порядок сортировки (по наименованию страны) поменяйте порядок передвинув наименование меры вверх.
Полезные ссылки
Если вам интересно узнать больше, переходите по ссылкам для дальнейшего изучения тем и расширения кругозора
Семен Астахов
архитектор решений по встроенной аналитике, Qlik
Инструменты дизайна Qlik Sense
Семен Астахов рассказывает о практиках создания визуализаций и показывает инструменты для реализации ваших идей по визуализации данных
Телеграм-сообщество Qlik
Приглашаем вас присоединиться к телеграм-чату Qlik, чтобы общаться с коллегами, задавать вопросы экспертам и оставаться в курсе новостей Марафона.
@qlikbi_chat
@qlikbi_chat
Обзор дня и встреча с экспертом: День 07
Дина Сейлханова, старший консультант, Qlik France
2022