Карты и другие чарты
09
/21
О чем мы поговорим сегодня
Узнаем, как выстроены процессы работы с данными в Сбербанке Казахстана и какие изменения начались вместе с внедрением Qlik в компании; продолжим изучать основные виды визуализаций и разберемся с тем, как работают карты и диаграммы целого!
ИСТОРИЯ УСПЕХА
Сбербанк Казахстан: про управление аналитикой
С 2018 года Сбербанк Казахстан использует решения Qlik для работы с аналитикой во всех ключевых подразделениях банка. При этом, на основе Qlik Sense также активно развивается направление self-service аналитики: за первые 6 месяцев 2021 года число пользователей Qlik выросло в среднем на 92%, а число постоянных пользователей — на 112%. Доля self-service отчетов в их общем количестве составляет примерно четверть.
Степан Глушков
Chief Data Officer, Сбербанк Казахстан
Различные BI-инструменты внедрялись в Сбербанке Казахстан с 2011 года, причем зачастую разными подразделениями использовались различные решения. В основном аналитика была востребована четырьмя подразделениями: финансовым, корпоративным и розничным блоками и блоком оценки рисков.
Постепенно стало понятно, что внедренные системы не удовлетворяют потребности бизнеса в визуализации аналитики и стоимости разработки приложений и отчетов. Так же достаточно сложно было предоставить эти инструменты как self-service для сотрудников подразделений, хотя в каждом блоке банка и были собственные компетенции по работе с данными.
Постепенно стало понятно, что внедренные системы не удовлетворяют потребности бизнеса в визуализации аналитики и стоимости разработки приложений и отчетов. Так же достаточно сложно было предоставить эти инструменты как self-service для сотрудников подразделений, хотя в каждом блоке банка и были собственные компетенции по работе с данными.
Бахыт Данияров
Руководитель направления ДУКД (Департамент управления корпоративными данными), Сбербанк Казахстан
“
В 2017 году материнский банк уже достаточно активно развивал направление аналитики на основе QlikView и Qlik Sense. Это отразилось и на нашем бизнесе, потому что дочернему банку демонстрировали отчетность, реализованную на Qlik, она была удобной и прекрасно визуализированной, а интерфейс решения — дружелюбным.
Среди первичных целей проекта было развертывание архитектуры и настройка интеграционных процессов Qlik Sense с единым источником данных. Чтобы убедиться, что выстроенная архитектура работает корректно, были отобраны и реализованы в BI порядка 20 сложных отчетов, используемых ключевыми заказчиками. Около 8 месяцев ушло на организационные процессы, в том числе на закупку лицензий. Первые ощутимые результаты банк получил в 2019 году.
Ключевым источником данных в банке является хранилище на базе Oracle — Qlik Sense берет данные из него. Однако некоторые подразделения ведут внутреннее планирование в Excel — данные из таблиц также загружаются в Qlik.
Ключевым источником данных в банке является хранилище на базе Oracle — Qlik Sense берет данные из него. Однако некоторые подразделения ведут внутреннее планирование в Excel — данные из таблиц также загружаются в Qlik.
Объемы данных в хранилище составляют порядка 3−4 Тбайт, а ежедневная загрузка — порядка 180 Гбайт.
На данный момент в банке создан тестовый контур, в котором с помощью BI-инструментов Qlik любой сотрудник может разработать приложение, описать его согласно стандартам и отправить в ДУКД.
«Не важно, какой объем данных у вас имеется, важно, какую полезную информацию вы можете получить из этих данных»
Опыт команды Qlik в «Сбербанк Казахстан»
Сначала инструментами BI в банке пользовались только специалисты стратегического и тактического уровня — топ-менеджеры банка и руководители департаментов и отдельных направлений. Чтобы распространить культуру работы с аналитикой за пределы руководства, в банке на совещаниях презентовали разработанные аналитические отчеты, а кроме того, организовали обучение для сотрудников, в том числе воркшопы и обучение Qlik в онлайн школе Datanomix Academy.
Эффективным инструментом вовлечения в работу с BI стала и точечная работа с руководителями разного уровня: им презентовался функционал отдельных приложений, сценарии использования аналитики в рамках бизнес- процессов, возможности фильтров и многое другое. Это позволило обеспечить максимально активную работу с данными.
Эффективным инструментом вовлечения в работу с BI стала и точечная работа с руководителями разного уровня: им презентовался функционал отдельных приложений, сценарии использования аналитики в рамках бизнес- процессов, возможности фильтров и многое другое. Это позволило обеспечить максимально активную работу с данными.
В результате такой работы пользователями BI-системы стали не только 4 ключевых блока, но и остальные подразделения банка.
Аналитика для аналитиков: динамика хода разработки BI-продуктов в Сбербанке
В результате проекта в 2−3 раза увеличилась скорость подготовки больших отчетов за счет технологии in-memory, преобразующей данные на лету в разных форматах и с применением разных фильтров.
Еще одним значимым результатом в банке называют сокращение числа расхождений в данных и количества ошибок — Qlik становится инструментом аналитики, которому пользователи доверяют.
Еще одним значимым результатом в банке называют сокращение числа расхождений в данных и количества ошибок — Qlik становится инструментом аналитики, которому пользователи доверяют.
Выступление на Qlik Data Transformation Day 2022 в Astana Hub
Степан Глушков, Chief Data Officer, рассказал об управлении аналитикой в банке и о практике внедрения Kanban в команде по управлению данными и BI
180 Гб
Объем ежедневной загрузки данных
3х быстрее
В результате проекта в 2−3 раза увеличилась скорость подготовки больших отчетов за счет технологии in-memory
ТЕОРИЯ
Карты и другие чарты
Географические карты
Карты — мощный визуальный инструмент отображения информации по показателям стран, областей, городов или конкретных географических точек.
В первых версиях Qlik Sense не было стандартной визуализации для географических карт.
В первых версиях Qlik Sense не было стандартной визуализации для географических карт.
Разработчикам приходилось создавать собственные расширения на языке JavaScript. Из-за этого карты не считались распространенным способом визуализации, поскольку были сложны в создании. Сейчас же карты создаются легко и быстро.
Отображение данных на картах в Qlik Sense происходит через создание слоев, где каждый слой соответствует отдельному способу визуализации данных на карте и конкретной детализации
Вот какие типы слоев есть в Qlik Sense:
➜
Области. Данный слой отображает целые области и регионы на основе данных. Значение показателя выражается через цвета, либо его оттенки. Данной слой визуально всем понятен и хорошо воспринимается. Хорошей практикой будет добавление к карте всплывающих подсказок с информацией, в которых можно отобразить наименование области и показатель.
➜
Точки. С помощью точек можно отобразить отдельные объекты – города, точки в данных, любую пару координат. Значение показателя можно передать двумя способами – через цвет точки и через ее размер.
➜
Линии. Если интересны связи, например рейсы авиалиний или перевозки грузов, можно использовать линии для отображения связей на местности.
➜
Плотности. Данный слой можно также назвать «тепловой» картой, которую используют если необходимо обозначить интенсивность какого-либо показателя, например, количества жителей или точек продаж. В основе плотности лежит слой точек, и чем больше их скопление на области – тем интенсивнее цвет.
➜
Диаграммы. На месте точек на карте будут построены круговые или столбчатые диаграммы, при наведении на которые мы увидим более подробную информацию.
Для того, чтобы у вас была возможность создавать карты — в данных должен находиться хотя бы один вариант из списка:
➜
Географические точки, полигоны или линии из географического источника данных (например KML)
➜
Геоданные в GeoJSON, LineString или MultiLineString
➜
Поля, содержащие не WGS-84 координаты (корректно при использовании пользовательского слоя карты)
➜
Текстовые названия стран, городов на английском языке, поля широты и долготы (при включенном профилировании данных)
Для построения слоев на карте можно также использовать разные типы местоположений:
- Наименования континентов
- Названия стран
- Названия административных областей от первого до четвертого порядка
- Наименования населенных пунктов
- Почтовые коды или индексы
- Коды аэропортов IATA и ICAO
- Коды стран стандартов ISO alpha 2 и ISO alpha 3
Данные по названиям должны хранится на английском языке. Qlik Sense анализирует подмножество данных, чтобы распознать поля, содержащие данные о городах или странах. Если совпадение составляет менее 75 процентов, поля с географическими сведениями созданы не будут. Если поле не распознано в качестве поля с географическими данными, можно вручную изменить тип поля на поле с географическими данными.
Карты
Как создать карту в Qlik Sense:
Слои располагаются над слоями того же типа. Порядок слоев можно настроить путем их перетаскивания вверх и вниз по списку. Слой в начале списка накладывается поверх других слоев карты.
После создания карты можно настроить ее внешний вид или другие параметры самой карты и ее слоев на панели свойств.
- Перетащите на лист пустую карту с панели ресурсов.
- В разделе Параметры карты выберите Базовая карта.
- В разделе Слои на панели свойств добавьте слои на карту.
Слои располагаются над слоями того же типа. Порядок слоев можно настроить путем их перетаскивания вверх и вниз по списку. Слой в начале списка накладывается поверх других слоев карты.
После создания карты можно настроить ее внешний вид или другие параметры самой карты и ее слоев на панели свойств.
Денис Катюшин
генеральный директор, QUBData
С использованием геоаналитики реализуется как стандартный набор задач — показать филиальную сеть и индикаторы по % исп. плана продаж/производства, или отразить с использованием цветовой индикации территории присутствия компании и, например, степень проникновения на локальны рынки этих территорий, так и нестандартные задачи — например отразит грузопоток между различными логистическими узлами.
>> Кейс из практики
Кейс 1. Логистическая компания оценивала объемы перемещения грузов между различными логистическими узлами, которые находятся под ее управлением. В частности, руководителю было важно видеть:
Данная задача была реализована с использованием кастомизированных карт, которые отражали точки отправки и точки доставки грузов, в виде анимации отражался грузопоток и вид транспорта (например, чем больше был грузопоток, тем более интенсивно из точки, А в точку Б летали самолеты или ехали грузовые автомобили) и чем больше груза скапливалось в точке Б, тем больше была эта точка на карте.
- каким видом транспорта осуществляется доставка?
- какова интенсивность грузооборота — какой объем груза приходит из логистических хабов из различных стран в терминалы компании?
- какие сроки ожидания груза в терминале компании для прохождения различных процедур?
Данная задача была реализована с использованием кастомизированных карт, которые отражали точки отправки и точки доставки грузов, в виде анимации отражался грузопоток и вид транспорта (например, чем больше был грузопоток, тем более интенсивно из точки, А в точку Б летали самолеты или ехали грузовые автомобили) и чем больше груза скапливалось в точке Б, тем больше была эта точка на карте.
Визуализация целого на части
Круговые диаграммы — или пайчарты — показывают отношение между категориями данных при помощи сегментов круга. Вся окружность круга равна 100%. Отдельные ее участки отображают долю определенной категории. Круговые диаграммы удобны для показа пропорций небольшого количества сегментов.
Главной ошибкой в использовании круговых диаграмм является попытка вывести слишком большое количество сегментов. Из-за этого пайчарт выглядит перегружено, а понимать данные будет сложно. Кроме того, на них нельзя отобразить отрицательные или нулевые значения.
Главной ошибкой в использовании круговых диаграмм является попытка вывести слишком большое количество сегментов. Из-за этого пайчарт выглядит перегружено, а понимать данные будет сложно. Кроме того, на них нельзя отобразить отрицательные или нулевые значения.
Не используйте несколько круговых диаграмм для сравнения изменения доли сегмента в динамике по годам. Провести сравнение будет невозможно.
Круговая диаграмма
Как создать круговую диаграмму в Qlik Sense:
Следующие настройки используются в круговой диаграмме по умолчанию:
- Перетащите на лист пустую круговую диаграмму с панели ресурсов.
- Добавьте Измерение — это будет разбивка сегментов
- Добавьте Меру — это будет угол каждого сегмента
Следующие настройки используются в круговой диаграмме по умолчанию:
- Верхние 10 секторов представлены по убыванию размера, по часовой стрелке
- Цвета представлены по измерению
- Подписи данных представлены в процентном выражении
Диаграмма дерева
Диаграмма дерева (или тримап) — это плоская таблица, которая наглядно показывает соотношение частей целого. Он является методом отображения иерархических данных с помощью вложенных прямоугольников.
Для построения диаграммы дерева нужна хотя бы одна категория и одна мера. Категории будут определять «разбивку», а меры — площадь каждого прямоугольника.
Отобразить значение показателя можно несколькими способами: подписями на прямоугольниках, цветом прямоугольников, и метод по умолчанию — размер прямоугольников, площадь которого пропорциональна доле показателя.
Отобразить значение показателя можно несколькими способами: подписями на прямоугольниках, цветом прямоугольников, и метод по умолчанию — размер прямоугольников, площадь которого пропорциональна доле показателя.
Есть некоторые ограничения, аналогичные пайчарту. Например, нельзя отображать динамику, нулевые или отрицательные значения.
Точечная диаграмма
Точечная диаграмма — или диаграмма рассеяния, скаттерплот — показывает распределение всех элементов множества на плоскости. Это статистическая диаграмма и ее часто используют для нахождения корреляция между двумя переменными.
Значения одного независимого параметра откладываются по горизонтальной оси, а значения зависимого параметра по вертикальной.
Значения одного независимого параметра откладываются по горизонтальной оси, а значения зависимого параметра по вертикальной.
Отличие от большинства остальных диаграмм заключается в том, что значение измерений находятся не на одной из осей в виде заголовков, а представляются точками на диаграмме. На двух осях отмечаются шкалы двух основных мер.
Точечная диаграмма
Как создать в Qlik Sense:
Если вы добавляете третью меру, то ее значение будет влиять на размер кружочков. В свойствах точечной диаграммы (Вид — Представление), вы можете изменять размер пузырьков.
Для точечной диаграммы с двумя мерами данный параметр задает одинаковый размер всех пузырьков. А для точечной диаграммы с тремя мерами данный параметр задает диапазон размеров пузырьков. В точечной диаграмме с тремя мерами размер каждого пузырька определяется третьей мерой.
- Перетащите на лист пустую точечную диаграмму из панели ресурсов.
- Щелкните команду Добавить измерение и выберите измерение или поле.
- Щелкните Добавить меру и выберите меру или создайте меру из поля.
- Щелкните Добавить меру и выберите меру или создайте меру из поля.
- При необходимости размер пузырьков можно настроить по третьей мере.
- Щелкните Добавить меру и выберите меру или создайте меру из поля.
Если вы добавляете третью меру, то ее значение будет влиять на размер кружочков. В свойствах точечной диаграммы (Вид — Представление), вы можете изменять размер пузырьков.
Для точечной диаграммы с двумя мерами данный параметр задает одинаковый размер всех пузырьков. А для точечной диаграммы с тремя мерами данный параметр задает диапазон размеров пузырьков. В точечной диаграмме с тремя мерами размер каждого пузырька определяется третьей мерой.
Юлия Дошлова
аналитик-разработчик Qlik Sense, ПАО Газпром нефть
“
Вы уже познакомились с различными видами визуализации. И знаете, что перед тем, как строить визуализацию, сначала следует определиться с видом графика, который подойдет для решения конкретно нашей задачи.
Выполним упражнения.
Выполним упражнения.
ПРАКТИКА
Понимаем визуализации
Юлия Дошлова
аналитик-разработчик Qlik Sense, ПАО Газпром нефть
Практическое задание 1
Наша задача звучит так:
Показать динамику изменения доли товара в общей выручке компании за последние 6 месяцев.
Какую диаграмму вы выберете для этого? Почему?
Показать динамику изменения доли товара в общей выручке компании за последние 6 месяцев.
Какую диаграмму вы выберете для этого? Почему?
Практическое задание 2
Наша задача звучит так:
Показать зависимость между ценой товара и количеством проданных единиц.
Какую диаграмму вы выберете для этого? Почему?
Показать зависимость между ценой товара и количеством проданных единиц.
Какую диаграмму вы выберете для этого? Почему?
Столбцы показывают динамику во времени, но разбивка внутри столбцов помогает понять долю категорий.
Здесь отлично подходит скаттерплот, где
- по оси Х отложим количество проданных единиц товара
- по оси Y - цену товара
Игорь Буробин
эксперт по Qlik Sense, «Про BI»
Практическое задание 3
Мы продолжаем работать на основе уже загруженных данных (из практики дня 05).
В нашей выборке присутствуют географические названия — поле, в котором находится страна производства. Qlik Sense умеет строить по географическим названиям городов, стран и регионов визуализации в виде карт. В практическом занятии мы сделаем одну такую визуализацию.
Добавьте на лис визуализацию Карта. Не перепутайте с визуализацией Карта дерева (TreeMap)! Для карты можно указать один или несколько слоев. Слой может представлен точками, областями, линиями, плотностью, диаграммами. Добавьте слой областей. В измерении слоя укажите Страну. Система отрисует на карте границы стран и закрасит страны, найденные в выборке.
Чтобы превратить карту в тепловую карту достаточно закрасить каждую найденную страну в цвета от холодного до теплого. Перейдите в раздел Цвета в настройках слоя, содержащего страны. Выберите Цвета «По мере» и укажите меру «Количество фильмов» или укажите формулу для вычисления меры количества фильмов.
В нашей выборке присутствуют географические названия — поле, в котором находится страна производства. Qlik Sense умеет строить по географическим названиям городов, стран и регионов визуализации в виде карт. В практическом занятии мы сделаем одну такую визуализацию.
Добавьте на лис визуализацию Карта. Не перепутайте с визуализацией Карта дерева (TreeMap)! Для карты можно указать один или несколько слоев. Слой может представлен точками, областями, линиями, плотностью, диаграммами. Добавьте слой областей. В измерении слоя укажите Страну. Система отрисует на карте границы стран и закрасит страны, найденные в выборке.
Чтобы превратить карту в тепловую карту достаточно закрасить каждую найденную страну в цвета от холодного до теплого. Перейдите в раздел Цвета в настройках слоя, содержащего страны. Выберите Цвета «По мере» и укажите меру «Количество фильмов» или укажите формулу для вычисления меры количества фильмов.
Подсказки-подсказки :)
Мера, указанная для настройки цвета будет выводится во всплывающей подсказке. Кстати, в Qlik Sense можно организовать в подсказках вывод дополнительной информации и даже диаграмм. Это стало возможно в новых версиях 2022 года.
Вы можете самостоятельно попробовать разные варианты настроек подсказки — добавить меры в подсказку или визуализацию.
Вы можете самостоятельно попробовать разные варианты настроек подсказки — добавить меры в подсказку или визуализацию.
Слои карты
Для карт можно использовать разную подложку, она настраивается не для каждого слоя, а в общем для всей диаграммы.
Выйдите из настроек слоя диаграммы и перейдите в Параметры карты. Кликнув на изображение подложки, вы сможете выбрать другую подложку. Чаще всего, я использую в своих приложениях бледную подложку или вообще отключаю подложку, если обрисовываю области. В нашем случае, подложку лучше не отключать, потому что в нашем наборе данных присутствуют не все страны и пользователь может не понять пустот на визуализации.
Выйдите из настроек слоя диаграммы и перейдите в Параметры карты. Кликнув на изображение подложки, вы сможете выбрать другую подложку. Чаще всего, я использую в своих приложениях бледную подложку или вообще отключаю подложку, если обрисовываю области. В нашем случае, подложку лучше не отключать, потому что в нашем наборе данных присутствуют не все страны и пользователь может не понять пустот на визуализации.
Полезные ссылки
Если вам интересно узнать больше, переходите по ссылкам для дальнейшего изучения тем и расширения кругозора
Виталий Тренкеншу
основатель, Datanomix.pro
Работа с картами и стандартами KML в Qlik Sense
Виталий Тренкеншу, управляющий партнер Datanomix.pro, знакомит с форматом KML, одним из способов для создания собственных карт
Александр Полоротов
со-основатель, Datanomix.pro
Нарисованный Джон Сноу
Джон Сноу из «Игры престолов» вытеснил из нашего сознания полного тезку — героя не выдуманного, а самого настоящего.
Британский врач не разбивал белых ходоков, да и вообще вряд ли держал оружие в руках, что не помешало ему справиться с «чумой XIX века» — холерой. Там, где бессильна валирийская сталь, пришла на помощь визуализация данных.
Британский врач не разбивал белых ходоков, да и вообще вряд ли держал оружие в руках, что не помешало ему справиться с «чумой XIX века» — холерой. Там, где бессильна валирийская сталь, пришла на помощь визуализация данных.
Телеграм-сообщество Qlik
Приглашаем вас присоединиться к телеграм-чату Qlik, чтобы общаться с коллегами, задавать вопросы экспертам и оставаться в курсе новостей Марафона.
@qlikbi_chat
@qlikbi_chat
Обзор дня и встреча с экспертом: День 09
Семен Астахов, архитектор решений по встроенной аналитике, Qlik СНГ
2022