Грамотная работа с данными
12
/21
О чем мы поговорим сегодня
Переходим от темы технической работы с Qlik Sense к более широкой теме грамотной работы с данными. Узнаем об опыте образовательного марафона в КазахТелеком, а также прочитаем об основных компетенциях Data Literacy и управления данными.
ИСТОРИЯ УСПЕХА
Марафон по грамотной работе с данными в КазахТелеком
В компании АО «Казахтелеком» на протяжении последних двух лет активно идет реализация проекта по использованию и применению алгоритмов BigData. Практически в каждом подразделении уже созданы отделы, которые отвечают за реализацию задач по BigData.

С 2021 года в компании запустили проект по внедрению Qlik Sense — «Все в Qlik». В отчетах и приложениях Qlik будет реализовано обеспечение всех аналитик компании, например, по системе трансфертного ценообразования, расчетов PML, пост-мониторингу и др. — на базе выстроенных отчетов будут приниматься обоснованные решения.
Направление анализа и исследования данных, в том числе и BigData, имеет колоссальное значение для телеком-компании. Это не только качественный переход на принятие решений на основе данных, но и монетизация данных
Марат Абдилдабеков
главный директор по информационным технологиям, АО Казахтелеком
“
С прошлого года мы начали реализацию проекта Qlik Sense — это информационная система, которая позволяет простыми способами обеспечивать аналитику, с визуализацией и интерактивностью диаграмм. Наша задача — обеспечить сотрудников знаниями, чтобы они научились работать в QlikSense и извлекать из данных максимальную пользу.
Совместно с DataYoga в компании выстроили образовательную программу онлайн-марафона для всех сотрудников компании. Марафон состоял из 10 тем по грамотной работе с данными и базовому пониманию Qlik Sense и включал в себя истории успеха от экспертов внутри АО «Казахтелеком».
Цель Марафона — показать возможности анализа и визуализации данных не только в теоретических мини-уроках, но и на реальных кейсах от коллег. Например, мы рассказали о том,
➜
как удалось оптимизировать отчетность по персоналу и теперь коллеги могут легко анализировать такие метрики, как численность сотрудников, ФОТ, текучесть кадров, среднюю заработную плату, КПД и другие;
➜
как получилось уйти от ручного ВПР десятков файлов в Excel в проекте пост-мониторинговой аналитики по инвестициям и сэкономить 1 месяц работы по сведению данных в каждом квартале;
➜
как коллеги смогли оптимизировать сбор статистики через цифровые каналы связи (колл-центр, социальные сети и мессенджеры), создать шаблон приложения и получать всегда актуальные данные по обращениям в компанию.
Приняв участие в Марафоне, сотрудники АО «Казахтелеком» смогли ближе познакомиться с областью визуального анализа данных и получить необходимую минимальную подготовку к дальнейшей работе с данными.
ТЕОРИЯ
Что такое грамотная работа с данными
Умение грамотно работать с данными включает в себя не только технические навыки работы в инструменте, но и понимание концепций управления данными, знание базовой статистики, а также умение строить гипотезы и принимать обоснованные решения на основе данных.
Грамотность при работе с данными — это умение понимать данные, работать с ними и анализировать их, а также правильно интерпретировать и использовать. Необходимо также уметь обосновывать свое мнение и выводы, основываясь на данных.
Несмотря на понятные цели и фокус на работе с данными, немногие люди в организациях могут сказать, что они делают все правильно и уверенно. Данные могут стать основой для нашего роста, привести нас к лучшим результатам в нашей жизни, или… утаить весь наш прогресс и скрыть наши возможности. Данные это инструмент и нам придется выбирать, насколько осознанно мы будем их использовать.
Компетенции грамотной работы с данными
Компетенции, необходимые для грамотной работы с данными, входят в понятие Data Literacy.

На верхнем уровне компетенции Data Literacy можно разделить на 4 блока:
➜ навык читать и понимать данные
➜ навык работать с данными
➜ навыки анализа данных
➜ навык вести аргументацию и коммуникацию с помощью данных

➜
Навык чтения и понимания данных снимает «языковой» барьер в понимании всего процесса работы с данными. Что такое гистограмма? Из чего состоят базы данных? Когда нужно использовать медиану? Мы учимся разбираться в терминологии и без проблем считывать данные.
➜
Навык работать с данными — это ваша способность взаимодействовать с полученными и (уже успешно) прочитанными данными. Понимание инструментов для их обработки, использование методов визуализации, подготовка данных для презентации.
➜
Навыки анализа данных означают возможность приходить к выводам. Вы можете владеть статистическими методами и алгоритмами для проведения самостоятельного анализа и поиска инсайтов (озарений) в данных. Или же читать уже подготовленные кем-то аналитические отчеты и делать выводы на основе полученной информации. Статистические навыки не равны аналитическим, а скорее являются их частью.
➜
Навык вести аргументацию и коммуникацию с помощью данных говорит сам за себя. Это умение отстаивать свою точку зрения (гипотезу, предположение, действие) с помощью данных. Это новая альтернатива традиционной интуиции, которой часто руководствовались при принятии решений.
От данных к мудрости
Навыки грамотной работы с данными нужны и для того, чтобы понимать, какие данные могут быть полезны вообще и уметь преобразовывать их от простого набора цифр в решение, имеющее ценность.

Максимальную пользу данные приносят в тот момент, когда на их основе принимается какое-то ценное решение (пусть совсем маленькое, но оно будет обоснованным). Кроме того, нам зачастую не нужны все данные, которые собираются. Не все из них можно трактовать с пользой, некоторые просто создают шум, который невозможно преобразовать в мудрость.
➜
Сырые данные — пока еще только потенциально полезная информация. Не все данные имеют ценность. Но тут важно уметь их понять. И если они могут быть полезны — собрать и проверить их качество.
➜
Информация — данные, которые имеют цель и значение. Изучаем взаимосвязи между элементами сырых данных, например с помощью визуализации
➜
Знание — информация, которая была собрана и обработана. С одной стороны, это синтез всей имеющейся информации с целью получения результата. С другой — знание индивидуально. Знание можно передать кому-то только в виде информации
➜
Мудрость — знание, которое трансформируется в принятие обоснованного решения. Здесь задаются вопросы «что происходит» и «почему это происходит».
Представьте, что вы — пилот самолета. Вдруг на приборной панели загорается надпись: «10 000». О чем вы подумаете? Сейчас для вас эта цифра — просто данные. Вы пока не знаете как их применить к своему опыту управления самолетом. Затем, появляется надпись «м. над уровнем моря». Окей, теперь у этих данных есть значение и цель. Это стало для нас информацией: мы летим на высоте 10 000 метров над уровнем моря. Из своего прошлого опыта мы знаем, что впереди на нашем пути есть большая-большая вершина Олимп, высотой в 12 000 метров. И как успешный, мудрый пилот мы понимаем, что нужно подняться еще выше, чтобы долететь до конечного пункта маршрута в целости.
Путь, который проходят данные
До того, как превратиться в мудрость, данные проходят 7 крупных этапов: от непосредственного создания данных и источников, в которых они хранятся, до конечного потребления и принятия решений.
Путь цикличен — начинается с цели и вопросов, которые у вас есть, а заканчивается оценкой данных и принятием решений
Наверняка, вы сталкивались с каждым из этих шагов, даже если не работаете с данными напрямую. Если у вас есть мобильный телефон и компьютер с выходом в интернет (предполагаем, что так оно и есть) — вы уже участвуете в этапе создания данных. Открывая выписку своего счета в мобильном приложении банка, вы уже проводите анализ расходов и доходов по имеющимся статьям. Изучая прогноз погоды, вы уже принимаете обоснованные решения о выборе одежды и брать ли с собой сегодня термос с горячим чаем.
Всегда полезно помнить, как данные попадают к вам и куда они попадут после вас. Это повысит качество вашей работы.
На каждом этапе работы с данными важны инструменты. Инструменты — это информационные системы, программы, алгоритмы, скрипты… все то, что помогает в транспортировке данных на каждый последующий шаг
1
Цель и вопросы

Умения и личные компетенции человека, на основании имеющегося опыта. Хотя, можно использовать современные технологии для генерации вопросов к данным, но все они будут очень банальны.
2
Сбор и подготовка данных

От Excel и Google Sheets до корпоративных хранилищ данных. На физических серверах в дата-офисе компании до аренды места в облачных хранилищах. В базах данных, платных и бесплатных. Инструменты для очистки и преобразования данных. ETL-инструменты. Самостоятельные скрипты и алгоритмы. Макросы в Excel. Ручная обработка.
3
Анализ данных

Снова Excel (поэтому, пользуется популярностью). Языки программирования. Статистика. Программы для статистического анализа. BI-платформы для проведения визуальной аналитики.
4
Визуальное представление данных

Инструменты визуализации данных и BI-платформы. Онлайн-сервисы для создания диаграмм и графиков.
5
Потребление и интерпретация

Интерактивные дашборды и приложения в инструментах визуализации, отчеты, презентации, встречи. Порталы для распространения информация. Инфографика.
6
Оценка и принятие решений

Только личные качества.
Как видно, больше всего информационных систем и инструментов используется на этапах сбора и подготовки данных. Все остальное взаимодействие с данными для превращения их в ценность зависит от навыков и умений человека, который с ними работает.
Управление данными DAMA
Дмитрий Цой
президент DAMA Kazakhstan
Гульмира Сагиндыкова
вице-президент по развитию DAMA Kazakhstan
DAMA — это международная ассоциация управления данными (Data Management Association International), которая объединяет профессионалов как из сферы ИТ, так и бизнеса, и развивается абсолютно независимо. Уже 40 лет ассоциация DAMA собирает, систематизирует и пропагандирует лучшие практики по управлению данными и информацией.

В Казахстане есть свое подразделение — DAMA Kazakhstan — Astana. Это некоммерческая, вендоро-независимая организация, занимающаяся продвижением концепций и практик управления информацией и данными на территории Казахстана.
Видение DAMA Kazakhstan — Astana — быть ценным ресурсом и площадкой по обмену опытом тех, кто занимается управлением данными
Цели ассоциации:
1
Развивать и внедрять культуру управления данными в организациях Казахстана, извлекая выгоду из использования данных
2
Помогать практикующим специалистам стать более осведомленными и квалифицированными в области управления информацией и данными
3
Помогать развивать практику, образование и сертификацию в сфере управления информацией и данными
4
Создавать союзы и партнерства с другими организациями с аналогичными принципами для укрепления профессии
В сообществе DAMA Kz вы сможете найти профессиональную помощь и советы в части управления данными, актуальную информацию по обучению и сертификации, коллег и профессионалов в области данных, а также получить доступ к закрытым meetup-ам и форумам, выступления на мероприятиях, спонсируемых DAMA-I, DAMA EMEA и DAMA Kazakhstan — Astana.
Сайт DAMA Kazakhstan
ПРАКТИКА
Расширенная аналитика в Qlik Sense
Евгений Стучалкин
технический директор, BI2Business
Практическое задание
Одна из главных задач BI-аналитики — давать возможность получения инсайтов, которые нельзя добыть текущими инструментами. Чтобы вы могли оценить возможности Qlik Sense не по элементарным задачам, которые решаются на начальном этапе освоения инструмента, а сразу получить ценную для бизнеса информацию, я подготовил для вас демонстрационное приложение. Скачайте его!

Оно позволяет выполнить ряд наиболее распространенных сценариев анализа продаж, например:

  • Анализ годовой динамики роста;
  • ABC — анализ;
  • RFM — анализ;
  • Когортный анализ;
  • И еще ряд интересных сценариев.

Приложение может быть использовано как аналитиком так и бизнес-пользователем, который не разбирается в технической стороне построения BI-отчетов.

Нужно только следовать небольшой видео-инструкции, чтобы все настроить.


Если вы хотите подстроить отчет под свои данные:

Рекомендуемый формат исходных данных — таблицы Excel или CSV. Минимальный набор данных:

  • Дата продажи (именно дата, не дата + время);
  • Наименование товара;
  • Наименование клиента;
  • Сумма продажи;

Данные могут быть представлены как одной таблицей, так и набором из таблицы продаж и справочников.

Шаг 1
Инструкция к запуску Demo Sales Insights
Шаг 2
Динамика продаж Qlik Sense Demo
Вы можете доработать это приложение под свои задачи, а также использовать его как основу для изучения Qlik Sense. Продавать приложение нельзя.
Полезные ссылки
Если вам интересно узнать больше, переходите по ссылкам для дальнейшего изучения тем и расширения кругозора
Оптимизируй это немедленно!
Книга Георгия Нанеишвили – как, используя современные IT-инструменты, сократить издержки и обойти конкурентов
Перейти
Телеграм-сообщество Qlik
Приглашаем вас присоединиться к телеграм-чату Qlik, чтобы общаться с коллегами, задавать вопросы экспертам и оставаться в курсе новостей Марафона.
@qlikbi_chat
Открыть
Обзор дня и встреча с экспертом: День 12
Нанеишвили Георгий, Директор по развитию партнерской сети Qlik СНГ, Автор книги «Оптимизируй ЭТО немедленно!»
предыдущий день
День 11 — Вычисления
следующий день
День 13 — Стандарты визуализации

2022