Ассоциативная модель
04
/21
О чем мы поговорим сегодня
Сегодня мы узнаем о том, как можно выстроить потрясающую карьеру с помощью Qlik, изучим принципы работы ассоциативной модели, потренируемся понимать выборки и не забудем принять участие в опросе-исследовании о том, как вы работаете с данными!
ИСТОРИЯ УСПЕХА
Карьерные возможности вместе с Qlik
В качестве истории успеха сегодня необычный кейс! Мы поговорили с Диной Сейлхановой — старшим консультантом французского подразделения Qlik, и узнали про насыщенный и интересный профессиональный путь Дины! Надеемся, наше интервью сможет вдохновить и вас.
Дина Сейлханова
старший консультант, Qlik France
 Изначально у меня не было опыта работы в BI, поэтому мой руководитель в Qlik сразу же предупредил: придется многому учиться. Я была готова ко всему!
— Дина, расскажи про то, как ты пришла к работе с Qlik?
— Я закончила бакалавриат по программе «Информационные системы» в Алмате. После окончания учебы, я нашла магистратуру во Франции — туда можно было ехать без знания французского, обучение проходило на английском. На втором году магистратуры у меня появился интерес к визуализации данных и такому направлению как human-computer interaction — исследование методов взаимодействия человека с компьютером и информационными системами. Мой первый серьезный проект по визуализации был исследовательским и касался анализа предпочтений избирателей, выявления паттернов по регионам и городам — тогда как раз проходила предвыборная кампания Макрона.

После окончания магистратуры я устроилась в компанию Amadeus IT Group, международного ИТ-разработчика ПО для авиакомпаний. Там я попала в команду проекта по встроенной аналитике на основе Qlik Sense.
— В чем заключалась твоя роль в проекте? Почему ты продолжила изучение Qlik и после его завершения?
— Amadeus — большая компания с огромным количеством внутренних регламентов и правил по работе с данными, и громадным IT-стеком, который в том числе включал хранилища Hadoop, Hive.

Продукты Amadeus используют не только крупные авиакомпании со штатом собственных аналитиков, но и небольшие авиалинии, которым хочется получать не выгрузки сырых данных, к примеру, из системы бронирования, а понятный дашборд, на котором будет легко проанализировать возвраты билетов, отмены и задержки рейсов.

Именно над этим и работала наша ОЕМ-команда внутри Amadeus: в Qlik Sense уже были преднастроены дашборды-шаблоны для новых подгруженных данных, мы проверяли, чтобы все данные были корректны, а само приложение обновлялось, проводили дополнительную настройку визуализаций под требования заказчиков. При необходимости, также проводили обучение работе с дашбордами и их доработке в Qlik Sense. Обычно, имплементация занимала 2−3 месяца, затем приступали к следующему клиенту.

Именно в Amadeus я прошла практический курс по разработке в Qlik Sense и поняла, что это та область, которой я хочу заниматься и дальше. По личным причинам, мне пришлось переезжать с юга Франции на север, в Париж – там я отправила резюме в офис Qlik.
— Как бы ты описала свою работу в компании Qlik? Как все начиналось?
— Изначально у меня не было опыта работы в BI, поэтому мой руководитель сразу же предупредил: придется многому учиться. Я была готова ко всему!

У нас есть несколько направлений работы:
1
аудит текущих приложений и поиск причин, по которым что-то может работать не так, как ожидается;
2
полная разработка систем с нуля, при этом, иногда мы сами выступаем как руководители проекта, то есть полностью курируем проект, а иногда у клиента есть своя команда и мы скорее помогаем координировать их усилия;
3
методологические проекты, когда клиенту необходима консультация и исследование, например, при миграции с одной версии продукта на другую — с QlikView на Qlik Sense или с Qlik Sense на Qlik Cloud. В этом случае, нам нужно понять, как выстроить процесс перехода так, чтобы потом все работало безупречно.
— Есть ли какой-то интересный проект, о котором ты можешь рассказать чуть больше?
— Да, расскажу про недавний проект в международной фармацевтической компании со штаб-квартирой во Франции. В компании более 10 000 пользователей Qlik по всему миру в разных регионах: Америка, Китай, Европа, страны СНГ… Задача — подготовить план миграции с on-premise решения Qlik Sense на облачный Qlik Cloud. Клиент хотел понять, как вообще работает облачный Qlik на таких объемах пользователей, какие ограничения могут возникнуть при переходе, что нужно продумать заранее. Мы помогали им с этим «расследованием».

Во время проекта, возникало много дискуссий и обсуждений. Например, обсуждали в какой последовательности и по какой схеме нужно переводить клиентов с Qlik Sense на Qlik Cloud? Лучше мигрировать регион за регионом или по какому-то другому принципу? Ну и возникали необычные «отклонения» от курса. Например, Китай остался на on-premise решении Qlik Sense, т.к. там действуют жесткие локальные законы о защите персональных данных, поэтому данные нельзя загружать в облако.
— У тебя очень интересный опыт. Расскажи, как можно у тебя поучиться?
— Помимо основной работы, я выступаю как приглашенный эксперт на обучениях и митапах, которые проводятся здесь, в Казахстане! Я часто делюсь своим опытом на вебинарах для слушателей Datanomix Academy (это онлайн-школа именно по Qlik Sense). Темы вебинаров разные — начиная от простых и теоретических вроде методологии разработки дашборда DAR (15 день в текущем марафоне!), заканчивая узкими продвинутыми темами — например, гео-визуализации с помощью KML-файлов.

Мне нравится объяснять что-то сложное простым языком, нравится видеть радость от долгожданного понимания какой-то темы! Возможно, и после этого марафона кто-то из его участников узнает что-то новое для себя, а может даже захочет изменить свой карьерный путь — мы будем рады в этом помочь!
ТЕОРИЯ
Ассоциативная модель Qlik Sense
Большинство BI-систем опираются на стандартные SQL-запросы — они линейны и предполагают, что вы уже знаете, что вы хотите получить от данных (иначе запрос не сформируется). Если в процессе исследования вы хотите посмотреть на новый срез этих же данных, вам нужно будет отправить новый запрос: получается довольно неудобный цикл «спроси, подожди, ответь». Каждый новый тип вопроса к данным имеет период ожидания.

При работе с линейными запросами, вы всегда будете ограничены результатами первоначального запроса. Захотите посмотреть на дополнительный срез — например, посмотреть данные по маркетингу — меняйте запрос и прописывайте связи с новыми источниками. А если этих связей вам не видно, или вы просто не знаете как их вообще можно связать? Вы можете даже не знать, что нужные вам данные существуют, просто не увидев их взаимосвязи с вашими данными.
В Qlik смогли решить эту проблему при помощи своего запатентованного инновационного механизма Associated Engine (Ассоциативный движок), разработанного специально для интерактивного исследования и анализа в свободной форме.
В Qlik все загруженные данные объединяются автоматически в единую модель, таким образом, чтобы все они обрабатывались одинаково, без потери данных и были связаны между собой.
Между таблицами создаются умные взаимосвязи и формируется контекст — пользователи должны иметь возможность легко создавать аналитику без использования сложных запросов. К тому же, в Qlik можно загружать необработанные и неполные данные для анализа без необходимости заранее идеально моделировать таблицы.
Как работает ассоциативная модель
Помимо технической стороны — моментальной связи и полноты всех имеющихся у вас данных — ассоциативная модель проявляется и в интерфейсе Qlik Sense. Один из ключевых моментов ассоциативной модели — это, разумеется, сам механизм ассоциации.
Денис Катюшин
генеральный директор, QUBData
Наглядная иллюстрация ассоциаций на практике:

Пользователь, имея на входе набор измерений, которые используются как фильтры, может проследить взаимосвязи между данным, опираясь на три цвета:
зеленый – текущие выборки,
белый – связанные с выборкой данные,
светло-серый – альтернативная выборка (не попадает в текущий разрез данных, но этими данными можно дополнить текущую выборку без конфликта с остальными полями),
темно-серый – данные, находящиеся за пределами выборки.

Например, мы проводим анализ продаж в нашей сети. Ниже на иллюстрации видно, что наши три клиента (выбраны, находятся в зеленой области)
  • покупают товары в нашей сети в городах, которые находятся в белой области,
  • документы оформляют через менеджеров нашей сети, которые находятся в белой области,
  • покупают бренды, группы и линейки товаров, которые находятся в белой области.
  • При этом эти товары производятся в странах, которые также находятся в белой области и среди этих операций нет возвратов, только продажи,
  • При этом есть альтернативная выборка (светло-серые значения) клиентов и поставщиков, которыми можно расширить текущий срез аналитики,
  • Ну и плюс к этому – эти товары привозят два выбранных поставщика. Далее можно обогащать аналитику: добавлять средний чек, процент маржи, процент наценки и т.д., чтобы делать соответствующие выводы относительно развития сети, изменения ассортимента и номенклатуры.
Нажмите на изображение, чтобы увеличить его.
Надо понимать, что для анализа ценность дают оба варианта подсветок — и белая и серая — так как если у нас стоит цель, например, понять, в каких городах нет продаж высокомаржинального продукта, нам нужно обращать внимание как раз на исключенные (серые) регионы и погружаться в аналитику, чтобы выяснить и устранить причины.
Благодаря исследованию данных в ассоциативной модели, пользователь имеет доступ одновременно к множеству своих источников данных (даже из разных систем). Не нужно быть экспертом в данных и знать, как составлять запросы к ним, достаточно просто интуитивного выбора фильтров.

Механизм ассоциативных связей мгновенно перестроит модель согласно вашей выборке после каждого клика: зеленый (выбранный), белый (связанный), светло-серый (альтернативный), темно-серый (не связанный). А поскольку мы работаем постоянно в одном приложении (контексте), то мы не упускаем из поля анализа и исключенные значения, которые теряются при работе с инструментами на основе линейных запросов.
ПРАКТИКА
Исследование ассоциативной модели
Практическое задание 1
В сегодняшнем дне мы предлагаем вам изучить приложение-тренажер по ассоциативной модели от Datanomix.pro.

  1. Файл с готовым приложением нужно скачать здесь.
  2. Загрузить его в свою версию Qlik Sense.
  3. Открыть рабочие листы и следовать инструкциям там :-)
Полезные ссылки
Если вам интересно узнать больше, переходите по ссылкам для дальнейшего изучения тем и расширения кругозора
Обзор дня и встреча с экспертом: День 04
Дина Сейлханова, старший консультант, Qlik France
Опрос: А как вы работаете с данными?
Анкета-исследование. Как вы работаете с данными, насколько сложно это вам дается? Поделимся результатами исследования со всеми, кто ответит!

2022