Channel: Дашбордец
Котятки🐱,
рылась вчера по своему гиту - и нашла в закладках пример "от заявки до поставки": расписанный кейс с выделением бизнес-требований, постановкой, пошаговым построением дашборда, элементами анализа и выводами) В целом, очень неплохой комплексный пример, который раскрывает пайплайн работы BI-аналитика.
Чтобы сформировать понимание "а чего ждут от BI-аналитика" - самое оно.
Линк:
https://github.com/prachitqwer/Power-BI---Product-Rationalization
рылась вчера по своему гиту - и нашла в закладках пример "от заявки до поставки": расписанный кейс с выделением бизнес-требований, постановкой, пошаговым построением дашборда, элементами анализа и выводами) В целом, очень неплохой комплексный пример, который раскрывает пайплайн работы BI-аналитика.
Чтобы сформировать понимание "а чего ждут от BI-аналитика" - самое оно.
Линк:
https://github.com/prachitqwer/Power-BI---Product-Rationalization
GitHub
GitHub - prachitqwer/Power-BI---Product-Rationalization: Product Rationalization of Pro Bikes Inc using Power BI
Product Rationalization of Pro Bikes Inc using Power BI - prachitqwer/Power-BI---Product-Rationalization
Forwarded from Инжиниринг Данных (Dmitry)
Термин data observability достаточно недавно стал применятся к хранилищам данных и ETL. Раньше просто говорили - качество данных.
The concept of data observability was first described by Barr Moses, co-founder and CEO of software vendor Monte Carlo Data. Moses coined the term in 2019, when she wrote a blog post about applying the general principles of observability for IT systems to data.
а сам термин observability пришел из devops, подразумевает процесс мониторинга ИТ систем и возможность быстро найти причину неполадки.
Где как не на сайте Мonte Carlo можно узнать больше про data observability - What is Data Observability? Для меня это просто процесс мониторинги всего чего только можно в нашем хранилище данных и случае отклонения -> ⚠️.
Самое интересное у них это типы "мониторов", то есть типы проверок ваших данных, которые могут покрыть все решение. Я сам пользуюсь уже год, и продукт мне нравится, а недавно мы стали интегрировать dbt и MC.
Если нет денег на MC, всегда можно подсмотреть идеи у них и уже сделать с помощью dbt, python, или какой язык вы там используете.
The concept of data observability was first described by Barr Moses, co-founder and CEO of software vendor Monte Carlo Data. Moses coined the term in 2019, when she wrote a blog post about applying the general principles of observability for IT systems to data.
а сам термин observability пришел из devops, подразумевает процесс мониторинга ИТ систем и возможность быстро найти причину неполадки.
Где как не на сайте Мonte Carlo можно узнать больше про data observability - What is Data Observability? Для меня это просто процесс мониторинги всего чего только можно в нашем хранилище данных и случае отклонения -> ⚠️.
Самое интересное у них это типы "мониторов", то есть типы проверок ваших данных, которые могут покрыть все решение. Я сам пользуюсь уже год, и продукт мне нравится, а недавно мы стали интегрировать dbt и MC.
Если нет денег на MC, всегда можно подсмотреть идеи у них и уже сделать с помощью dbt, python, или какой язык вы там используете.
Monte Carlo
🧑🎓 What is Data Observability?
This section includes two videos, an introduction to Data Observability and how we approach Data Observability at Monte Carlo.
Котятки🐱,
Меня всегда восхищали шайтан-машинки campaign management, которые позволяют формировать выборки под любой запрос буквально на лету с учётом кучи доп факторов и ограничений.
Но когда денег на них нет, а ваш набор клиентов - отнюдь не биг дата, а вполне очерченный круг, ваш лучший друг BI-разработчик вполне способен соорудить вам динамическую сегментацию)
Например, по этому гайду:
https://www.daxpatterns.com/dynamic-segmentation/
Меня всегда восхищали шайтан-машинки campaign management, которые позволяют формировать выборки под любой запрос буквально на лету с учётом кучи доп факторов и ограничений.
Но когда денег на них нет, а ваш набор клиентов - отнюдь не биг дата, а вполне очерченный круг, ваш лучший друг BI-разработчик вполне способен соорудить вам динамическую сегментацию)
Например, по этому гайду:
https://www.daxpatterns.com/dynamic-segmentation/
Хабр
Как работает создание и управление маркетинговыми кампаниями Спортмастера и причём здесь Oracle
Приветствую! Меня зовут Михаил, я разработчик Oracle в ClubPro (Клубная программа, программа лояльности Спортмастера). В команде разработки моё основное направление связано с развитием Campaign...
Forwarded from Чартомойка
Хорошая статья с описанием ошибок в научных визуализациях. Помимо широко описанных, есть и довольно специфичные именно для научных, рекомендую к прочтению.
https://habr.com/ru/companies/ruvds/articles/776672/
Оригинал на английском
https://habr.com/ru/companies/ruvds/articles/776672/
Оригинал на английском
Котятки🐱,
Бывает, что даже при построении операционной отчётности, возникает вопрос: а с чем сравнивать значение метрики? Что есть норма и в какой форме её "подавать" на графике?
Простой план-факт анализ часто упирается в проблему: то, с чем хочет сравнивать пользователь, сильно определяет форму визуализации.
Простые случаи, которые мы наиболее часто визуализируем:
-норма - это простое плановое значение (=сравнение с эталоном, заданным параметром)
-норма - это значение предыдущего периода (и у нас динамика). Хорошая статья тут: https://www.domo.com/charts/period-over-period-charts
-норма - это некое расчётное среднее/медиана/любой квартиль (и на графике появляется ещё одна рассчитанная метрика, которая, однако, не является независимой)
Сложные случаи:
-норма задана в видна границы от и до, и на самом деле мы ищем места, где метрика "вышла за корридор"
-нормативным значением в моменте принимается другая метрика, которая от нашей не зависит (похоже на сравнение с эталоном, где эталон - это динамический ряд, а не конкретное значение). В худших случаях норма - это результаты некой функции.
Что всегда интересно визуализировать:
-случаи, когда норма - это тренд или соответствие тренду (темпам изменений) некой другой метрики (и тогда здравствуй data blending https://hottg.com/dashboardets/215)
-определенной нормы нет, но пользователь должен иметь возможность задать её как параметр
-случаи, когда наша метрика -это частота, интенсивность, и для неё план - это попадание в значение некого диапазона (но их несколько, и коридор уже не нарисуешь, так что привет всяким тепловым картам), и тут априори мы включаем цветовое кодирование
-сравниваемое значение - это территория/участок/кластер(часто используется на картах, но бывает и на графиках сетей). Тут уже мы можем поиграться с визуализацией с помощью "маски", где можно задействовать не только цвет, но и размер.
Что почитать:
-немного теории про показатели и метрики: https://babok-school.ru/blogs/metrics-and-kpi-technique-from-babok-and-product-analytics/
https://www.quanthub.com/designing-charts-relative-and-absolute-measurements/
-очень стандартный подход к выбору визуализаций для показателей сравнения :
https://www.geckoboard.com/blog/6-data-visualization-techniques-to-display-your-key-metrics/
-подходы и типы диаграмм, которые используются в операционных панелях, когда "нет времени объяснять": https://www.dimins.com/online-help/diveport_admin_help/Content/Reference/indicator-types71.html
Бывает, что даже при построении операционной отчётности, возникает вопрос: а с чем сравнивать значение метрики? Что есть норма и в какой форме её "подавать" на графике?
Простой план-факт анализ часто упирается в проблему: то, с чем хочет сравнивать пользователь, сильно определяет форму визуализации.
Простые случаи, которые мы наиболее часто визуализируем:
-норма - это простое плановое значение (=сравнение с эталоном, заданным параметром)
-норма - это значение предыдущего периода (и у нас динамика). Хорошая статья тут: https://www.domo.com/charts/period-over-period-charts
-норма - это некое расчётное среднее/медиана/любой квартиль (и на графике появляется ещё одна рассчитанная метрика, которая, однако, не является независимой)
Сложные случаи:
-норма задана в видна границы от и до, и на самом деле мы ищем места, где метрика "вышла за корридор"
-нормативным значением в моменте принимается другая метрика, которая от нашей не зависит (похоже на сравнение с эталоном, где эталон - это динамический ряд, а не конкретное значение). В худших случаях норма - это результаты некой функции.
Что всегда интересно визуализировать:
-случаи, когда норма - это тренд или соответствие тренду (темпам изменений) некой другой метрики (и тогда здравствуй data blending https://hottg.com/dashboardets/215)
-определенной нормы нет, но пользователь должен иметь возможность задать её как параметр
-случаи, когда наша метрика -это частота, интенсивность, и для неё план - это попадание в значение некого диапазона (но их несколько, и коридор уже не нарисуешь, так что привет всяким тепловым картам), и тут априори мы включаем цветовое кодирование
-сравниваемое значение - это территория/участок/кластер(часто используется на картах, но бывает и на графиках сетей). Тут уже мы можем поиграться с визуализацией с помощью "маски", где можно задействовать не только цвет, но и размер.
Что почитать:
-немного теории про показатели и метрики: https://babok-school.ru/blogs/metrics-and-kpi-technique-from-babok-and-product-analytics/
https://www.quanthub.com/designing-charts-relative-and-absolute-measurements/
-очень стандартный подход к выбору визуализаций для показателей сравнения :
https://www.geckoboard.com/blog/6-data-visualization-techniques-to-display-your-key-metrics/
-подходы и типы диаграмм, которые используются в операционных панелях, когда "нет времени объяснять": https://www.dimins.com/online-help/diveport_admin_help/Content/Reference/indicator-types71.html
Domo
Data Visualization with Period-Over-Period Charts | Domo
A period-over-period chart is a data visualization tool that supports trend analysis within your business. Learn how to create one and when to use it.
Forwarded from Базы данных & SQL
Вебинар Tarantool «Анализируем данные в real-time»
Когда: 21 февраля, 16:00 МСК
Где: онлайн
Расскажем, как организовать анализ большого объема данных в реальном времени с помощью in-memory колоночной СУБД. На вебинаре поговорим о том:
• Как объединить транзакционные и аналитические (OLAP и OLTP) системы и сократить затраты на дублирование данных.
• Как ускорить аналитические запросы и формировать отчетность в real-time.
• Как организовать хранение и управление данными (Feature Store) для ML-задач.
Также мы рассмотрим практические кейсы применения продукта Tarantool Column Store: формирование финансовой отчетности с минимальными задержками, ускорение и повышение точности антифрод-систем, повышение производительности системы выдачи кредитов.
Спикеры:
• Николай Карлов, директор инновационных проектов VK Tech,
• Руслан Галиев, продуктовый менеджер Tarantool Column Store.
Вебинар будет полезен архитекторам, дата-инженерам, инженерам DevOps и разработчикам аналитических систем.
Регистрация
Когда: 21 февраля, 16:00 МСК
Где: онлайн
Расскажем, как организовать анализ большого объема данных в реальном времени с помощью in-memory колоночной СУБД. На вебинаре поговорим о том:
• Как объединить транзакционные и аналитические (OLAP и OLTP) системы и сократить затраты на дублирование данных.
• Как ускорить аналитические запросы и формировать отчетность в real-time.
• Как организовать хранение и управление данными (Feature Store) для ML-задач.
Также мы рассмотрим практические кейсы применения продукта Tarantool Column Store: формирование финансовой отчетности с минимальными задержками, ускорение и повышение точности антифрод-систем, повышение производительности системы выдачи кредитов.
Спикеры:
• Николай Карлов, директор инновационных проектов VK Tech,
• Руслан Галиев, продуктовый менеджер Tarantool Column Store.
Вебинар будет полезен архитекторам, дата-инженерам, инженерам DevOps и разработчикам аналитических систем.
Регистрация
Котятки🐱, я держу в бэклоге набросок статьи с кодовым названием "Мой домашний тарантул", всё никак руки не доходят доделать из неё полноценный пост) Поэтому давайте поддержим моих любимых коллег, у них там есть на что посмотреть👆
Котятки🐱,
мой инсайт сегодняшней недели - это слайсер для оси времени, который может работать как ползунок (он же - полоса прокрутки, он же timeline slider).
Это по факту наш любимый календарик с альтернативным выбором способа фильтрации.
Я его люблю в Qlik и искренне никогда не могла пользоваться решением в power bi, неудобно
Вспомнила я о нем потому, что нашла совмещенный слайдер времени с диаграммой.
Помнится, я смогла его однажды нарисовать в формате макета, но вот с механикой было тяжко - мне не хватило фантазии додумать, как он должен работать.
И вот он, маленький:
https://codesandbox.io/p/sandbox/timeline-slider-with-bar-chart-f2381e?file=%2Fsrc%2Findex.js
мой инсайт сегодняшней недели - это слайсер для оси времени, который может работать как ползунок (он же - полоса прокрутки, он же timeline slider).
Это по факту наш любимый календарик с альтернативным выбором способа фильтрации.
Я его люблю в Qlik и искренне никогда не могла пользоваться решением в power bi, неудобно
Вспомнила я о нем потому, что нашла совмещенный слайдер времени с диаграммой.
Помнится, я смогла его однажды нарисовать в формате макета, но вот с механикой было тяжко - мне не хватило фантазии додумать, как он должен работать.
И вот он, маленький:
https://codesandbox.io/p/sandbox/timeline-slider-with-bar-chart-f2381e?file=%2Fsrc%2Findex.js
Timeline Slicer
Graphical date range selector to use for filtering dates
Котятки🐱,
любой инструмент можно украсить бантиками, поэтому в Postgresql полно extentions, а к крупным BI-инструментам делают платные плагины.
Нашла неплохой плагин фильтрации для Power BI.
Пользоваться им я, конечно, не буду, денег на мои эксперименты мне никто сверху не отсыпает, но вот порекомендовать хорошую статью в их блоге про проектирование фильтров и срезов - с объяснениями, примерами и правильными вопросами, которые надо задать самому себе - это легко.
Читать тут: https://okviz.com/blog/design-guide-for-power-bi-slicers-and-filters/
P.S. Ставьте лайк если нужно нормально оформить, обогатить и перевести на русский. Я тут думаю завести бложик, так как статья про тарантул никуда не ложится, нужно ваше авторитетное мнение.
любой инструмент можно украсить бантиками, поэтому в Postgresql полно extentions, а к крупным BI-инструментам делают платные плагины.
Нашла неплохой плагин фильтрации для Power BI.
Пользоваться им я, конечно, не буду, денег на мои эксперименты мне никто сверху не отсыпает, но вот порекомендовать хорошую статью в их блоге про проектирование фильтров и срезов - с объяснениями, примерами и правильными вопросами, которые надо задать самому себе - это легко.
Читать тут: https://okviz.com/blog/design-guide-for-power-bi-slicers-and-filters/
P.S. Ставьте лайк если нужно нормально оформить, обогатить и перевести на русский. Я тут думаю завести бложик, так как статья про тарантул никуда не ложится, нужно ваше авторитетное мнение.
Okviz
Design guide for Power BI slicers and filters - OKVIZ
This article describes the available options to filter data in Power BI by using slicers and filters. After an initial description of the features available
Котятки🐱,
Мои друзья коллекционируют классные идеи и классные места, я же, увы, коллекционирую только лайфхаки, как делать работу быстро (и максимально чилить) и красивые дашики.
Сегодня делюсь:
1) фишкой, как сделать диаграмму санкей с метками в PBI (чтобы больше не рисовать её вручную на слайдах каждый раз) :
https://www.youtube.com/watch?v=W8xjjdzLqmI
2) сайтиком с интересной инфографикой, которым я тренировала насмотренность последнюю неделю:
https://coolinfographics.com/
Пусть ваши выходные закончатся чудесно)
Мои друзья коллекционируют классные идеи и классные места, я же, увы, коллекционирую только лайфхаки, как делать работу быстро (и максимально чилить) и красивые дашики.
Сегодня делюсь:
1) фишкой, как сделать диаграмму санкей с метками в PBI (чтобы больше не рисовать её вручную на слайдах каждый раз) :
https://www.youtube.com/watch?v=W8xjjdzLqmI
2) сайтиком с интересной инфографикой, которым я тренировала насмотренность последнюю неделю:
https://coolinfographics.com/
Пусть ваши выходные закончатся чудесно)
Telegram
IT’s soft skills. За пределами кода
Здесь - всё про раскрытие потенциала айтишников через soft skills. Нетворкинг, публичные выступления и жизнь айтишников в большом энтерпрайзе.
Автор: Анастасия Быкова, DevRel & Agile coach & Коуч для айтишников. Тг: @anasta_see_u
Автор: Анастасия Быкова, DevRel & Agile coach & Коуч для айтишников. Тг: @anasta_see_u
Котятки🐱,
Когда мне говорят слова push и pull, я вспоминаю что-то, связанное с паттернами API или, в крайнем случае, etl- стратегии (хороший обзор тут).
Вчера пыталась развернуть себе Metabase, и внезапно нашла удивительную статью, как концепцию "push vs pull" применять в контексте формирования data- культуры и глобальной стратегии поставки аналитики пользователю, - фактически, как кусок BI-стратегии в аспекте бизнес-процесса деливери:
https://www.metabase.com/learn/analytics/push-and-pull
P. S. Кажется, этот приём называется методом переноса, вот тут на Хабре интересно написано:
https://habr.com/ru/companies/ruvds/articles/751328/
Когда мне говорят слова push и pull, я вспоминаю что-то, связанное с паттернами API или, в крайнем случае, etl- стратегии (хороший обзор тут).
Вчера пыталась развернуть себе Metabase, и внезапно нашла удивительную статью, как концепцию "push vs pull" применять в контексте формирования data- культуры и глобальной стратегии поставки аналитики пользователю, - фактически, как кусок BI-стратегии в аспекте бизнес-процесса деливери:
https://www.metabase.com/learn/analytics/push-and-pull
P. S. Кажется, этот приём называется методом переноса, вот тут на Хабре интересно написано:
https://habr.com/ru/companies/ruvds/articles/751328/
DEV Community
Push vs Pull API Architecture
The number of internet users has increased massively in the past few years, and handling this...
Forwarded from Данные на стероидах
Привет!
Когда у компании много источников, и нет адекватной инфраструктуры хранения, обработки и доставки данных — это всегда боль для аналитика. Проблема не только в рутинных операциях а-ля «выгрузи кучу данных в разных форматах из разных источников и попробуй с ними поработать». Самое неприятное, что после всего этого приходится долго и нудно доказывать бизнесу, что твоим отчетам можно верить.
Ситуация распространенная, и встречается не только в небольших компаниях, но и во вполне крупных, если работа с данными для них не основной бизнес. Что с этим делать?
Об этом мы поговорим на вебинаре 28 февраля в 17:00.
Алексей Белозерский, архитектор VK Cloud, расскажет и покажет:
🔹 Почему не стоит называть BI+Excel+Data Sources аналитической инфраструктурой (даже если очень хочется).
🔹На каких принципах строится DWH, ETL, BI, какие инструменты можно задействовать и в чем их плюсы/минусы. Можно ли собрать полноценную инфраструктуру своими руками или с небольшой командой.
🔹Live demo: эксплуатация системы.
🔹Ответы на вопросы, конечно, тоже будут — в конце вебинара QA-сессия.
Присоединяйтесь вот по этой ссылке.
Когда у компании много источников, и нет адекватной инфраструктуры хранения, обработки и доставки данных — это всегда боль для аналитика. Проблема не только в рутинных операциях а-ля «выгрузи кучу данных в разных форматах из разных источников и попробуй с ними поработать». Самое неприятное, что после всего этого приходится долго и нудно доказывать бизнесу, что твоим отчетам можно верить.
Ситуация распространенная, и встречается не только в небольших компаниях, но и во вполне крупных, если работа с данными для них не основной бизнес. Что с этим делать?
Об этом мы поговорим на вебинаре 28 февраля в 17:00.
Алексей Белозерский, архитектор VK Cloud, расскажет и покажет:
🔹 Почему не стоит называть BI+Excel+Data Sources аналитической инфраструктурой (даже если очень хочется).
🔹На каких принципах строится DWH, ETL, BI, какие инструменты можно задействовать и в чем их плюсы/минусы. Можно ли собрать полноценную инфраструктуру своими руками или с небольшой командой.
🔹Live demo: эксплуатация системы.
🔹Ответы на вопросы, конечно, тоже будут — в конце вебинара QA-сессия.
Присоединяйтесь вот по этой ссылке.
О мои пятничные котятки🐱,
Делюсь своим вечерним сокровищем - архивным вебинарчиком в стиле «как работают BI под капотом для самых маленьких» от, внезапно, Visiology.
Линк:
https://www.youtube.com/watch?v=rzdMWVC4mjA
Делюсь своим вечерним сокровищем - архивным вебинарчиком в стиле «как работают BI под капотом для самых маленьких» от, внезапно, Visiology.
Линк:
https://www.youtube.com/watch?v=rzdMWVC4mjA
YouTube
Что под капотом у BI? Хардкорный разбор технологии In-Memory OLAP
Что мы увидим, если заглянем «под капот» самых известных мировых BI-платформ? Детальный разбор технологии In-Memory OLAP от эксперта по BI Ивана Вахмянина: когда эта технология работает лучше, чем обычная реляционная СУБД, и как она может повысить производительность…
Forwarded from альберт ольховиков
Даша, привет!
форвардни, пожалуйста, раз уж ты сама идёшь 🙂
Как насчёт нашего любимого сочетания: данные, пиво и пицца?
Luxms BI и ДАР («КОРУС Консалтинг») проводят митап «BI Connect: аналитика на стыке данных и бизнеса»! Обсудим последние тенденции в бизнес-аналитике, обменяемся опытом с экспертами, а также насладимся неформальной атмосферой встречи и пообщаемся с коллегами!
🗓 17 апреля
🕑 18:00 – 21:30
📍Москва, ул. Бауманская, д 11, стр. 8, подъезд 3, этаж 3
Casa Picassa, лофт «Модильяни»
Регистрация и детали
До встречи!
форвардни, пожалуйста, раз уж ты сама идёшь 🙂
Как насчёт нашего любимого сочетания: данные, пиво и пицца?
Luxms BI и ДАР («КОРУС Консалтинг») проводят митап «BI Connect: аналитика на стыке данных и бизнеса»! Обсудим последние тенденции в бизнес-аналитике, обменяемся опытом с экспертами, а также насладимся неформальной атмосферой встречи и пообщаемся с коллегами!
🗓 17 апреля
🕑 18:00 – 21:30
📍Москва, ул. Бауманская, д 11, стр. 8, подъезд 3, этаж 3
Casa Picassa, лофт «Модильяни»
Регистрация и детали
До встречи!
korus-consulting.timepad.ru
Meetup — BI Connect: аналитика на стыке данных и бизнеса / События на TimePad.ru
Приходите на митап, чтобы узнать о последних тенденциях в бизнес-аналитике, обменяться опытом с экспертами, а также насладиться неформальной атмосферой встречи и пообщаться с коллегами!
Котятки🐱,
Мне везёт этой весной на неожиданности, из последнего - поучаствовала в создании задачек для хакатона для системных аналитиков)
Верю, что вы мою задачку точно опознаете)
Поучаствовать можно тут, регистрация ещё открыта: https://itonecup.sk.ru/
Мне везёт этой весной на неожиданности, из последнего - поучаствовала в создании задачек для хакатона для системных аналитиков)
Верю, что вы мою задачку точно опознаете)
Поучаствовать можно тут, регистрация ещё открыта: https://itonecup.sk.ru/
itonecup.sk.ru
IT_ONE Cup. Системный анализ
Зарегистрируйся на онлайн-чемпионат для системных аналитиков и поборись за денежный приз!
Forwarded from Дата-сторителлинг (Андрей Дорожный)
📈Урбан дата-журналистика
Обожаю пространственные исследования и поэтому слежу за их создателями в твиттере. Вот пример очень трудоемких, сложных и глубоких исследований с понятными картами и графиками:
🔥Исследование цены аренды квартир в Германии и Европе (картинка оттуда)
🕘Проблема свободных земель в Польше
🤘Как застроить центр Брюсселя?
Вся подборка https://urbanjournalism.org/
Обожаю пространственные исследования и поэтому слежу за их создателями в твиттере. Вот пример очень трудоемких, сложных и глубоких исследований с понятными картами и графиками:
🔥Исследование цены аренды квартир в Германии и Европе (картинка оттуда)
🕘Проблема свободных земель в Польше
🤘Как застроить центр Брюсселя?
Вся подборка https://urbanjournalism.org/
HTML Embed Code: