TG Telegram Group Link
Channel: Продукторий Владимира Меркушева
Back to Bottom
Проводим интервью сами

Попробую оживить старую и когда-то очень популярную рубрику канала #productquestion.
Я сейчас глубоко погружен в пользовательские исследования, поэтому серия вопросов будет про интервью и проблеме, JTBD-интервью и другие инструменты получения знаний из первых рук.

Итак, вы менеджер продукта в онлайн маркетплейсе одежды, присоединились к команде недавно. У продукта уже есть постоянная аудитория, но до вас никто не проводил исследования с клиентами. Вы хотите лучше понять как они покупают одежду, почему выбирают ваш продукт и какие другие способы используют. Ресурсы ограничены, поэтому вы, начитавшись книг про customer development, решаете провести интервью с клиентами сами.

О каких моментах нужно поговорить с респондентом до того как начать спрашивать про покупку одежды?

Ответы в опрос👇🏻, выбирайте все варианты, которые считаете правильными. Завтра подробно разберём все варианты ответов.
Разбираем ответы на вопрос про начало интервью👆🏻. Для удобства я расположу правильные варианты в том порядке, в котором их стоит выполнить на интервью.

Познакомиться и установить эмоциональный контакт. Это важный шаг, который может повлиять на всё ваше общение. Респондент должен чувствовать себя свободно и комфортно. Поэтому стоит начать с небольшой беседы, немного рассказать о себе, найти что-то общее.

Рассказать с какой целью вы проводите исследование. Здесь мы даём понять, что хотим узнать опыт респондента и научиться на его опыте. Постарайтесь обозначить предмет исследования, но без конкретики. В нашем примере это «мы хотим лучше понять как люди покупают одежду».

Установить границы. Скажите сколько времени займёт интервью. Предупредите респондента, что будете задавать личные вопросы про его опыт. Важно сказать, что это не экзамен и здесь нет правильных и неправильных ответов. Можно сказать, что респондент не обязан отвечать на вопрос, если он не хочет.

Попросить разрешение на запись интервью. Записывать интервью — важно. В процессе разговора, даже если вы прокачали навыки конспектирования, вы точно пропустите что-то важное. Объясните для чего вам нужна запись (не хочу отвлекаться от беседы, буду использовать только для этого исследования, не буду никуда выкладывать), спросите разрешение.

Задать общие вопросы. Возраст, место жительства, сфера деятельности респондентов задают нужный нам контекст и помогают при сегментировании. Этот список можно расширить до хобби, любимых брендов, уровня образования и любых данных, которые вы сможете узнать у каждого респондента. Постарайтесь включать в список только те данные, которые вам действительно необходимы при анализе результатов.

Нет: Рассказать в какой компании работаете и какой продукт вы делаете. В B2C интервью не рекомендуется рассказывать о продукте, над которым вы работаете, в начале общения. Это может исказить результаты. В конце интервью можно немного рассказать о вашем продукте и даже предложить попробовать его новые функции. Но делать это уже после того, как вы получили «чистые» знания про опыт респондента.

Нет: Узнать точный уровень дохода респондента. Люди не любят вопросы про деньги. Подумайте несколько раз прежде чем добавить такой вопрос в список общих вопросов. Уровень дохода можно определить и по ответам на другие вопросы, а не спрашивать респондента напрямую.

#productquestion
Традиционная подборка продуктовых каналов

Раз в месяц я делюсь подборкой из 3 небольших каналов на продуктовую тему, которые мне приглянулись. Новых каналов о продуктах становится всё больше, а лучшая мотивация для начинающих авторов писать интересно и регулярно — внимание подписчиков. Давайте поддержим!

Product Cult — канал Сережи Паращенко, бывшего Head of Product Development МТС, где он трансформировал телеком в продуктовую компанию, а до этого работал продактом Яндекса, Тинькофф, и делал свои стартапы. Сейчас он занимается развитием продуктового управления как product adviser в корпорациях. Пишет про выстраивание Product Discovery, продуктовую культуру и развитие Soft Skills.

Мёд и молоко, чувак — канал Андрея Бакаленко, Chief Product Яндекс Доставки в межнаре и основателя менторского проекта для старшеклассников Путь. У Андрея в канале микс из легких и интересных постов про забавное и бесячее в повседневности, к чему приложили или могли приложить руку продакты, а также душевных рассказов про то, как проходить сложные моменты в карьере и жизни. До Яндекса Андрей строил тот самый мобильный Сбер Онлайн и организовывал образовательную программу в Стэнфорде.

А на третьем месте сегодня нестандартная рекомендация. У нас есть клуб авторов каналов, которые пишут о продуктах и стартапах. Среди участников как владельцы больших и авторитетных каналов, так и владельцы каналов поменьше и помоложе. Недавно ребята с каналами до 5000 подписчиков объединились в папку ProdChannels. В папке много каналов от практикующих продактов, дизайнеров, инженеров, маркетологов, HRов и других специалистов, которые участвуют в создании продуктов. Вы можете одним махом добавить папку к себе, дать шанс всем авторам, а потом оставить только те каналы, которые вас зацепили. Я обычно так и делаю 😉

#дружескийпиар
Продукторий, с днём рождения!

Ровно 6 лет назад я начал вести этот канал. Тогда это был скорее ещё один способ распространения для материалов, которые я писал в своем блоге на Medium. Сейчас канал отобрал у блога первый приоритет и стал самостоятельным инструментом для:

✔️общения и развития нетворка. Я познакомился с тысячами разных людей, собрал клуб единомышленников — авторов каналов о продуктах, сделал десятки гостевых постов с экспертами из других областей, сходил в гости к авторам популярных подкастов

✔️обучения себя и других. Я побывал на десятках конференций в статусе партнера, прошел несколько крутых курсов по приглашению авторов, запустил свой курс на EpicGrowth, помог сотням менти в вопросах карьеры и развития навыков

✔️самореализации. Возможность выражать свои мысли и получать обратную связь от классной дорогого стоит! А ещё, у меня теперь практически на любую тему есть ссылка на пост, которой можно поделиться с собеседником. Бывает очень полезно!

✔️дополнительного дохода. Я продолжаю очень тщательно фильтровать заявки на рекламу и отклоняю больше половины желающих что-то продать моим любимым читателям. А по-настоящему интересные предложения и рекламировать приятно! Ещё приятнее потом пробовать новые продукты и оплачивать подписки из заработанных на рекламе денег 😉

Спасибо за ваше внимание и реакции! Без них бы канал точно не дожил до такого солидного, по меркам Телеграм, возраста 🥳

PS: ссылка на пост времен начала Продуктория — моя попытка писать интересно на любые темы, даже про… кроссовки. Получилось? 😁
AI внедрение с масштабом

Klarna поделилась результатами запуска AI помощника на основе Open AI. За первый месяц ассистент пообщался в 2,3 млн чатах с клиентами и сделал это не хуже сотрудников поддержки (они сравнили средний рейтинг оценки разговора клиентами).

Klarna предоставляет сервис оплаты товаров в рассрочку для более чем 150 млн клиентов по всему миру. Представляете сколько у них сотрудников поддержки? Думаю, очень много, но в ближайшее время станет меньше. Ведь ассистент уже справляется с работой, которую бы делали 700 человек, отвечая на две трети всех обращений. Причём он делает это лучше, среднее время решения вопроса сократилось с 11 до 2 минут! А ещё он говорит на 35 языках.

Если бы я работал менеджером поддержки, я бы сейчас сильно задумался о смене профессии 😉

▶️ https://www.klarna.com/international/press/klarna-ai-assistant-handles-two-thirds-of-customer-service-chats-in-its-first-month/

#aifuture
Пятьдесят оттенков дейтинга

Как вы думаете, что можно нового придумать в такой нише онлайн продуктов как дейтинг? Кажется, что всё уже существует и сделать что-то новое невозможно. Оказывается, нет.

Недавно случайно погрузился в портфолио продуктов компании Social Discovery Group. Основным бизнесом группы является классический dating сервис на одноименном .com домене. Но, чтобы уйти от прямой конкуренции с Тиндером, который уже можно писать с маленькой буквы, как ксерокс, команда развивает ещё несколько продуктов. Каждый из них создан вокруг потребности, которую плохо решают классические дейтинг продукты, или вокруг побочных эффектов от основной модели сервисов онлайн знакомств.

Magnet — приложение для знакомства без фотографий. Точнее фото есть, но его не видно другим пользователям до определенного момента. Сначала начните общаться, потом посмотрите как выглядит ваш собеседник. Вместо фото пользователи видят нарисованные аватары друг друга. Думаю, неплохо решает потребности тех, кто стесняется или не умеет / не любит фотографироваться.

Once — приложение для знакомств, которое убирает обязательную составляющую процесса поиска — листание бесконечной ленты профилей. Для каждого пользователя алгоритмы подбирают всего 5 вариантов в день, из профилей, которые наиболее совпадают с ним по интересам. При таком выборе качество переписки и осмысленность выбора точно должны быть повыше.

Eva AI — продукт компании, который вообще исключает одну ключевую аудиторию из процесса знакомства. Виртуальные аватары красоток на любой вкус готовы пообщаться с вами 24/7. Аватаров мужского пола на сайте я не нашел, видимо не пользуются популярностью 😁

Также у компании есть несколько экспериментов для подрастающего поколения, например, знакомства без выбора пола. Или знакомства через виртуального друга — аватар, который «развивается при общении с владельцем и может первым начать переписку с аватаром другого пользователя». Вот это полёт фантазии у продактов! Мне было бы интересно посмотреть на продуктовую стратегию компании, и как такие разные продукты в ней уживаются. Если она конечно есть, возможно драйвером многообразия продуктов является вижн основателя компании Дмитрия Волкова, интервью с которым я посмотрел на днях.

А вы как считаете, есть ли шансы побороться с тиндером за рынок знакомств через продуктовый подход?

#productlinks
НЕ консалтинг

Имидж слова «консалтинг» заметно подпорчен большими компаниями, которые за много-много денег делают толстые отчёты о том, в чём разбираются очень поверхностно. Я несколько раз лично сталкивался с результатами такой «работы» при разработке продуктов, когда отчёт должен был стать основной для создания нового сервиса. Бывали случаи, когда бы очевидно, что отчёт делали люди, которые никогда сами не запускали продукты.

Возможно, в оффлайн бизнесе консалтинг действительно вещь полезная — как открыть сеть магазинов или построить завод действительно лучше узнать у профессионалов и получить на выходе подробный план реализации.

В онлайне всё иначе. Не существует рецепта создания успешного продукта. Это всегда серия гипотез и экспериментов, которые приводят к конечной цели. Или не приводят 😉 Но и здесь можно оптимизировать усилия, обратившись к эксперту, который уже много раз проходил этот путь. Это не про знание как надо делать, это про то, какие подходы и инструменты использовать, чтобы проверить самые перспективные гипотезы и получить достоверные результаты. Для этого формат толстого консалтинг-отчёта не подходит. Эксперт работает в тесном контакте с заказчиком, его командой, продуктом и аудиторией. Вот несколько примеров из личного опыта:

✔️проектирование нового пути клиента в B2C-продукте для увеличения конверсии и создания aha-момента до контакта с отделом продаж

✔️настройка мультиканальной аналитики под ключ для выявления ключевых сегментов платящих клиентов

✔️исследование в нескольких странах Европы для проверки спроса и выявления потребностей, которые могут быть использованы для запуска B2B-продукта, успешного на рынке СНГ

✔️исследование потребностей целевой аудитории в новом сегменте рынка и запуск эксперимента для расширения бизнеса

Как назвать такой вид услуг? Я уже устал говорить на встречах с потенциальными клиентами, что занимаюсь «консалтингом, но не консалтингом». Экспертинг? 😁

Если сталкивались с типичным консалтингом — ставьте ❤️, а если примеры отзываются и вам нужен «экспертинг» — мои контакты в описании канала.

#мысливслух
Новый курс от GoPractice

Больше года назад ребята из GoPractice начали работу над новым курсом для тех, кто хочет перейти в профессию продакта из смежных ролей и индустрий. Я даже немного помогал им с набором группы бета-тестеров и поучаствовал в создании кусочка контента для курса — рассказываю в одной из глав про ожидания от junior продакт менеджера.

Сегодня курс вышел в открытый доступ! Поздравляю. Это новость, которой действительно хочется поделиться. Если вы проходили один из симуляторов GoPractice, вы знаете какое там качество материалов. А теперь представьте, что это не симулятор, который можно пройти за пару месяцев, а 11-месячный курс «Профессия: продакт-менеджер» с менторской поддержкой и помощью в трудоустройстве. Мне даже сложно представить сколько сил вложили в создание этого курса.

Курс состоит из 4 частей:
✔️Траектории перехода в продакт-менеджмент. Много о самой профессии, отличиях и общих чертах со смежными профессиями, реальные истории перехода
✔️Основы продакт-менеджмента и практические кейсы. От discovery до OKR и взаимодействия с командой
✔️Симулятор управления продуктом на основе данных. Тот самый симулятор, где вы живете несколько месяцев в роли продакта небольшого стартапа
✔️Дипломный проект. Возможность пополнить своё резюме реальным кейсом под присмотром опытных наставников

Ещё одна особенность этого курса — каждая глава сопровождается небольшими видео от практикующих продактов. У команды GoPractice мощный нетворк, я увидел очень много знакомых лиц из продуктового сообщества.

Короче, ещё один курс, который приятно порекомендовать начинающим ребятам. Все подробности по ссылке:

▶️ https://gopractice.ru/switchers/

#дружескийпиар
Был бы я художником, дорисовал бы третьего кота, который с удочкой в виде этих двух котов ловит рыбу рядом. С надписью AI ARTISTS.
#producthumor
Продуктовый дайджест

Как обещал, раз в две недели публикую список интересных постов из лучшей продуктовой папки телеграм-каналов Products. Список субъективный, составляю его в процессе чтения каналов из папки, порядок в списке ничего не значит.

✔️Юлия Билинкис пишет про тёмную сторону монетизации Miro. Полностью согласен!

✔️Притча про большие и маленькие заборы в интерфейсе от Алексея Рытова

✔️Интересный анализ новостей про рекламу в Телеграм от Единорога и немного конспирологии на тему связи с запретом рекламы у инноагентов

✔️Миша Греков нашел ещё одно различие между проектом и продуктом. Для разработки второго требуется смекалка! Хорошие примеры в посте

✔️Даша Васятина разбирается где поставить запятую в фразе «быть продактом нельзя быть профессиональным спортсменом»

✔️Вам мешает реклама в каналах о продуктах? А как насчет канала только из одной рекламы? Эксперимент от Глеба Кудрявцева

✔️Аня Подображных делится своим свежим опытом евангелиста AI в Тинькофф

✔️Новый канал в папке Фичизм — кратко о новых фичах в популярных продуктах. Размышления на тему будущего Twitter/X

✔️Иногда участники папки ходят в гости друг к другу. Записи воркшопов про коммуникации с Аней Подображных и Лешей Писаревским в канале Саши Клименко

✔️Рома Абрамов помогает начинающим продактам с поиском работы, пользуйтесь возможностью

✔️Богдан Гончаренко пишет о приобретенных аффордансах в интерфейсе

Это лишь избранные посты из папки Products, подписывайтесь на папку, выбирайте и читайте те каналы, которые вам нравятся 😉
Задача на выходные

Посмотрел за пару дней первый сезон нового сериала на Netflix от создателей «Игры Престолов». «Задача трёх тел» — масштабная фантастика с интересными главными героями и необычным сюжетом. В основе одноименный роман китайского писателя-фантаста Лю Цысиня, который я не читал, но судя по всем скоро это исправлю! Особенно радует, что это трилогия. Так что можно ожидать ещё с десяток сезонов про уже любимых героев.

Я всегда любил качественную фантастику с продуманной вселенной и сюжетом. К сожалению, сериалы по таким историям редко получаются хорошими — всю глубину фантазии автора сложно воплотить на экране, как технически, так и в плане описания сложного мира и его законов средствами кино. Но здесь, кажется, команда и роман нашли друг друга!

▶️ https://youtu.be/mogSbMD6EcY

#videoholidays
Прожарка резюме продакта в прямом эфире

26 марта, в 18:00 мск пройдёт прямой эфир с Ильёй Шифриным, экспертом Карьерного маркетплейса hh.ru и продактом в Tinkoff Travel.

В эфире:

✔️«прожарят» реальное резюме на вакансию продакт-менеджера;

✔️узнаете, как дела сейчас на рынке продактов;

✔️поймёте, что делать, чтобы устроиться в топовую компанию.

Зарегистрироваться на эфир можно в чат-боте. Бот отправит напоминание об этом и следующих вебинарах, чтобы вы не пропустили самое важное!

Реклама. ООО «Хэдхантер»‎, 129085, г. Москва, ул. Годовикова, д.9, стр.10, ОГРН 1067761906805. erid: 2Vtzqw8DuUh
Примите участие в масштабном исследовании современных подходов к управлению проектами от Школы управления СКОЛКОВО

– Какие практики управления отвечают вызовам времени?
– Существует ли новый «золотой стандарт» менеджмента?
– Что имеет успех, а что провально?

Осталось совсем немного времени – до 1 апреля – чтобы принять участие в исследовании и поделиться своим опытом.

Каждый участник получит:
✔️1000 бонусных баллов от Школы,
✔️результаты исследования в виде полных данных,
✔️приглашение на конференцию с презентацией результатов.


В исследовании собирается информация не только по успешным, но и по сложным / провальным проектам. Такие проекты особенно интересны. Научный руководитель исследования – профессор бизнес-практики Павел Алферов.

Успейте принять участие по ссылке!

Реклама. НОУ ДПО МОСКОВСКАЯ ШКОЛА УПРАВЛЕНИЯ «СКОЛКОВО», ИНН 5032180980
erid:2SDnjc7iQ5v
Вы продакт в компании, которая развивает один из самых популярных онлайн сервисов в стране. Много трафика, постоянных клиентов и денег. Вы планируете эксперимент в виде A/B теста UI изменений формы, через которую проходит большинство пользователей сервиса.

Аналитик показывает вам расчёт необходимого количество трафика для того, чтобы результаты теста были статистически значимыми. По его расчётам тест займёт всего 2 часа. Что будете делать?

👇🏻Выбирайте вариант, который считаете правильным в опросе. Завтра напишу разбор вопроса и всех вариантов ответа.

#productquestion
Разбираемся с вопросом про странный расчёт длительности A/B теста. Вопрос необычный. Чаще всего те из нас, кто сталкивается с A/B экспериментами, работают в ситуации, когда трафика мало. Поэтому длительность эксперимента в 2 часа кажется ошибкой. Но так может быть. Давайте вспомним от чего зависит и как можно оценить длительность A/B теста.

Размер выборки зависит от текущего значения метрики, которую мы хотим улучшить, и от чувствительности измерений, которая нам нужна. Обычно изменения стараются делать гранулярными, поэтому ожидаемый рост может составлять несколько процентных пунктов. Допустим, что наша форма — это подача объявления на самом популярном сервисе объявлений в стране. Текущая конверсия формы 30%, мы думаем, что наши изменения в интерфейсе могут повысить конверсию на 10%. Используем специальный калькулятор и получаем, что в каждой группе должно быть больше 6228 участников при мощности эксперимента и уровне доверия в 95%.

У нас популярный сервис. На таком может быть десятки и сотни тысяч новых объявлений в сутки. Наши 12000+ минимально необходимых экспериментов могут действительно пролететь за несколько часов при распределении всего трафика случайным образом на тестовую и контрольную группу в пропорции 50/50.

Ну и что? Получим результат за 2 часа — быстрее сделаем выводы и донесем ценность до клиента. Так нас учит Lean подход и все гуру продакт менеджмента. Да, но не в этом случае. Смысл A/B тестирования — проверить изменения на небольшой репрезентативной группе пользователей и сделать выводы о том, как изменения могут повлиять на всех. Является ли аудитория, которая за 2 часа увидит изменения, репрезентативной всей огромной аудитории нашего популярного сервиса? Какие 2 часа из суток это должны быть? В какой день недели? Чтобы таких вопросов не возникало за минимальную длительность эксперимента обычно берут неделю. Бывают исключения, но это правило подходит для большей части онлайн продуктов.

А что делать с «лишним» трафиком? В OLX Group, где я проводил много экспериментов, с этим поступали так: выделяют из всего трафика «кусочки» по 10%, на тестовую группу эксперимента назначают X кусочков, и на контрольную группу тоже X кусочков. Пользователи или сессии распределяются в кусочки случайным образом. Получается, что можно один A/B тест запустить на 10% трафика и оставить 80% на другие тесты. Обычно у нас шли несколько десятков экспериментов одновременно.

Так что правильный ответ — вариант 3 либо свой вариант, где вы предлагаете добавить время эксперимента до недели.

#productquestion
Круто! Мой вопрос про длительность A/B теста увидел Андрей Менде из @productdo и написал свой развернутый ответ. К этому джедаю экспериментов точно стоит прислушаться — у Андрея огромный практический опыт A/B тестов на алгоритмах поиска Booking. Его комментарий про сложность определения чувствительности изменений заранее мне очень откликается, сам несколько раз был в ситуации, когда сложно предсказать насколько изменится метрика. Подход, когда аналитик считает несколько вариантов длительности для разного минимально детектируемого эффекта может хорошо помочь в этой ситуации. Да прибудет с вами статистическая Сила! 😉
Разбор кейса 👆 от Андрея Менде

(1) Первое что бросается в глаза при чтении кейса – то что там не упоминается напрямую один из самых главных параметров. Минимальный детектируемый эффект (он жe MDE или MRE). Длительность теста напрямую (но не линейно) зависит от того, какой эффект мы ожидаем от изменения. Поэтому я ожидаю от аналитика не ответ "два часа", а что-то вроде:
- за два часа мы задетектим изменение метрики на 5%
- за день на 1%
- за неделю на 0.5%
Можно построить график этой зависимости и вместе выбрать на этом графике точку, которая соответствует целям эксперимента.

Предположим, что продакт с аналитиком заранее договорились о том какой эффект они ожидают. Хотя на практике такое редко встречается, потому что никто не умеет предсказывать насколько ответит метрика).

(2) Если у вас такой бешеный избыток мощности, то с той ли метрикой вы работаете? Как правило, чем метрика ближе к истинной бизнес ценности, тем у нее меньше чувствительность и опытный продакт-экспериментатор будет выбирать максимально точную метрику, на которую у него хватает трафика.
Круто работать с конверсией, но если трафика пока мало, можно работать с добавлением в корзину или вообще с кликом на предложение. Поэтому большинство продактов работают на грани мощности. Если мощности в избытке – можно посмотреть нет ли более точной и глубокой метрики.

(3) Длительность теста зависит не только от мощности. У большинства бизнесов есть существенные суточные и недельные циклы, что означает что рандомные два часа в какой-то день недели не репрезентативны, выводы сделанные на такой выбоке нельзя экстраполировать на всю аудиторию сервиса. Поэтому в большинстве компаний длительность теста округляют до целой недели в большую сторону.

(4) Изменять соотношение между базой и вариантом и запускать тест на 90/10 имеет смысл только в одном случае: если у вас в тесте могут быть негативные последтсвия, которые видны только с большой задержкой. Представим себе, что наш эксперимент уменьшает конверсию на 5%. Если вы помните, как устроен расчет мощности, то чтобы задетектить это изменение вам нужно N наблюдей. Если вы запустите тест на небольшую долю аудитории, то единственное что вы сделаете – это увеличите время через которое вы этот результат получите. Пострадает ровно такое же количество пользователей! Мощность не зависит от времени, только от количества наблюдений. Поэтому тесты почти всегда стоит запускать 50/50.

Что бы я сделал (если более удачной метрики нет): запустил бы тест на неделю и порадовался. Работать на пределе мощности теста – на самом деле опасно и плохо, этого надо избегать. При избытке мощности сильно снижаются вероятности ошибок всех родов, так что надо радоваться.

Let the statistical power be with you.
HTML Embed Code:
2024/03/29 09:44:56
Back to Top