Гипотезы в качественных исследованиях. Критерии подтверждения

31 июля 2025 г. • daria-litovchenko

Эта статья основана на идеях, которыми мы поделились в одном из эфиров. Над материалом работали специалисты из UsabilityLab:

Дарья Литовченко, руководитель команды UX-исследователей;
Ирина Денисова, руководитель команды UX-исследователей.

Введение

Вопросы использования гипотез в UX-исследованиях, особенно качественных, неизменно вызывают активные дискуссии в профессиональном сообществе. Несмотря на это, многие исследователи признают их важность, о чем свидетельствует высокий интерес к вебинару по этой теме, собравшему около 300 регистраций.

Что такое гипотеза в исследовании?

В контексте исследования гипотеза – это обоснованное предположение, опирающееся на уже существующие знания, данные предыдущих исследований, аналитику или накопленный опыт. Это не мистическая догадка или фантазия, а утверждение, требующее проверки на фактах. Гипотеза формулируется таким образом, чтобы ее можно было подтвердить или опровергнуть. Например, гипотеза может звучать как: «Внедрение чат-бота на нашем портале повысит показатель удовлетворенности клиентов на 10%». По итогам исследования на этот вопрос можно будет дать однозначный ответ: «да» или «нет».

Гипотеза отличается от исследовательского вопроса, который является более открытым и нацелен на понимание природы или сути явления, а не на конкретный прогнозируемый результат. Пример исследовательского вопроса: «Как повлияет внедрение чат-бота на портале на показатель удовлетворенности клиентов?». Ответ на такой вопрос может быть шире, чем просто «повысилась» или «понизилась», он может включать причины изменений или их отсутствие.

Почему гипотезы необходимы в исследованиях (и когда без них можно обойтись)?

Гипотезы служат опорными точками в исследовании, помогая структурировать весь процесс – от составления гайда для интервью или юзабилити-тестирования до подготовки финального отчета.

Вот несколько ключевых причин, почему гипотезы так важны:

Глубокое понимание ожиданий заказчика. Заказчики часто обращаются с уже сформированными предположениями, но не всегда их озвучивают. Исследовательская гипотеза помогает выявить эти ожидания и снизить риск расхождения между тем, что хочет заказчик, и тем, что будет получено в итоге.
Планирование и разработка сценариев. Сформулированные гипотезы позволяют создавать сценарии тестирования, ориентированные на проверку конкретных элементов интерфейса или вопросов. Это гарантирует, что респонденты будут иметь возможность столкнутся с потенциальными проблемами, которые исследователь выдвинул в гипотезах.
Фокусировка исследования. Гипотезы направляют внимание модератора на наиболее важные вопросы и задачи, снижая риск хаотичного поиска проблем и упущения ключевой информации.
Оценка тенденций. Даже в качественных исследованиях, несмотря на небольшую выборку, результаты проверки гипотез могут быть достаточными для фиксации наличия проблемы на уровне тенденции. Это позволяет принимать решения, экономя время и ресурсы на дальнейшие исследования, если требуемой точности достаточно.
Структурирование отчета. Отчет, построенный вокруг исходных гипотез, делает ключевую информацию легкодоступной для заказчика, поскольку он сразу получает ответы на волнующие его вопросы.
Подготовка к следующим этапам исследования. Результаты качественных исследований, основанных на гипотезах, могут служить основой для количественной проверки, если требуется большая точность на более широкой выборке.

Важно отметить, что в качественных исследованиях гипотезы могут быть гибкими: их список может дополняться или корректироваться по мере получения новых инсайтов от респондентов. Например, при тестировании процесса оформления заказа в интернет-магазине, если изначально гипотезы касались выбора доставки и оплаты, но один из первых респондентов столкнулся с проблемой незаметности информации о минимальной сумме заказа, эта проблема может стать новой, критически важной гипотезой, которую необходимо проверить на последующих участниках.

Однако есть ситуации, когда отсутствие исходных гипотез оправдано и даже полезно:

Поисковые исследования. При погружении в совершенно новую область, где нет предварительных знаний, гипотезы могут исказить восприятие. В таких случаях лучше подходить к исследованию максимально открыто, прислушиваясь к пользователям.
Исследование пользовательского опыта, потребностей и мнений. Поскольку каждый пользователь уникален, его опыт может быть неожиданным. Работа без гипотез позволяет людям свободно рассказывать свою историю, не загоняя их в рамки, и обнаруживать неожиданные, но ценные инсайты.
Независимый аудит. Если цель — оценить удобство продукта в целом, а не проверять конкретные проблемы, можно обойтись без гипотез, сосредоточившись на ключевых сценариях использования.

В любом случае, даже при отсутствии исходных гипотез, исследование всегда должно иметь цель, задачи и структурированный план.

Кто формирует гипотезы?

Формирование гипотез – это результат совместной работы всех участников процесса: заказчика, исследователя, дизайнеров, менеджеров по продукту и других заинтересованных сторон. Заказчик лучше знает бизнес-цели, продуктовые и маркетинговые задачи, а также глубоко понимает продукт и целевую аудиторию. Он может поделиться предыдущими выводами исследований, чтобы избежать дублирования.

Исследователь, в свою очередь, обладает методологической экспертизой. Он отвечает за корректировку гипотез так, чтобы они были реалистичными, измеримыми и проверяемыми. Исследователь также выбирает оптимальный метод для проверки гипотез и может выдвинуть собственные, упущенные заказчиком, предположения, например, о проблемах с навигацией или контентом, помимо визуального дизайна.

Как подтвердить гипотезу в качественном исследовании?

Один из самых острых вопросов в UX-исследовании — как определить, подтвердилась ли гипотеза, если, например, 4 из 8 респондентов повели себя ожидаемым образом? Традиционно считается, что малая выборка качественных исследований не позволяет делать статистически значимые выводы. Однако существует подход, который помогает принять более обоснованные решения даже с небольшим количеством данных.Статистическая значимость — это количественный показатель, указывающий, насколько результаты исследования можно считать достоверными для всей генеральной совокупности (всех пользователей продукта). Для количественных исследований, например, со 100 респондентами, 50% из которых подтвердили гипотезу, погрешность может составлять около 10%. Это означает, что с 95% вероятностью реальное количество таких пользователей в генеральной совокупности находится в диапазоне от 40% до 60%. Это так называемый доверительный интервал.

В случае качественных исследований с малой выборкой (например, 10 респондентов), если те же 50% подтвердили гипотезу, стандартный расчет дает очень широкую погрешность — около 31%. Доверительный интервал в этом случае может быть от 19% до 81%. Такой широкий диапазон не позволяет сделать однозначный вывод, сколько именно пользователей поведут себя так же.

Однако, Джефф Сарро и Джим Льюис предложили скорректированный метод расчета доверительного интервала для малых выборок, который позволяет получить более точные данные. Их калькулятор, основанный на уточненном критерии Вальда, при тех же 10 респондентах и 50% подтверждений дает погрешность около 26%, сужая доверительный интервал до 24-76%. Это значительное улучшение точности.

Confidence Interval Calculator for a Completion Rate

Принятие решений на основе доверительного интервала

Полученные расчеты доверительного интервала являются данными, которые еще предстоит интерпретировать. Сами по себе они не говорят, что делать с продуктом. Решение принимается совместно исследователем, командой и бизнесом на основе заранее определенных критериев принятия решений.

Эти критерии определяют, какой процент пользователей, демонстрирующих определенное поведение (например, успешно выполняющих задание или сталкивающихся с проблемой), является достаточным для принятия того или иного решения. Например, если гипотеза предполагает, что более 76% пользователей успешно выполняют задачу, а рассчитанный доверительный интервал показывает, что этот процент может быть до** 76%**, то гипотеза не подтверждается согласно этому критерию.Однако, если критерием было 20% успешного выполнения, а доверительный интервал показал, что не менее 24% пользователей точно будут выполнять задачу, то гипотеза считается подтвержденной, и продукт не требует изменений. Если же желаемый процент попадает в середину широкого доверительного интервала (например, 50% при интервале 24-76%), то данных качественного исследования недостаточно, и потребуется количественная проверка для сужения интервала.

Практический кейс: Autodesk и ошибка установки

Ярким примером применения этого подхода является кейс компании Autodesk (разработчика AutoCAD). Компания заметила аномально высокий объем звонков в колл-центр из-за проблем с установкой программного обеспечения. Веб-аналитика не давала ответов на вопрос «почему». Проведя юзабилити-тест с 11 респондентами, исследователи обнаружили, что 3 из них (27%) неправильно выбирали архитектуру ПО (например, 64-битную вместо 32-битной), что приводило к ошибке.

Возник вопрос: можно ли доверять данным всего 3 респондентов и распространять их на миллионы пользователей? С помощью калькулятора Сауро был рассчитан доверительный интервал, который показал, что от 9% до 57% пользователей всего продукта могли столкнуться с этой проблемой. Несмотря на то, что 9% — это минимальная оценка, для Autodesk это была значительная цифра. Компания решила, что даже такой минимальный процент проблемных пользователей требует вмешательства, и разработала новый дизайн страницы загрузки. Это привело к значительному сокращению звонков в колл-центр, подтвердив, что даже данные малой выборки могут быть достаточной основой для принятия важных продуктовых решений.

Важные нюансы

При использовании данного подхода важно помнить, что результаты доверительного интервала справедливы только для той совокупности, из которой была взята выборка. То есть, если респонденты были набраны только из одного региона, результаты нельзя напрямую экстраполировать на всю страну. Необходимо тщательно подходить к формированию выборки, чтобы она соответствовала генеральной совокупности. Также следует учитывать, что данный метод расчета применим к бинарным данным: успешно/не успешно, да/нет, подтвердилась/опроверглась.

Заключение

Расчет доверительного интервала, особенно с использованием скорректированных методов для малых выборок, позволяет принимать более обоснованные решения по итогам качественных исследований. Это дает возможность перейти от расплывчатого статуса «частично подтвердилась» к четкому пониманию потенциального масштаба проблемы или успеха в рамках всей аудитории. Таким образом, не всегда требуется немедленно переходить к количественным исследованиям, ведь многие выводы можно оценить на основе данных, полученных в качественных исследованиях.

Финальное решение о том, считать ли гипотезу подтвержденной и стоит ли вносить изменения в продукт, всегда зависит от заранее определенных критериев, которые необходимо согласовать с командой и бизнесом. Этот подход делает процесс принятия решений более осознанным и эффективным.