Замер метрик: UMUX

Замер метрик: UMUX (англ. Usability Metric for User Experience) — количественный опросник для оценки юзабилити продукта, аналогичный SUS, но с меньшим количеством вопросов, что делает его более удобным для быстрого сбора данных. Этот инструмент позволяет оценить эффективность, результативность и удовлетворенность пользователями продукта, а также спрогнозировать принятие продукта пользователями и его дальнейшее использование.

История UMUX начинается в 2010 году, когда Краэг Финстад (Kraig Finstad), работавший в то время в корпорации Intel, опубликовал в журнале “Interacting with Computers” статью “The Usability Metric for User Experience”. Финстад стремился создать более компактную альтернативу популярному опроснику System Usability Scale (SUS), которая могла бы быть быстрее заполнена и при этом сохраняла бы высокую корреляцию с оригинальным методом.

Разработка UMUX была мотивирована растущей потребностью в эффективных инструментах для быстрой оценки юзабилити в условиях агрессивных сроков разработки и ограниченных ресурсов для проведения исследований. Финстад взял за основу стандарт ISO 9241-11, который определяет юзабилити через три компонента: эффективность, результативность и удовлетворенность.

Оригинальный UMUX состоит из четырех пунктов, тщательно отобранных для максимальной корреляции с SUS, при этом сокращая время заполнения опросника. Два пункта имеют положительную формулировку, два — отрицательную, что помогает минимизировать систематическую погрешность при ответах.

В 2013 году Джефф Сауро (Jeff Sauro) и Джеймс Льюис (James Lewis) предложили еще более сокращенную версию — UMUX-LITE, состоящую всего из двух пунктов. Их исследования показали, что даже такая минимальная версия может обеспечить достаточно точные результаты, коррелирующие с полной версией SUS на уровне 0.8-0.9.

За последнее десятилетие UMUX получил значительное распространение в индустрии, особенно в контекстах, где критически важно минимизировать нагрузку на респондентов или когда необходимо интегрировать оценку юзабилити в более широкие опросы удовлетворенности пользователей. Метод активно используется такими компаниями как Google, Microsoft и другими технологическими гигантами для быстрой оценки юзабилити продуктов и итеративных улучшений.

Описание метода

UMUX представляет собой компактный стандартизированный опросник для оценки юзабилити, состоящий из четырех утверждений, которые оцениваются пользователями по 7-балльной шкале Ликерта от “Категорически не согласен” (1) до “Полностью согласен” (7). Как и в SUS, утверждения чередуются между положительными и отрицательными для минимизации предвзятости ответов.

Стандартные четыре утверждения UMUX:

• Этот [продукт] отвечает моим требованиям.

• Использование этого [продукта] — это разочаровывающий опыт.

• Этот [продукт] прост в использовании.

• Мне нужно потратить слишком много времени, чтобы исправить проблемы с этим [продуктом].

Утверждения 1 и 3 являются положительными, а 2 и 4 — отрицательными. Каждое утверждение соответствует одному из компонентов определения юзабилити в стандарте ISO 9241-11:

• Утверждение 1 относится к результативности (достижение целей)

• Утверждение 2 относится к общей удовлетворенности

• Утверждение 3 относится к эффективности (простота использования)

• Утверждение 4 относится к эффективности (ресурсы, необходимые для достижения цели)

Процесс применения метода UMUX включает следующие этапы:

• Подготовка:

Определение продукта или интерфейса для оценки

• Адаптация опросника при необходимости (например, замена слова “продукт” на конкретное название)

• Выбор шкалы (оригинальная 7-балльная или адаптированная 5-балльная)

• Определение выборки пользователей

• Сбор данных:

Пользователи взаимодействуют с системой, выполняя типичные задачи

• После взаимодействия пользователи заполняют опросник UMUX

• Рекомендуется минимум 8-10 участников для получения надежных результатов

• Расчет результатов:

Для положительных утверждений (1 и 3): (Оценка пользователя – 1)

• Для отрицательных утверждений (2 и 4): (7 – Оценка пользователя)

• Суммирование всех значений

• Деление суммы на 24 (максимально возможное значение) и умножение на 100 для получения итогового балла от 0 до 100

• Интерпретация результатов:

Результаты UMUX могут быть преобразованы в эквивалентные баллы SUS для сравнения с существующими бенчмарками

• Средний балл SUS составляет около 68, что соответствует примерно 65 баллам UMUX

• Результаты выше 70 обычно считаются хорошими

• Результаты ниже 50 указывают на серьезные проблемы с юзабилити

Особую популярность получила упрощенная версия UMUX-LITE, которая включает только два утверждения:

• [Продукт] отвечает моим требованиям.

• [Продукт] прост в использовании.

Расчет для UMUX-LITE выполняется аналогично, но с делением на 12 (максимально возможное значение для двух вопросов). UMUX-LITE особенно полезен в ситуациях с крайне ограниченным временем участников или при необходимости включить оценку юзабилити как часть более широкого опроса.

Типология метода

• Тип данных: количественный

• Модерация: немодерируемый (может использоваться после модерируемых тестов)

• Продолжительность: 1–2 минуты на заполнение опросника; полный цикл — от нескольких дней до 1–2 недель

• Формат проведения: краткий стандартизированный опрос, проводится онлайн или офлайн, может быть встроен в исследования, A/B-тесты или постоянный мониторинг

Цели и задачи метода

Основные цели использования UMUX в UX-исследованиях:

• Быстрая количественная оценка общего уровня юзабилити продукта

• Минимизация нагрузки на респондентов при сохранении достоверности результатов

• Получение метрики, сопоставимой с широко используемым стандартом SUS

• Интеграция оценки юзабилити в более широкие опросы без значительного увеличения их длины

• Отслеживание изменений в восприятии юзабилити продукта в течение времени

• Сравнение различных версий продукта или конкурентных решений

• Прогнозирование вероятности принятия и использования продукта пользователями

UMUX помогает ответить на следующие вопросы:

• Соответствует ли продукт потребностям пользователей?

• Воспринимается ли продукт как простой в использовании?

• Вызывает ли использование продукта разочарование?

• Требуется ли пользователям много времени для решения проблем с продуктом?

• Как изменилось восприятие юзабилити после внесения изменений в продукт?

• Как наш продукт соотносится с конкурентами или отраслевыми стандартами?

Метод UMUX удовлетворяет потребность исследователей и команд разработки в:

• Экономичном с точки зрения времени инструменте оценки юзабилити

• Стандартизированном подходе с возможностью сравнения с существующими бенчмарками

• Балансе между краткостью и информативностью результатов

• Гибком инструменте, который может быть интегрирован в различные исследовательские контексты

• Метрике, понятной как UX-специалистам, так и другим стейкхолдерам

UMUX особенно ценен в контексте итеративной разработки продукта, где регулярный сбор обратной связи критически важен, но должен быть реализован с минимальными затратами ресурсов и времени пользователей.

Применение в процессе Human-Centered Design

Стадия 1. Понимание и определение контекста использования

Вспомогательное применение

• Быстрая оценка удобства использования существующих решений

• Определение базового уровня юзабилити для сравнения с будущими улучшениями

• Количественное сравнение конкурентных продуктов по ключевым аспектам юзабилити

• Выявление проблемных областей в существующем пользовательском опыте

• Получение компактных данных для обоснования необходимости изменений

На первой стадии HCD метрика UMUX предоставляет быстрый и эффективный способ количественной оценки текущего состояния юзабилити продукта или конкурентных решений, не перегружая пользователей длинными опросниками.

Стадия 2. Определение требований пользователей

Вспомогательное применение

• Установление количественных целей по улучшению юзабилити в требованиях к новому продукту

• Оценка влияния различных функциональных требований на воспринимаемую полезность и удобство

• Приоритизация требований на основе их потенциального вклада в общую оценку UMUX

• Формирование метрик успеха для будущего решения

• Валидация предположений о потребностях пользователей через оценку концепций

UMUX на второй стадии помогает перевести пользовательские потребности в измеримые цели по юзабилити и предоставляет компактный инструмент для валидации концепций.

Стадия 3. Создание проектных решений

Основное применение

• Быстрая и регулярная оценка итераций дизайна в процессе разработки

• Сравнение альтернативных проектных решений по ключевым аспектам юзабилити

• Отслеживание влияния конкретных изменений в интерфейсе на общую оценку UMUX

• Интеграция в процессы гибкой разработки благодаря компактности метрики

• Получение количественных данных для обоснования дизайнерских решений

На стадии создания проектных решений UMUX особенно ценен благодаря своей компактности, что позволяет регулярно измерять прогресс без значительной нагрузки на пользователей и исследователей.

Стадия 4. Оценка проектных решений

Основное применение

• Финальная валидация решения на соответствие целевым показателям юзабилити

• Количественное измерение улучшений по сравнению с исходным продуктом

• Бенчмаркинг относительно отраслевых стандартов и конкурентов

• Выявление остаточных проблем с юзабилити для последующих итераций

• Предоставление стейкхолдерам понятных метрик успешности проекта

На заключительной стадии HCD метрика UMUX предоставляет эффективный способ количественной оценки результатов проекта с фокусом на ключевые аспекты юзабилити: эффективность, результативность и удовлетворенность.

При использовании UMUX в процессе Human-Centered Design важно понимать, что этот инструмент разработан как более компактная альтернатива SUS, сохраняющая высокую корреляцию с ним. Метрика состоит из всего 4 утверждений, оцениваемых по 7-балльной шкале Ликерта, что делает ее идеальной для ситуаций с ограниченным временем или при частых измерениях. Результаты UMUX можно перевести в эквивалент шкалы SUS (0-100) для сравнения с отраслевыми бенчмарками. Для еще большей компактности можно использовать UMUX-lite (2 вопроса), который также демонстрирует высокую корреляцию с SUS. Рекомендуется комбинировать UMUX с качественными методами исследования для выявления причин конкретных оценок. Метрика наиболее эффективна при регулярном измерении на всех этапах проекта, что позволяет отслеживать динамику изменений и своевременно вносить корректировки в проектные решения.

Преимущества и ограничения

Бизнес-выгоды

• Экономия времени и ресурсов при сборе данных о юзабилити

• Снижение нагрузки на пользователей, что повышает отклик и качество данных

• Возможность прогнозирования принятия продукта на основе стандартизированной метрики

Уникальные особенности

• Высокая корреляция с SUS (0.8-0.9) при использовании всего 4 вопросов

• Прямая связь с компонентами юзабилити в стандарте ISO 9241-11

• Возможность трансформации результатов в эквивалентные баллы SUS для сравнения с бенчмарками

Оптимальные условия применения

• Оценка юзабилити в условиях ограниченного времени участников

• Частые итерации дизайна, требующие регулярного сбора обратной связи

• Интеграция метрики юзабилити в более обширные опросы

• Массовые исследования с большим количеством респондентов

Ограничения

• Меньшая детализация по сравнению с более обширными опросниками

• Ограниченная диагностическая ценность — не выявляет конкретные проблемы юзабилити

• Потенциально меньшая надежность при небольших выборках по сравнению с SUS

• Меньшая база накопленных данных для сравнения по сравнению с более устоявшимися метриками

Вариации метода

UMUX имеет несколько значимых вариаций и адаптаций, разработанных для различных исследовательских контекстов и потребностей:

• UMUX-LITE — наиболее известная и широко используемая вариация, разработанная Джеффом Сауро и Джеймсом Льюисом в 2013 году. Состоит всего из двух пунктов (1 и 3 из оригинального UMUX).

Преимущества: минимальное время заполнения, высокая корреляция с SUS (до 0.92 в некоторых исследованиях)

• Применение: экспресс-оценка, массовые опросы, встроенные в продукт микроопросы

• UMUX с 5-балльной шкалой — адаптация оригинального UMUX с использованием 5-балльной шкалы Ликерта вместо 7-балльной для большей согласованности с другими опросниками.

Преимущества: знакомая для пользователей шкала, совместимость с другими 5-балльными инструментами

• Применение: исследования, где используются и другие метрики с 5-балльными шкалами

• Weighted UMUX-LITE — версия UMUX-LITE с различными весами для двух вопросов, разработанная для лучшего соответствия результатам SUS.

Преимущества: более точное прогнозирование эквивалентного балла SUS

• Применение: ситуации, где критически важно точное сравнение с существующими бенчмарками SUS

• Модифицированный UMUX — версии с измененными формулировками для конкретных типов продуктов или контекстов.

Преимущества: лучшая релевантность для специфических доменов (например, мобильные приложения, веб-сервисы, физические интерфейсы)

• Применение: исследования в специфических областях, где стандартные формулировки могут быть неоптимальными

• UMUX с открытыми комментариями — дополнение стандартного UMUX открытыми вопросами для качественных данных.

Преимущества: сочетание количественной оценки с качественным пониманием причин

• Применение: для более глубокого понимания факторов, влияющих на оценки

• Multi-Item UMUX — расширенные версии UMUX с дополнительными вопросами для более детальной оценки различных аспектов юзабилити.

Преимущества: более высокая надежность и детализация при сохранении относительной краткости

• Применение: когда необходим компромисс между краткостью UMUX и полнотой более обширных опросников

• UMUX-LRv2 — обновленная версия формулы для расчета UMUX-LITE, разработанная для улучшения прогнозирования эквивалентных баллов SUS.

Преимущества: более точное соответствие с результатами SUS (до 94-97% точности)

• Применение: для точного бенчмаркинга и сравнения с историческими данными SUS

Выбор конкретной вариации зависит от:

• Доступного времени и готовности респондентов

• Необходимой точности и детализации данных

• Потребности в сравнении с существующими бенчмарками

• Специфического контекста исследования

• Необходимости в качественных данных в дополнение к количественным

При использовании модифицированных версий важно документировать точные формулировки и методы расчета для обеспечения сопоставимости результатов в будущих исследованиях.

Связь с другими методами

Предшествующие методы

• Модерируемое юзабилити-тестирование/Немодерируемое юзабилити-тестирование — предоставляет контекст для измерения

• Экспертная оценка удобства — выявляет потенциальные проблемы

Дополняющие методы

• Замер других метрик (SUS, SEQ, CES, CSAT, CSI, SUPR-Q) — предоставляет дополнительные измерения

• Веб-аналитика — обеспечивает объективные данные о поведении пользователей

Последующие методы

• A/B-тестирование (Сплит-тестирование) — проверяет эффективность улучшений

• User Flow — оптимизирует потоки для повышения юзабилити

• Прототипирование — реализует улучшения по итогам метрик

• Повторное измерение UMUX — оценивает эффект улучшений

Заключение

UMUX представляет собой значимую эволюцию в области стандартизированных метрик юзабилити, отвечая на современные потребности в быстрых, эффективных, но при этом достоверных инструментах оценки. За немногим более чем десятилетие с момента создания, метод зарекомендовал себя как ценный компромисс между краткостью и информативностью, особенно в его упрощенной версии UMUX-LITE.

Особая ценность UMUX заключается в его способности интегрироваться в современные процессы разработки и исследования пользовательского опыта, где скорость итераций и минимизация нагрузки на пользователей становятся критически важными факторами. При этом сохраняется возможность сравнения результатов с более устоявшимися метриками через установленные корреляции с SUS.

В современной экосистеме UX-метрик UMUX занимает важную нишу “золотой середины” — между слишком простыми однопунктными оценками, которые недостаточно надежны, и обширными опросниками, которые могут быть обременительными для пользователей и ресурсоемкими для исследователей. Эта позиция делает его особенно ценным для:

• Agile-команд, нуждающихся в быстрой обратной связи

• Продуктов с частыми обновлениями, требующими регулярной оценки

• Исследований с ограниченным доступом к пользователям

• Интеграции оценки юзабилити в более широкие программы исследований

Эволюция метода продолжается, о чем свидетельствуют различные адаптации и улучшения формул расчета, такие как UMUX-LRv2, которые стремятся еще больше повысить точность при сохранении минимальной длины опросника. Это отражает общую тенденцию в UX-исследованиях к оптимизации методов для максимальной эффективности при минимальных затратах.

Будущее UMUX, вероятно, будет связано с дальнейшей контекстуализацией и персонализацией метода для различных типов продуктов и пользователей, а также с его интеграцией в автоматизированные системы сбора и анализа пользовательских данных. Возможно также развитие адаптивных версий, где состав вопросов динамически меняется в зависимости от предыдущих ответов или характеристик пользователя.

Несмотря на свои ограничения, связанные с меньшей детализацией по сравнению с более обширными инструментами, UMUX остается ценным дополнением к арсеналу методов UX-исследователя, особенно в ситуациях, где требуется разумный баланс между глубиной исследования и практическими ограничениями реального мира.