Связаться
Все методы

Chatbot Usability Scale (Bot Usability Scale, BUS-11)

Chatbot Usability Scale (BUS-11) — специализированная валидированная шкала для количественной оценки юзабилити чат-ботов и конверсационных ИИ-систем, состоящая из 11 вопросов, измеряющих пять ключевых аспектов взаимодействия: личность бота, пользовательский опыт, обработку ошибок, адаптацию пользователя и функциональность.

История метода

Метод Chatbot Usability Scale был разработан в 2021 году исследователями под руководством Симоне Борски (Simone Borsci) из Университета Твенте (Нидерланды) в сотрудничестве с коллегами из других институтов, включая Имперский колледж Лондона. Метод был создан в ответ на растущую потребность в стандартизированном инструменте для оценки конверсационных интерфейсов.

Изначально метод был представлен в виде 15-пунктовой шкалы (BUS-15) в статье “The Chatbot Usability Scale: the Design and Pilot of a Usability Scale for Interaction with AI-Based Conversational Agents”, опубликованной в журнале Personal and Ubiquitous Computing. Исследователи провели серию из четырех исследований, включая систематический обзор литературы, чтобы определить ключевые атрибуты для оценки качества взаимодействия с чат-ботами.

В 2022 году Борски и его коллеги провели подтверждающий факторный анализ и валидацию BUS на разных языках, в результате чего была создана оптимизированная 11-пунктовая версия (BUS-11). Эта версия сохранила психометрические свойства оригинала, но стала более компактной и удобной в применении. Результаты мультиязычной валидации были опубликованы в статье “A confirmatory factorial analysis of the Chatbot Usability Scale: a multilanguage validation” в том же журнале.

С момента создания метод получил признание среди исследователей и практиков в сфере UX как эффективный инструмент для оценки и сравнения чат-ботов и ИИ-систем с диалоговым интерфейсом. В отличие от общих шкал юзабилити, таких как System Usability Scale (SUS), BUS-11 учитывает уникальные особенности конверсационных интерфейсов, включая естественность диалога, обработку ошибок и адаптивность.

Описание метода

Chatbot Usability Scale представляет собой стандартизированный опросник, содержащий 11 утверждений, которые оцениваются пользователями по 5-балльной шкале Лайкерта (от “полностью не согласен” до “полностью согласен”). Эти утверждения охватывают пять ключевых аспектов взаимодействия с чат-ботами и ИИ-системами.

Метод позволяет получить как общую количественную оценку юзабилити системы (от 0 до 100 баллов), так и детализированные оценки по отдельным факторам, что помогает выявить конкретные проблемные области и сильные стороны интерфейса. Результаты могут быть использованы для сравнения различных чат-ботов, оценки эффективности внесенных изменений или мониторинга юзабилити в процессе разработки.

BUS-11 оценивает следующие факторы:

  • Личность бота (Bot Personality) — насколько естественным и приятным воспринимается взаимодействие с системой

  • Пользовательский опыт (User Experience) — общее впечатление от использования и эмоциональная реакция

  • Обработка ошибок (Error Handling) — способность системы распознавать ошибки и адекватно на них реагировать

  • Адаптация пользователя (User Adaptation) — насколько легко пользователи приспосабливаются к взаимодействию

  • Функциональность (Functionality) — эффективность выполнения задач и полезность системы

В отличие от общих шкал юзабилити, таких как System Usability Scale (SUS) или UMUX-LITE, BUS-11 специально разработана с учетом уникальных особенностей конверсационных интерфейсов. Шкала продемонстрировала высокую надежность (коэффициент альфа Кронбаха между 0.76 и 0.87) и была успешно валидирована на различных языках, включая английский, испанский, немецкий и голландский.

Типология метода

  • Тип данных: количественный

  • Модерация: немодерируемый (может проводиться без присутствия модератора)

  • Продолжительность: короткая (заполнение опросника занимает 5-10 минут у одного участника)

  • Формат проведения: индивидуальный, может проводиться как очно, так и удаленно с использованием онлайн-форм

Цели и задачи метода

  • Количественная оценка юзабилити чат-ботов и конверсационных ИИ-систем

  • Выявление конкретных проблемных аспектов взаимодействия с чат-ботом

  • Сравнение различных чат-ботов или версий одной системы

  • Мониторинг изменений юзабилити в процессе разработки и итерации

  • Определение приоритетных направлений для улучшения пользовательского опыта

  • Оценка соответствия чат-бота ожиданиям и потребностям пользователей

  • Выявление различий в восприятии системы разными группами пользователей

  • Обоснование решений по дизайну на основе количественных данных

  • Создание бенчмарков для оценки конкурентоспособности продукта

  • Измерение влияния внесенных изменений на пользовательский опыт

Применение в процессе Human-Centered Design

Стадия 1. Понимание и определение контекста использования

Вспомогательное применение

  • Помогает определить ожидания пользователей от конверсационных интерфейсов

  • Выявляет специфические аспекты взаимодействия, важные для целевой аудитории

  • Позволяет понять существующие паттерны взаимодействия с чат-ботами

Стадия 2. Определение требований пользователей

Вспомогательное применение

  • Помогает приоритизировать требования к чат-боту на основе оценок важности различных аспектов

  • Выявляет критические атрибуты, влияющие на удовлетворенность пользователей

  • Позволяет сформулировать количественные критерии успеха для проекта

Стадия 3. Создание проектных решений

Вспомогательное применение

  • Обеспечивает фокус на ключевых аспектах юзабилити при проектировании диалоговых потоков

  • Помогает выбрать оптимальные решения из нескольких альтернатив на основе оценок пользователей

  • Создает основу для итеративного улучшения прототипов

Стадия 4. Оценка проектных решений

Основное применение

  • Обеспечивает количественную оценку юзабилити реализованного чат-бота

  • Позволяет сравнивать различные версии системы и отслеживать прогресс

  • Выявляет конкретные аспекты, требующие доработки

  • Предоставляет данные для принятия решений о готовности продукта к релизу

  • Создает основу для дальнейшей оптимизации пользовательского опыта

Chatbot Usability Scale (BUS-11) наиболее эффективен на стадии оценки проектных решений, когда необходимо получить объективные количественные данные о качестве пользовательского опыта взаимодействия с чат-ботом. Метод позволяет не только измерить общий уровень юзабилити, но и детализировать результаты по конкретным аспектам взаимодействия, что делает его ценным инструментом для итеративного улучшения конверсационных интерфейсов. Регулярное применение BUS-11 на различных этапах разработки помогает отслеживать динамику изменений и обеспечивает основу для принятия обоснованных дизайн-решений.

Преимущества и ограничения

Бизнес-выгоды

  • Снижение затрат на поддержку пользователей за счет улучшения юзабилити чат-бота

  • Повышение конверсии и удержания пользователей благодаря более качественному взаимодействию

  • Сокращение времени разработки через фокусирование на приоритетных аспектах юзабилити

  • Объективное обоснование инвестиций в улучшение пользовательского опыта

  • Возможность количественного сравнения с конкурентами и установления бенчмарков

  • Уменьшение риска провала продукта из-за проблем с юзабилити

  • Оптимизация ресурсов за счет приоритизации критических улучшений

Уникальные особенности

  • Специализированный инструмент, учитывающий специфику диалоговых интерфейсов

  • Научно валидированная методология с проверенной надежностью

  • Позволяет оценивать как общий уровень юзабилити, так и отдельные аспекты взаимодействия

  • Простота применения и интерпретации результатов

  • Возможность сравнения различных чат-ботов и версий одной системы

  • Учитывает уникальные аспекты диалоговых систем, не охватываемые общими шкалами юзабилити

Оптимальные условия применения

  • Оценка готовых чат-ботов или высокоточных прототипов

  • Итеративная разработка с регулярными оценками прогресса

  • Сравнение нескольких вариантов дизайна конверсационного интерфейса

  • Сбор обратной связи после значительных изменений в системе

  • Установление базовых показателей перед началом оптимизации

  • Обоснование необходимости улучшений для заинтересованных лиц

  • Оценка влияния конкретных изменений на общее восприятие системы

Ограничения

  • Субъективный характер оценок, зависящий от индивидуального восприятия пользователей

  • Ограниченная применимость к недиалоговым типам ИИ-систем

  • Возможное влияние эффекта новизны на первые впечатления пользователей

  • Не заменяет качественные методы исследования для выявления конкретных проблем

  • Чувствительность к контексту и сценариям использования

  • Требует достаточного размера выборки для получения статистически значимых результатов

  • Фокусируется на текущем опыте, не учитывая долгосрочные аспекты взаимодействия

Основные компоненты метода

Полный опросник BUS-11

Оцените каждое утверждение по шкале от 1 (полностью не согласен) до 5 (полностью согласен):

  • Взаимодействие с чат-ботом/ИИ-системой было легким и понятным.

  • Я нашел функциональность чат-бота/ИИ-системы полезной.

  • Чат-бот/ИИ-система мог понять, что я имею в виду, даже если я выражался не совсем точно.

  • Чат-бот/ИИ-система быстро отвечал на мои запросы.

  • Взаимодействие с чат-ботом/ИИ-системой казалось естественным.

  • Чат-бот/ИИ-система был способен корректно обрабатывать ошибки.

  • Я легко мог восстановить взаимодействие после ошибок или недопонимания.

  • Чат-бот/ИИ-система проявлял дружелюбность и вежливость.

  • Я получил всю необходимую информацию от чат-бота/ИИ-системы.

  • Я бы предпочел использовать этого чат-бота/ИИ-систему, а не обращаться к человеку-оператору.

  • Я бы рекомендовал этого чат-бота/ИИ-систему другим людям.

Факторная структура BUS-11

В результате конфирматорного факторного анализа были выявлены следующие факторы:

  • Личность бота: пункты 5, 8

  • Пользовательский опыт: пункты 1, 10, 11

  • Обработка ошибок: пункты 3, 6, 7

  • Функциональность: пункты 2, 4, 9

Расчет результатов

  • Общий балл BUS: Суммируйте баллы по всем 11 пунктам (диапазон 11-55 баллов)

  • Нормализованный балл: (Общий балл – 11) × 2.27 = Балл от 0 до 100

  • Факторные оценки: Рассчитывается среднее значение по пунктам, относящимся к каждому фактору

Интерпретация результатов

  • 0-50: Неудовлетворительный уровень юзабилити, требуется существенная доработка

  • 51-68: Приемлемый уровень юзабилити с пространством для улучшений

  • 69-80: Хороший уровень юзабилити

  • 81-100: Отличный уровень юзабилити

Результаты BUS-11 показывают сильную положительную корреляцию с другими валидированными инструментами оценки юзабилити, такими как UMUX-LITE, что подтверждает конвергентную валидность метода.

Структура проведения

Подготовка

  • Определите цели исследования и аспекты чат-бота, которые необходимо оценить

  • Выберите формат проведения (очный или удаленный) и подготовьте опросник BUS-11

  • Определите целевую аудиторию и количество участников (рекомендуется минимум 15-20 участников)

  • Подготовьте 2-3 типичных сценария использования чат-бота/ИИ-системы

  • Создайте инструкции для участников и форму для сбора демографических данных

  • Протестируйте настройку исследования с 1-2 пилотными участниками

  • Внесите необходимые корректировки в процедуру на основе пилотного тестирования

Проведение

  • Предоставьте участникам доступ к чат-боту/ИИ-системе и инструкции по выполнению задач

  • Попросите участников выполнить подготовленные сценарии использования

  • После завершения взаимодействия с системой предложите заполнить опросник BUS-11

  • При необходимости соберите дополнительные качественные комментарии о пользовательском опыте

  • Поблагодарите участников и предоставьте им вознаграждение, если это предусмотрено

Анализ

  • Подсчитайте общий балл BUS и нормализованный балл для каждого участника

  • Рассчитайте средние значения и стандартное отклонение для всей выборки

  • Проанализируйте оценки по каждому из пяти факторов для выявления проблемных аспектов

  • Сегментируйте результаты по демографическим или поведенческим характеристикам участников

  • Сравните результаты с предыдущими измерениями или бенчмарками (если имеются)

  • Определите статистическую значимость различий при сравнении версий или групп пользователей

  • Сформулируйте рекомендации по улучшению на основе выявленных проблемных аспектов

  • Подготовьте отчет с визуализацией результатов и конкретными рекомендациями

Связь с другими методами

Предшествующие методы

Дополняющие методы

Последующие методы

Заключение

Chatbot Usability Scale (BUS-11) представляет собой ценный инструмент для оценки и улучшения пользовательского опыта взаимодействия с конверсационными ИИ-системами. В условиях стремительного роста популярности чат-ботов и виртуальных ассистентов этот метод приобретает особую значимость, поскольку обеспечивает стандартизированный подход к оценке их юзабилити.

Основная ценность BUS-11 заключается в его специализированном характере — в отличие от общих шкал юзабилити, он учитывает уникальные аспекты диалоговых интерфейсов, такие как естественность взаимодействия, способность системы обрабатывать неоднозначные запросы и адаптироваться к стилю общения пользователя. Это делает его незаменимым инструментом для команд, разрабатывающих чат-боты и конверсационные ИИ-системы.

Международная валидация BUS-11 на различных языках подтверждает его кросс-культурную применимость, что особенно важно в контексте глобального распространения ИИ-технологий. Простота применения и интерпретации результатов делает BUS-11 доступным для широкого круга специалистов, от UX-исследователей до продуктовых менеджеров. При этом научная обоснованность метода обеспечивает достоверность получаемых результатов и возможность их использования для принятия обоснованных решений по улучшению продукта.

В контексте развития ИИ-технологий и увеличения роли конверсационных интерфейсов в цифровых продуктах, Chatbot Usability Scale становится все более востребованным инструментом. Его дальнейшее развитие может включать адаптацию для оценки мультимодальных ИИ-систем, интегрирующих текстовые, голосовые и визуальные модальности, а также создание специализированных версий для конкретных отраслей и типов приложений.