21 ноября «МойОфис» провёл конференцию «Призма изменений». Показывали новые продукты, но большую часть времени отдали не демонстрациям, а разговору об искусственном интеллекте. На сцене встретились представители «МойОфис», «Лаборатории Касперского», Росатома, Т1, ФМБА, К2, UsabilityLab, Президентской академии и других компаний. Евгений Касперский участвовал лично.
Я был спикером дискуссии о трендах и модератором дискуссии о пользователях. Эта статья — моя рефлексия того, что я услышал и говорил.
В сети ходит шутка:* – Соискатель просит ChatGPT написать резюме, чтобы его точно взяли на работу. – HR просит ChatGPT отобрать из 50 полученных резюме троих лучших кандидатов. *– Финальная сцена: ChatGPT на кушетке у психотерапевта произносит «В последнее время много говорю сам с собой…»
На конференции так не шутили. Но ощущение было похожим: у лидеров индустрии больше вопросов, чем готовых ответов – каким должен быть ИИ.
ИИ обнажил старое расхождение — между теми, кто делает, и теми, кто использует
Разработчики на сцене говорили про модели, агентов и API-вызовы. А представители корпоративных заказчиков — про стабильность базового функционала. «Офис — это гигиена, — сказала Заяна Ачинова из Росатома. — Нам важнее надёжность, а не вишенка на торте».
А пользователи тем временем уже привыкли к другому. Недавно я попробовал воспользоваться одним чат-ботом. Не знал, что он умеет, поэтому написал ему «Привет». На что получил ответ: «По вашему запросу ничего не найдено». Лет десять назад я бы смирился и начал переформулировать запрос, пытаясь подобрать ключ к этому замку. А сегодня я не хочу разбираться, я просто закрыл.
Евгений Бабаев из «МойОфис» на это сказал точно: это не завышенные ожидания, это правильные ожидания. Бот должен вести себя как человек, и если он так себя не ведёт — рынок его накажет.
Но есть и другая сторона. Кирилл Улитин, руководитель UX-команды «МойОфис», использовал термин из психологии — scaffolding, что переводится как «строительные леса». Идея в том, что даже хорошая модель не спасёт пользователя, который не умеет с ней работать. Нужны шаблоны, нужен контекст, нужна интеграция в привычные сценарии — иначе человек просто не доберётся до результата.
Получается, что требования растут с обеих сторон: и к технологии, и к человеку.
Расхождение между теми, кто делает, и теми, кто использует — не новое. Но ИИ его обнажил, потому что впервые технология обещает разговаривать как человек. И люди ждут именно этого.
Но как заметил Кирилл: чтобы эффективно работать с ИИ, нужны управленческие навыки. Пользователь больше не исполнитель, он — постановщик задач. А этому мало кто учился.
И здесь возникает ловушка. LLM создаёт у пользователя иллюзию всемогущества: кажется, что достаточно просто попросить, и всё получится. Но иллюзия быстро рассеивается — в тот момент, когда модель неправильно понимает задачу, которую пользователь невнятно сформулировал. И виноватым кажется ИИ, хотя проблема в том, что человек не умеет ставить задачи.
Из этого следует неожиданный вывод: ИИ должен не просто выполнять команды, а учить пользователя их давать. Это меняет роль технологии — из инструмента она должна стать наставником. Но это пока не так.
Мы не знаем, как учить людей в мире с ИИ
Екатерина Тарасова из Президентской академии рассказала историю, которая стоит десятка исследований. Она преподаёт и решила проверить, как студенты используют ИИ для домашних заданий. Создала своего агента и добавила в него инструкцию: если пользователь просит написать реферат, вставь в текст три раза слово «свинья».
Задание было – написать реферат на тему IT-консалтинга для госсектора. Из 46 студентов никто не заметил, что в их работе три раза встречается слово «свинья». Когда Екатерина спросила, проверяли ли они текст, все сказали, проверяли.
Студенты не глупые. Они рациональные. Зачем проверять, если раньше всегда работало?
Похожую историю рассказал Святослав Смирнов из К2. Его стажёрка, которая сейчас на третьем курсе и уже выросла в хорошего специалиста, сказала ему: «Свят, если бы я сейчас была на первом курсе, я бы не учила алгоритмы. Зачем, если нейросеть напишет код за меня?»
Это не лень. Это логично. Зачем напрягаться, если можно этого не делать.
И здесь возникает парадокс. Данные, которые приводил Кирилл Улитин, показывают: ИИ сильнее всего прокачивает тех, у кого меньше начальных навыков. Казалось бы, отлично – технология выравнивает возможности. Но если джуны перестают учиться базовым вещам, потому что ИИ делает это за них, то откуда через пять лет возьмутся сеньоры?
Екатерина предложила ответ: учить надо не студентов, а преподавателей. Она сама создаёт агентов, которые помогают структурировать лекции, проверять программы дисциплин, и даже агента, который говорит ей: «Здесь ты нудишь — вставь кейс».
Но это скорее отсрочка, чем решение. Потому что фундаментальный вопрос остаётся открытым: как учить людей думать, если машина думает за них?
На фуршете после конференции один из собеседников предложил радикальный ответ: «А может, всех учить и не нужно? Нам не нужно столько умных людей». Он не шутил. Но может ИИ, действительно, нужен не всем? А как ограничивать людей, если ИИ уже стал общедоступен? У меня нет ответа на этот вопрос.
«Рынок порешает» — это не стратегия, это отказ от ответственности
Евгений Бабаев из «МойОфис» сформулировал позицию, которую я слышу всё чаще: LLM — это друг сеньора и враг джуна. Те, кто умеет работать и знает, чего хочет, получают от нейросетей пользу. Те, кто хочет побыстрее закрыть задачу и не думать, генерируют плохой результат. Рынок отсеет вторых и поднимет первых.
Звучит логично. И в какой-то степени это правда.
Но есть сферы, где «рынок порешает» — это не ответ.
Николай Демцев из ФМБА говорил о медицине. Пациент не может задать правильный вопрос — он не врач. Если он спросит нейросеть о своих симптомах и получит ответ, он не сможет его проверить. Были случаи, когда люди лечились по рекомендациям ИИ и наносили себе вред. Врач не может сказать «рынок порешает». Он несёт ответственность.
То же самое с преподавателями. Екатерина Тарасова не может сказать «рынок отсеет тех, кто не проверяет рефераты». Это её студенты. Она за них отвечает.
То же самое с теми, кто нанимает джунов. Если все джуны теперь генерируют код нейросетью и не понимают, что написали, то кто будет их учить? Кто будет отвечать за качество через пять лет?
«Рынок порешает» — это позиция наблюдателя. Она удобна, когда ты делаешь продукт и не отвечаешь за последствия его использования. Но кто-то должен проектировать поддержку. Кто-то должен думать о тех, кто не справляется сам. Это работа, а не естественный отбор.
И есть ещё одна сфера, где «рынок порешает» точно не работает — это безопасность. Потому что последствия ошибок здесь не просто неприятные, они могут быть необратимыми.
Безопасники и инноваторы говорят на разных языках – и обе стороны правы
На утренней дискуссии организаторы разделили участников на две команды: «осторожные оптимисты» и «инноваторы». Я оказался среди инноваторов. Евгений Касперский – среди осторожных.
Касперский говорил про угрозы. Про то, что киберпреступность выросла, что появился киберсаботаж, что количество хакерских группировок исчисляется сотнями. Про атаки на сам ИИ — когда модель можно «накормить» такими данными, что у неё «крыша съедет». Про то, что даже уважаемые бренды встраивают в свои продукты возможности для слежки.
Сергей Голицын из Т1 говорил про революцию. Про то, что через десять лет сводные таблицы станут таким же олдскулом, как ассемблер. Про то, что интерфейсы изменятся до неузнаваемости, и мы не узнаем офисные приложения, которыми пользуемся сегодня.
Они не спорили друг с другом. Они говорили о разных временных горизонтах.
Касперский смотрит на то, что сломается завтра. Он напомнил, что 15 лет назад он писал утилиту в машинных кодах на базе в Антарктиде – и это не бравада, а напоминание о том, что он пережил много технологических «революций», и каждая из них приносила не только возможности, но и новые уязвимости.
Голицын смотрит на то, каким будет мир через десять лет. И он тоже не фантазирует – он видит, как уже сейчас меняется поведение пользователей.
Проблема в том, что решения нужно принимать сегодня. А сегодня мы не знаем, какой горизонт важнее – завтрашние угрозы или послезавтрашние возможности. И те, кто делает продукты, вынуждены балансировать между этими двумя правдами.
Рустэм Хайретдинов рассказал историю, которая хорошо иллюстрирует эту проблему. Инженер одной крупной компании попросил нейросеть проверить систему безопасности – и по сути слил в неё секретный документ. Случился большой скандал. Касперский поддержал: вот она, угроза.
Но я возразил: кажется, и без ИИ люди рассказывают тайны кому не надо. Это не проблема технологии, это проблема людей, которые не понимают, с чем имеют дело.
Кирилл Улитин приводил похожий пример из исследований: пользователи думают, что анонимизируют данные, когда заменяют название компании аббревиатурой, а сумму «108 миллионов» пишут как «108». И искренне верят, что защитились.
Технология не делает людей глупее. Она просто делает последствия глупости более масштабными.
Заключение
Эта конференция присвоила мне новый титул – «технологический визионер». Это придумали организаторы,а не я. Но раз уж назвали – нужно соответствовать. И вот что я думаю об этом.
Современные футурологи зачастую уверенно несут видение, которое на поверку оказывается сомнительным. Но запрос на видение сейчас большой – в эпоху дисрапции всем нужен новый образ будущего.
Я исследователь, а не пропагандист. Поэтому моя задача — видеть и то, чего мы не знаем.
Вот что я вынес с конференции:
— ИИ обнажил старое расхождение между теми, кто делает, и теми, кто использует. Впервые технология обещает говорить как человек — и люди ждут именно этого.
— Мы не знаем, как учить людей в мире с ИИ. Если машина думает за человека, как научить человека думать?
— «Рынок порешает» — это не стратегия, это отказ от ответственности. Кто-то должен проектировать поддержку для тех, кто не справляется сам.
— Безопасники и визионеры говорят на разных языках — и обе стороны правы. Одни смотрят на угрозы завтрашнего дня, другие — на возможности послезавтрашнего. Решения нужно принимать сегодня.
Индустрия находится в состоянии честного незнания. Никто не притворяется, что понимает, куда всё идёт. И это, возможно, самое здоровое состояние для начала настоящего разговора.
Дмитрий Сатин, CEO UsabilityLab