А у вас какие оценки?

08.08.2011 14:13 7 3 209 просмотров
В отделениях банков все чаще можно встретить пульты оценки качества обслуживания, с помощью которых клиенты могут оценить работу операционистов и отделения в целом. Иногда (например, в некоторых отделениях Сбербанка и ВТБ24) клиентам предлагается выставлять оценки по хорошо всем знакомой со школы 5-бальной шкале. Однако здесь-то и таится очередной дьявол усреднения.

Банки предлагают клиентам ставить оценки, чтобы лучше понимать, как работают их отделения. И очевидно, что для того, чтобы извлечь смысл из последовательности оценок, поставленных сотнями и тысячами клиентов, надо эти оценки агрегировать.
И обычно по всем поставленным оценкам просто рассчитывают среднее арифметическое. Хотя мы уже знаем, что усреднение редко дает адекватное представление о реальности.

Почему нельзя усреднять оценки?
Есть 4 причины, почему оценки нельзя складывать и делить:
1. неметрическая
2. ненормальная
3. неабсолютная
4. нерепрезентативная

Неметрическая шкала
Дело в том, что шкала оценок не метрическая, а ранговая. Проще говоря, у оценок есть четко определенная последовательность, но расстояния между оценками не определены.
Понятно, что "четверка" лучше "тройки", а "кол" хуже "двойки" и вообще всегда 1<2<3<4<5.
Однако нельзя сказать, что "двойка" вдвое лучше "кола", а "четверка" лишь на 20% хуже "пятерки".
Но когда вы начинаете считать среднее арифметическое по оценкам, именно так и происходит.
И тогда получается, что превосходство "тройки" над "двойкой" в 2 раза больше, чем превосходство "пятерки" над "четверкой" (50% и 25%). Хотя между всеми ними ровно 1 балл.
Кроме того, "четверка" на 33% лучше "тройки", но при этом "тройка" на 25% хуже "четверки". Но ведь это одни и те же оценки!
также надо понимать, что "пять" плюс "кол" - совсем не то же самое, что и две "тройки".
В общем, оценки нельзя складывать, и поэтому среднее арифметическое по оценкам не имеет практического смысла.

Ненормальное распределение
Также надо помнить, что среднее арифметическое хорошо подходит для величин, которые распределены нормально. И их с определенными допущениями можно описать одним числом - средней оценкой.
Но тогда распределение оценок должно выглядеть примерно так:


Однако в жизни такой красоты не увидишь, зато бывает вот так:

И в такой ситуации из-за усреднения из поля зрения выпадут "колы", "двойки" и "пятерки", и общая оценка все время будет где-то около "троечки", а это значит, что оценить качество обслуживания с помощью такого усреднения на самом деле невозможно.

На вкус и цвет
Еще один важный момент, который нельзя не учитывать. Шкала оценок не является абсолютной, у нее нет точки отсчета и единой величины измерения. Иными словами, каждый ставит оценки в своей системе ценностей. И что для одного "пять", для другого едва лишь "троечка".
Усредняя столь разные по сути оценки, нельзя получить осмысленный результат, имеющий практическую пользу для банка.

А судьи кто?
Ну и в заключение самое интересное. Важно понимать, кто, когда и при каких условиях ставит оценки. Если бы оценки в обязательном порядке ставили все клиенты, то данной проблемы бы не было. Однако оценки ставит далеко не каждый. И это значит, что оценка может не отражать мнения всех клиентов. Более того, она может быть очень далека от реальных впечатлений большинства.
Дело в том, что очень часто, оценки не ставят довольные клиенты и... недовольные клиенты.
Довольные и так всем довольны, и у них нет потребности "сигнализировать на верх" - ведь у них и так все хорошо.
Недовольные порой слишком недовольны и им, конечно же, не до оценок. Более того, многие уже не собираются оставаться клиентами данного банка... и поэтому они также не склонны "давать обратную связь".
Поэтому для сбора адекватной обратной связи нужно помнить про правило "WIIIFM" (What is in it for me?), по-русски говоря, "А мне-то что с этого?". Клиент должен понимать, зачем он ставит оценку и как это повлияет на его жизнь. А вы должны понимать, кто, зачем и когда ставит оценки, чтобы извлечь из них смысл.

А правильная обратная связь от клиентов критически важна для бизнеса, потому что позволяет понять, что компания делает правильно и что неправильно, а также что надо делать, чтобы стать лучше.

Комментарии 7

Роман Худорожков  (roman_h)
#
Очень приятно, что мои записи собирают много фейсбучных лайков.
Только за вчерашний день эта запись собрала 16 лайков. И для сотни просмотров это просто замечательный результат.
А лидирует пока запись про "Непредсказуемые очереди", у которой 27 лайков.
Спасибо вам за высокие оценки!
Александр  (amarok)
#
В сбер хожу иногда вижу стикер на нем нарисованы два смайлика smile:) и smile:( вписываешь номер окошка и обводишь смайл
все просто, либо хорошо либо плохо. smile:)
Роман Худорожков  (roman_h)
#
Да, "плюс" и "минус" - это более простая для анализа система оценок.
Роман Худорожков  (roman_h)
#
Из нерепрезентативности следует еще один важный момент, почему оценки не только нельзя складывать, но и даже сравнивать.
Суть в том, что положительные и отрицательные оценки ставят разные клиенты. И выходит, что из неизвестного числа всех недовольных клиентов какая-то (причем неизвестно какая именно) часть клиентов поставила отрицательные оценки.
А из другого неизвестного числа довольных клиентов какая-то другая (но все так же неизвестная) часть клиентов поставила положительные оценки.
И поскольку ни база, ни доля клиентов неизвестны, то ни складывать, ни даже просто сравнивать оценки нельзя.

Приведу пример. 100 клиентов поставили оценку "5" и 100 клиентов поставили оценку "2". Но из этих данных нельзя сделать обоснованный вывод об удовлетворенности клиентов.
Потому что из 100'000 довольных клиентов только 0.1% клиентов поставили оценку, а остальные просто ушли из отделения в хорошем настроении. А из 1000 недовольных клиентов целых 10% клиентов поставили отрицательную оценку. Или все было с точностью до наоборот. Но по оценкам вы этого никогда не узнаете.

И это, в частности, очень затрудняет анализ даже простых оценок вида "+" и "-".
Урри Кадыков  (Дистандер)
#
Даже психологически это совершенно различный подход - оценки в диапазоне "от 1 до 5" или "- и +".
В первом случае, как мы знаем по школе, "1" практически никогда не ставится, в результате при усреднении смещение происходит в сторону увеличения.
Во втором случае, скорее всего выпадает нейтральная оценка "0", когда клиент просто удовлетворён обслуживанием, но без телячьего восторга.
Максимова Наталья  (natryona)
#
Большое, нет, даже огромное вам спасибо Роман, за это небольшое исследование! smile:)

КЛИЕНТ ГОЛОСУЕТ РУБЛЕМ!
Комментарии и отзывы могут оставлять только зарегистрированные пользователи.
Авторизуйтесь или зарегистрируйтесь.

Популярные сообщения

Новости по итогам отчетности за февраль 2017 г.
Нарушители нормативов ЦБ в феврале (тех, кто находится на санации, тех, у кого уже отозвана лицензия и тех, где введена временная администрация, не обсуждаем
9
День Святого Патрика
Рубрика Карта к празднику Сегодня отмечается красивый ирландский праздник День Святого Патрика. В этот праздник люди желают друг другу, чтобы каждый
0
Кредитные карты Tinkoff All Airlines и S7 World. Сравним?
Тут на днях случилось! Вау! Более 2-х недель банк Тинькофф пытался вбрасывать разного рода «намеки» на скорый анонс очередного продукта который «порвет
3
ОФЗ для ИИС
Гуглил я тут в поисках ответов по некоторым непонятным вопросам в отношении ОФЗ для ИИС. Увы, но абсолютное большинство статей, лекций вебинаров и т.д.
0
Почему на карт-счете дебетовой карты может появиться отрицательный остаток, то есть долг перед банком?
Почему на карт-счете дебетовой карты может появиться отрицательный остаток, то есть долг перед банком? Обсуждение данного вопроса с завидной регулярностью
2

Новые сообщения

  • Кредитные карты Tinkoff All Airlines и S7 World. Сравним?
    Тут на днях случилось! Вау! Более 2-х недель банк Тинькофф пытался вбрасывать разного рода «намеки» на скорый анонс очередного продукта который «порвет
  • Рынок нефти 24 марта
    Цена на нефть Brent на утро - $50.72. В течение предыдущего дня ценовая динамика рынка нефти была относительно стабильной, с умеренной волатильностью.
  • Миллионы кредитных карт, или полный кэшбэк России
    Спрос на банковские продукты в России активизировался: только 1355468079_rmit.jpgза январь месяц россияне оформили более 700.000 новых кредитных и дебетовых
  • «Черный Лебедь» всё ближе
    На дворе уже заканчивается март, а половина «голубых фишек» или титанов российской экономики не отчиталась о проделанной работе за 2016 год. Некоторые
  • Рынок нефти 23 марта
    Цена на нефть Brent на утро - $50.99. В течение дня цены на нефть постепенно снижались и даже на короткое время опустились ниже $50. Однако после опубликования