Банки предлагают клиентам ставить оценки, чтобы лучше понимать, как работают их отделения. И очевидно, что для того, чтобы извлечь смысл из последовательности оценок, поставленных сотнями и тысячами клиентов, надо эти оценки агрегировать.
И обычно по всем поставленным оценкам просто рассчитывают среднее арифметическое. Хотя мы уже знаем, что усреднение редко дает адекватное представление о реальности.
Почему нельзя усреднять оценки?
Есть 4 причины, почему оценки нельзя складывать и делить:
1. неметрическая
2. ненормальная
3. неабсолютная
4. нерепрезентативная
Неметрическая шкала
Дело в том, что шкала оценок не метрическая, а ранговая. Проще говоря, у оценок есть четко определенная последовательность, но расстояния между оценками не определены.
Понятно, что "четверка" лучше "тройки", а "кол" хуже "двойки" и вообще всегда 1<2<3<4<5.
Однако нельзя сказать, что "двойка" вдвое лучше "кола", а "четверка" лишь на 20% хуже "пятерки".
Но когда вы начинаете считать среднее арифметическое по оценкам, именно так и происходит.
И тогда получается, что превосходство "тройки" над "двойкой" в 2 раза больше, чем превосходство "пятерки" над "четверкой" (50% и 25%). Хотя между всеми ними ровно 1 балл.
Кроме того, "четверка" на 33% лучше "тройки", но при этом "тройка" на 25% хуже "четверки". Но ведь это одни и те же оценки!
также надо понимать, что "пять" плюс "кол" - совсем не то же самое, что и две "тройки".
В общем, оценки нельзя складывать, и поэтому среднее арифметическое по оценкам не имеет практического смысла.
Ненормальное распределение
Также надо помнить, что среднее арифметическое хорошо подходит для величин, которые распределены нормально. И их с определенными допущениями можно описать одним числом - средней оценкой.
Но тогда распределение оценок должно выглядеть примерно так:
Однако в жизни такой красоты не увидишь, зато бывает вот так:
И в такой ситуации из-за усреднения из поля зрения выпадут "колы", "двойки" и "пятерки", и общая оценка все время будет где-то около "троечки", а это значит, что оценить качество обслуживания с помощью такого усреднения на самом деле невозможно.
На вкус и цвет
Еще один важный момент, который нельзя не учитывать. Шкала оценок не является абсолютной, у нее нет точки отсчета и единой величины измерения. Иными словами, каждый ставит оценки в своей системе ценностей. И что для одного "пять", для другого едва лишь "троечка".
Усредняя столь разные по сути оценки, нельзя получить осмысленный результат, имеющий практическую пользу для банка.
А судьи кто?
Ну и в заключение самое интересное. Важно понимать, кто, когда и при каких условиях ставит оценки. Если бы оценки в обязательном порядке ставили все клиенты, то данной проблемы бы не было. Однако оценки ставит далеко не каждый. И это значит, что оценка может не отражать мнения всех клиентов. Более того, она может быть очень далека от реальных впечатлений большинства.
Дело в том, что очень часто, оценки не ставят довольные клиенты и... недовольные клиенты.
Довольные и так всем довольны, и у них нет потребности "сигнализировать на верх" - ведь у них и так все хорошо.
Недовольные порой слишком недовольны и им, конечно же, не до оценок. Более того, многие уже не собираются оставаться клиентами данного банка... и поэтому они также не склонны "давать обратную связь".
Поэтому для сбора адекватной обратной связи нужно помнить про правило "WIIIFM" (What is in it for me?), по-русски говоря, "А мне-то что с этого?". Клиент должен понимать, зачем он ставит оценку и как это повлияет на его жизнь. А вы должны понимать, кто, зачем и когда ставит оценки, чтобы извлечь из них смысл.
А правильная обратная связь от клиентов критически важна для бизнеса, потому что позволяет понять, что компания делает правильно и что неправильно, а также что надо делать, чтобы стать лучше.
Комментарии 7
Только за вчерашний день эта запись собрала 16 лайков. И для сотни просмотров это просто замечательный результат.
А лидирует пока запись про "Непредсказуемые очереди", у которой 27 лайков.
Спасибо вам за высокие оценки!
все просто, либо хорошо либо плохо.
Суть в том, что положительные и отрицательные оценки ставят разные клиенты. И выходит, что из неизвестного числа всех недовольных клиентов какая-то (причем неизвестно какая именно) часть клиентов поставила отрицательные оценки.
А из другого неизвестного числа довольных клиентов какая-то другая (но все так же неизвестная) часть клиентов поставила положительные оценки.
И поскольку ни база, ни доля клиентов неизвестны, то ни складывать, ни даже просто сравнивать оценки нельзя.
Приведу пример. 100 клиентов поставили оценку "5" и 100 клиентов поставили оценку "2". Но из этих данных нельзя сделать обоснованный вывод об удовлетворенности клиентов.
Потому что из 100'000 довольных клиентов только 0.1% клиентов поставили оценку, а остальные просто ушли из отделения в хорошем настроении. А из 1000 недовольных клиентов целых 10% клиентов поставили отрицательную оценку. Или все было с точностью до наоборот. Но по оценкам вы этого никогда не узнаете.
И это, в частности, очень затрудняет анализ даже простых оценок вида "+" и "-".
В первом случае, как мы знаем по школе, "1" практически никогда не ставится, в результате при усреднении смещение происходит в сторону увеличения.
Во втором случае, скорее всего выпадает нейтральная оценка "0", когда клиент просто удовлетворён обслуживанием, но без телячьего восторга.
КЛИЕНТ ГОЛОСУЕТ РУБЛЕМ!