А у вас какие оценки?

08.08.2011 14:13 7 3 239 просмотров
В отделениях банков все чаще можно встретить пульты оценки качества обслуживания, с помощью которых клиенты могут оценить работу операционистов и отделения в целом. Иногда (например, в некоторых отделениях Сбербанка и ВТБ24) клиентам предлагается выставлять оценки по хорошо всем знакомой со школы 5-бальной шкале. Однако здесь-то и таится очередной дьявол усреднения.

Банки предлагают клиентам ставить оценки, чтобы лучше понимать, как работают их отделения. И очевидно, что для того, чтобы извлечь смысл из последовательности оценок, поставленных сотнями и тысячами клиентов, надо эти оценки агрегировать.
И обычно по всем поставленным оценкам просто рассчитывают среднее арифметическое. Хотя мы уже знаем, что усреднение редко дает адекватное представление о реальности.

Почему нельзя усреднять оценки?
Есть 4 причины, почему оценки нельзя складывать и делить:
1. неметрическая
2. ненормальная
3. неабсолютная
4. нерепрезентативная

Неметрическая шкала
Дело в том, что шкала оценок не метрическая, а ранговая. Проще говоря, у оценок есть четко определенная последовательность, но расстояния между оценками не определены.
Понятно, что "четверка" лучше "тройки", а "кол" хуже "двойки" и вообще всегда 1<2<3<4<5.
Однако нельзя сказать, что "двойка" вдвое лучше "кола", а "четверка" лишь на 20% хуже "пятерки".
Но когда вы начинаете считать среднее арифметическое по оценкам, именно так и происходит.
И тогда получается, что превосходство "тройки" над "двойкой" в 2 раза больше, чем превосходство "пятерки" над "четверкой" (50% и 25%). Хотя между всеми ними ровно 1 балл.
Кроме того, "четверка" на 33% лучше "тройки", но при этом "тройка" на 25% хуже "четверки". Но ведь это одни и те же оценки!
также надо понимать, что "пять" плюс "кол" - совсем не то же самое, что и две "тройки".
В общем, оценки нельзя складывать, и поэтому среднее арифметическое по оценкам не имеет практического смысла.

Ненормальное распределение
Также надо помнить, что среднее арифметическое хорошо подходит для величин, которые распределены нормально. И их с определенными допущениями можно описать одним числом - средней оценкой.
Но тогда распределение оценок должно выглядеть примерно так:


Однако в жизни такой красоты не увидишь, зато бывает вот так:

И в такой ситуации из-за усреднения из поля зрения выпадут "колы", "двойки" и "пятерки", и общая оценка все время будет где-то около "троечки", а это значит, что оценить качество обслуживания с помощью такого усреднения на самом деле невозможно.

На вкус и цвет
Еще один важный момент, который нельзя не учитывать. Шкала оценок не является абсолютной, у нее нет точки отсчета и единой величины измерения. Иными словами, каждый ставит оценки в своей системе ценностей. И что для одного "пять", для другого едва лишь "троечка".
Усредняя столь разные по сути оценки, нельзя получить осмысленный результат, имеющий практическую пользу для банка.

А судьи кто?
Ну и в заключение самое интересное. Важно понимать, кто, когда и при каких условиях ставит оценки. Если бы оценки в обязательном порядке ставили все клиенты, то данной проблемы бы не было. Однако оценки ставит далеко не каждый. И это значит, что оценка может не отражать мнения всех клиентов. Более того, она может быть очень далека от реальных впечатлений большинства.
Дело в том, что очень часто, оценки не ставят довольные клиенты и... недовольные клиенты.
Довольные и так всем довольны, и у них нет потребности "сигнализировать на верх" - ведь у них и так все хорошо.
Недовольные порой слишком недовольны и им, конечно же, не до оценок. Более того, многие уже не собираются оставаться клиентами данного банка... и поэтому они также не склонны "давать обратную связь".
Поэтому для сбора адекватной обратной связи нужно помнить про правило "WIIIFM" (What is in it for me?), по-русски говоря, "А мне-то что с этого?". Клиент должен понимать, зачем он ставит оценку и как это повлияет на его жизнь. А вы должны понимать, кто, зачем и когда ставит оценки, чтобы извлечь из них смысл.

А правильная обратная связь от клиентов критически важна для бизнеса, потому что позволяет понять, что компания делает правильно и что неправильно, а также что надо делать, чтобы стать лучше.

Комментарии 7

Роман Худорожков  (roman_h)
#
Очень приятно, что мои записи собирают много фейсбучных лайков.
Только за вчерашний день эта запись собрала 16 лайков. И для сотни просмотров это просто замечательный результат.
А лидирует пока запись про "Непредсказуемые очереди", у которой 27 лайков.
Спасибо вам за высокие оценки!
Александр  (amarok)
#
В сбер хожу иногда вижу стикер на нем нарисованы два смайлика smile:) и smile:( вписываешь номер окошка и обводишь смайл
все просто, либо хорошо либо плохо. smile:)
Роман Худорожков  (roman_h)
#
Да, "плюс" и "минус" - это более простая для анализа система оценок.
Роман Худорожков  (roman_h)
#
Из нерепрезентативности следует еще один важный момент, почему оценки не только нельзя складывать, но и даже сравнивать.
Суть в том, что положительные и отрицательные оценки ставят разные клиенты. И выходит, что из неизвестного числа всех недовольных клиентов какая-то (причем неизвестно какая именно) часть клиентов поставила отрицательные оценки.
А из другого неизвестного числа довольных клиентов какая-то другая (но все так же неизвестная) часть клиентов поставила положительные оценки.
И поскольку ни база, ни доля клиентов неизвестны, то ни складывать, ни даже просто сравнивать оценки нельзя.

Приведу пример. 100 клиентов поставили оценку "5" и 100 клиентов поставили оценку "2". Но из этих данных нельзя сделать обоснованный вывод об удовлетворенности клиентов.
Потому что из 100'000 довольных клиентов только 0.1% клиентов поставили оценку, а остальные просто ушли из отделения в хорошем настроении. А из 1000 недовольных клиентов целых 10% клиентов поставили отрицательную оценку. Или все было с точностью до наоборот. Но по оценкам вы этого никогда не узнаете.

И это, в частности, очень затрудняет анализ даже простых оценок вида "+" и "-".
Урри Кадыков  (Дистандер)
#
Даже психологически это совершенно различный подход - оценки в диапазоне "от 1 до 5" или "- и +".
В первом случае, как мы знаем по школе, "1" практически никогда не ставится, в результате при усреднении смещение происходит в сторону увеличения.
Во втором случае, скорее всего выпадает нейтральная оценка "0", когда клиент просто удовлетворён обслуживанием, но без телячьего восторга.
Максимова Наталья  (natryona)
#
Большое, нет, даже огромное вам спасибо Роман, за это небольшое исследование! smile:)

КЛИЕНТ ГОЛОСУЕТ РУБЛЕМ!
Комментарии и отзывы могут оставлять только зарегистрированные пользователи.
Авторизуйтесь или зарегистрируйтесь.

Популярные сообщения

Новости по итогам отчетности за март 2017 г.
Нарушители нормативов ЦБ в марте (тех, кто находится на санации, тех, у кого уже отозвана лицензия и тех, где введена временная администрация, не обсуждаем
14
Рубрике Карта к празднику - 1 год!
Приветствую моих дорогих читателей! Между тем рубрике Карта к празднику 12 апреля исполнился 1 год! 12 апреля прошлого года после публикации
3
«Странные» грейсы, или о других льготных периодах кредитных карт. Часть 1. 60-100-200 дней.
«Странные» грейсы, или о других льготных периодах кредитных карт. Часть 1. 60-100-200 дней. Когда-то, от скуки, я написал о том, что такое «правильный
2
Электронный(ая) Почта Банк
После прошлогоднего сериала из 11 роликов с актером Сергеем Гармашем новая рекламная кампания «Банк лайфхаков» Почта Банка оказалась несколько неожиданной:
1
Рынок нефти 26 апреля
Цена на нефть Brent на утро - $52.06. Нефть остается на уровнях $51-$52 в течение последних дней. Пока рынок занял выжидательную позицию в ожидании статистики
0

Новые сообщения

  • Рынок нефти 26 апреля
    Цена на нефть Brent на утро - $52.06. Нефть остается на уровнях $51-$52 в течение последних дней. Пока рынок занял выжидательную позицию в ожидании статистики
  • «Странные» грейсы, или о других льготных периодах кредитных карт. Часть 1. 60-100-200 дней.
    «Странные» грейсы, или о других льготных периодах кредитных карт. Часть 1. 60-100-200 дней. Когда-то, от скуки, я написал о том, что такое «правильный
  • Рынок нефти 25 апреля
    На настроения на нефтяном рынке продолжает оказывать влияние фактор неопределенности по продлению соглашения ОПЕК+ и рост производства в США. Заявления
  • Рынок нефти 24 апреля
    Нефть пытается восстанавливаться. Накануне технический комитет ОПЕК порекомендовал участникам сделки ОПЕК+ продлить соглашение еще на полгода, однако
  • РЫНОК ТРУДА НАЩУПАЛ ДНО...
    Рынок труда России «нащупал дно» и начал стабилизироваться. По оценке независимых экспертов, абсолютная безработица сегодня составляет 20 % от экономически