За прошлый год электронная система Сбербанка — самая большая и дорогая в стране — «падала» несколько раз, лишая клиентов шансов воспользоваться своими кредитками. Forbes выяснил, почему это происходило и как нашли проблему.

Вечером 17 декабря 2012 года держатели карт Сбербанка не могли расплатиться ими в магазинах и ресторанах, банкоматы в отделениях не работали, некоторые перезагружались, остальные просто выдавали сообщение о невозможности проведения операций. Через час проблема была решена — и осталась практически незамеченной: газеты написали небольшие сообщения, а еще через день история забылась. Однако внутри Сбербанка проблема выглядела совсем по-другому. Глава крупнейшего банка страны Герман Греф лично приехал в офис, чтобы заняться поиском ошибки в новейшем оборудовании, только-только начавшем работать в полную силу, рассказывают сотрудники Сбербанка.

К этому моменту Сбербанк уже четвертый год занимался централизацией бизнес-процессов. У банка 350 млн счетов, по которым совершается 160 млн трансакций ежедневно и 35 тыс. трансакций в минуту. Объединение и централизация всех процессов требовали все больше и больше вычислительных ресурсов.

Сбербанк изучил имеющиеся предложения на рынке и пришел к выводу, что готовой системы нет ни у одного производителя. Было решено купить серверы у IBM, на них установили программное обеспечение Oracle, которая, по мнению Сбербанка, производит лучшую систему управления базами данных. К этому прибавили программы от Symantec и дисковые массивы Hewlett Packard. Все программы и оборудование были самыми последними, новейшими разработками.

Только за девять месяцев прошлого года Сбербанк потратил на IT 31,2 млрд рублей, еще 26,8 млрд — за 2011 год, это крупнейший IT-бюджет среди всех российских банков.

«У нас было все самое лучшее, но когда оно начало работать вместе, то стало выдавать странности», — говорит собеседник Forbes, отмечая, что сбоев было гораздо больше, чем видели клиенты, — за прошлый год у Сбербанка было восемь крупных сбоев, не считая проблем в регионах.

Но «откатить» все назад Сбербанк не мог, надо было двигаться вперед, решая проблемы одну за другой. «Две лаборатории IBM и одна Oracle весь год работали только на нас, IBM поставила нам 20 серверов бесплатно с условием, что мы расплатимся, когда перестанет сбоить, Oracle прислала лучших «архитекторов», — вспоминает собеседник Forbes.

Система продолжала сбоить, в частности крупный сбой случился 6 июня, когда клиенты банка три часа не могли ни расплатиться своими картами, ни снять с них деньги. По словам топ-менеджера, банк увидел проблему еще в ноябре 2011 года, тогда же стало понятно, что она может привести к серьезному падению. После этого было принято решение снизить мощность системы.

«Но хотелось запустить на полную мощность, и 27 июня 2012 года это случилось: мы опустили флажок, и все полетело так быстро, что мы не могли нарадоваться. А 6 июля все, что «летало», разбилось в один момент — за десять минут, мы даже не успели отреагировать», — вспоминает собеседник Forbes. Все настройки опять вернули к первоначальным, десять дней система проработала нормально, но на 11-й снова «упала».

Ошибку искали полгода и наконец нашли. Что это была за ошибка, Сбербанк не раскрывает, ссылаясь на соглашение с вендорами. Со слов менеджера банка известно лишь, что это был сбой в системе управления базами данных.