Рейтинг ипотечных кредитов

Рейтинг ипотечных кредитов
Эксклюзивное исследование Банки.ру — ноябрь, 2016

Диалектика развития систем хранения данных

19.09.2012 10:58 12 4 756 просмотров
История развития информационных технологий тесно связана с развитием систем хранения данных. Каждый этап этого развития характеризуется своими достижениями и ограничениями. В самом начале зарождения вычислительной техники борьба производителей велась за уменьшение стоимости. Когда стоимость устройств хранения данных стала достаточно низкой для возможности массового предложения пользователям, борьба производителей оборудования перешла в другую стадию – бороться стали за допустимые объёмы сохраняемой информации. Затем стали бороться за скорость записи и доступа к сохранённой информации. В этой борьбе в основном принимали участие производители оборудования. Предлагались самые различные решения: на магнитных и на оптических носителях, на дисках и на лентах, на гибких дискетах и на жёстких дисках. Когда техническое развитие стало замедляться, к разработкам систем хранения присоединились производители программного обеспечения. Существовавшие долгое время 16-, а позже 32-битные операционные системы, которые имели ограничение на размер логического диска и файла. Для работы с большими объёмами данных приходилось применять дополнительные технологические решения. Например, записывать информацию в несколько отдельных файлов и даже размещать их на различных физических носителях. Была разработана технология раздельного хранения.

Со временем увеличивались объёмы и сроки хранения информации, вместе с этим менялся и тип информации. Стали хранить аудио записи телефонных разговоров, данные с камер видеонаблюдения и т.д. Узким местом в процессе работы с информацией стало время доступа к данным, особенно к неструктурированным и имеющим большой объем. Последние несколько лет усилия основных игроков на рынке систем хранения и обработки данных направлены на его сокращение. Обеспечить наивысшую производительность доступа к хранимой информации не возможно только за счёт одних технических или программных решений. Для обеспечения конкурентных преимуществ потребовалась глубокая взаимная оптимизация программного обеспечения и аппаратной составляющей, собственно оборудования. Это привело к ряду слияний производителей оборудования и компаний - разработчиков программного обеспечения. Наиболее крупным событием стало объединение Oracle и SUN Microsystems, в результате чего компания Oracle существенно укрепила свои позиции на рынке. Другой пример аналогичного укрупнения – это покупка компанией EMC разработчика специализированного программного обеспечения для работы с большими объёмами баз данных Greenplum Database. Аналогичную покупку сделала компания HP, приобретя Vertica и Autonomy. Компания IBM постоянно занимается развитием собственных аппаратных и программных платформ, что позволяет ей оставаться одним из основных лидеров в решениях СХД.

Разработки в области хранения и работы с большими объёмами данных в первую очередь выполнялись в интересах силовых ведомств и телекоммуникационных компаний. По мере развития бизнеса в других областях (государственное управление, финансовый сектор и др.), предлагаемые решения стали интересны большему числу заказчиков. Сегодня они востребованы на крупных торговых биржах, а также в розничных и универсальных банках. На пути внедрения систем для работы с большими объёмами данных существует одна большая сложность, сопоставимая по размерам с тем объёмом данных, которые хранятся в этих системах. У большинства банков уже имеются решения для работы с относительно большим объёмом информации. Эти решения уже хорошо интегрированы в общую ИТ-архитектуру. Отказаться от их использования и перейти на абсолютно новый продукт – технологически сложная задача, реализация которой сопровождается рисками нарушения штатной работы информационных систем. В этом случае логичным шагом является миграция ИТ-систем на оборудование, которое предлагается производителем уже эксплуатируемого в банке продукта. Сейчас на отечественном финансовом рынке представлено несколько поставщиков таких решений. Это – EMC, IBM, HDS, HP и, конечно, ORACLE. Ещё одним крупным игроком на рынке решений для финансовых учреждений является производитель программного обеспечения Microsoft. Изначально его решения позиционировались как продукты, предназначенные для малого и среднего бизнеса, но компания динамично развивается. Для меня не будет удивительным, если в ближайшее время Microsoft предложит своё собственное решение для хранения и обработки большого объёма информации. Возможно, для этого потребуется ещё одна сделка по слиянию.

Соглашусь с мнением Луиджи Фрегуйя, старшего вице-президента по аппаратному обеспечению Oracle в регионе EMEA. Он считает, что борьба с “большими данными” станет самой большой ИТ-задачей для компаний в ближайшие два года. К концу этого периода они либо справятся с ней, либо значительно отстанут в бизнесе и будут далеки от возможностей “больших данных”.

К сожалению, решения производителей оборудования и разработчиков ПО существуют отдельно друг от друга. В частности, производители банковского программного обеспечения не заинтересованы в тестировании своих продуктов на оборудовании, предназначенном для больших данных. Видимо они полагают, что работа с большими данными не входит в ближайшие планы отечественных финансовых организаций. А без сертификации производителя, у банков, нет уверенности в стабильном функционировании всего используемого ими функционала. Для того чтобы продвинуться в решении этой проблемы мы предлагаем провести совместные работы. Банк формулирует задачу и выделяет необходимые ресурсы (место для размещения оборудования, администраторов для выполнения работ и др.). «Техносерв» предоставляет оборудование для проведения работ. Производитель софта, совместно с нашими специалистами, проводит работы по сертификации аппаратно-программного комплекса на предмет его соответствия заявляемым требованиям. Это поможет банкам прояснить вопрос совместимости оборудования для “больших данных” и используемого специализированного ПО. «Техносерв» длительное время занимается реализацией проектов, связанных с «большими данными» в телекоммуникационном секторе, где объёмы информации измеряются сотнями терабайт. Мы понимаем важность проблем, которые уже сегодня стоят перед некоторыми банками или проявятся у них в ближайшее время. Свои знания и свой опыт мы активно используем в проектах для наших заказчиков из финансового сектора. «Техносервом» разработано и успешно внедряется собственное специальное решение, предназначенное для автоматизации процесса розничного кредитования. Мы предлагаем комплексное аппаратно-программное решение. Его уникальность заключается в том, что при относительно невысокой стоимости банк получает мощный инструмент для хранения колоссального объёма данных, быстрого поиска и доступа к информации самого различного типа, в том числе и графического. Решение консолидирует все данные по всем розничным клиентам банка. Внедрение этого решения позволило нашему заказчику реализовать централизованное хранение информации и при этом обеспечить к ней доступ по всем, даже самым низко производительным каналам. Выполненная нашими специалистами грамотная интеграция продукта с используемыми в банке учётными системами позволяет использовать его как основу для глобального электронного архива. Коробочным это решение назвать нельзя: у каждого заказчика свои потребности и особенности, которые не могут быть учтены в коробочном решении. Однако высокая степень готовности продукта позволяет нам подбирать для каждого конкретного случая наиболее оптимальный вариант, который принимается и утверждается заказчиком.

Учитывая те изменения, которые происходят в отечественном законодательстве, можно уверенно сказать, что электронные архивы и «большие данные» в ближайшем будущем будут такой же обычной вещью, как электронная почта или корпоративное хранилище данных. Предлагаю изживать «детские болезни» «больших данных» совместно.

Комментарии 12

Alex  (BankCoda)
#
Да, большими данными сегодня многие интересуются.
"Рост объема и уровня сложности данных будет одним из основных факторов развития рынка, поэтому стоит ожидать значительного прогресса в области аналитики BigData", – считает Валерий Корниенко (руководитель по стратегическому развитию сервисного бизнеса IBM в России).
Но на мой взгляд эта тема достаточно специфична для широкого использования.
Александр Горшков  (technoserv)
#
Интерес неподкреплённый конкретными результатами остаётся всего лишь интересом.
Мы предлагаем "пощупать" эти "большие данные" и уже по конкретным результатам принимать решение.
Возможно банку не требуются эти решения, возможно они не позволят достичь желаемого результата.
Но на текущий момент это можно будет определить только по результатам фактического сравнения.
A A  (NC_)
#
Немного неожиданное окончание статьи.
Надо было больше раскрыть тему больших данных.
По данным IDC, ежегодно объемы хранимой информации вырастают на 40%.
А по мнению Gartner: через 4 года банки перестанут справляться с big data.
Процесс не остановит:)
Михаил  (mih@)
#
Цитата
По данным IDC, ежегодно объемы хранимой информации вырастают на 40%. А по мнению Gartner: через 4 года банки перестанут справляться с big data.

Где вырастают?! Какие банки перестанут справляться?!
В РФ проводились у такие исследования?!
Российские банки неохотно верят в большие данные, по крайней мере, сейчас, имхо. С текущими наплывами данных, вроде как справляются и вкладывать миллионы никто вроде не собирается. Ну может Сбербанк, если только.
В данном случае, росс. банки и крупные компанни надо другим убеждать: и далеко ни Гартнером, при всем моем к нему уважении.
Наверное самым убедительным будет провести обследование и анализ, конкретного банка, где как раз и будет Обоснованно показано, когда данные "перельются" из существующих ресурсов, и скорость обработки данных упадет до минимальных значений. имхо!
Александр Горшков  (technoserv)
#
Именно это мы и делаем.
Предлагаем провести моделирование на реальном оборудование.
Отчёт готовим честный, с теми данными, что получаются.
А выводы банк делает самостоятельно.
Кто лучше сотрудников банка знает свои планы развития? smile:)
Александр Горшков  (technoserv)
#
Именно это мы и делаем.
Предлагаем провести моделирование на реальном оборудование.
Отчёт готовим честный, с теми данными, что получаются.
А выводы банк делает самостоятельно.
Кто лучше сотрудников банка знает свои планы развития? smile:)
Александр Горшков  (technoserv)
#
В мире вычислительной техники всё меняется так быстро, что не успеваешь что-то сказать, как это уже устарело.
"Большие данные", "облака", мне видится, что это перспективные направления для 2013-2014 годов.
Новые продукты появляются с поразительной быстротой.
VCE предлагает свое решение, которое сертифицировано по PCI DSS.
Hitachi Data Systems анонсировала новую платформу Hitachi Unified Storage VM (HUS VM) которая позволяет на 90% ускорить миграцию данных и на 30% сократить совокупную стоимость владения (TCO) по сравнению с системами без виртуализации.
Она упрощает процесс эксплуатации и позволяет более эффективно управлять как внутренними ресурсами, так и всеми виртуализированными системами хранения данных, включая системы хранения сторонних производителей.
Но моя задача была не рассказать о всех новых решениях, а предложить помощь в проработке решений использования больших данных в текущей работе.
NiSanTo  (NiSanTo)
#
SAP так же предлагает собственное решение для работы с большими данными HANA (High-Performance Analytics Appliance).
Можно что-то сказать про это?
Александр Горшков  (technoserv)
#
Решение интересное.
Сейчас у нас запланированы работы по его тестированию.
Если это действительно интересно, то можно обсудить вопрос организации таких работ на Вашей территории.
Александр Горшков  (technoserv)
#
Сегодня на CNews опубликован обзор "Банки стоят на пороге нового витка развития хранилищ данных" http://banks.cnews.ru/reviews/index.shtml?2012/10/10/506156, в котором приводятся примеры реализации проектов "больших данных" в отечественных банках.
Alex  (BankCoda)
#
cNews опубликовал информацию об отчете аналитиков американской компании Gartner.
В ней говорится, что "сегодня интерес к BigData проявляют, в частности, участники телеком-рынка и компании банковского сектора".
Имея опыт реализации решений в обоих секторах, на мой взгляд позволит компаниям повысить качество реализуемых проектов в области внедрения таких решений.
Комментарии и отзывы могут оставлять только зарегистрированные пользователи.
Авторизуйтесь или зарегистрируйтесь.

Популярные сообщения

FINAL CALL 11/16
15 ноября вышли данные по исполнению федерального бюджета за очередной месяц — октябрь. 1. В апреле — августе 2016 года из Резервного фонда изъяли
0
Как вернуть «тетрадочный» вклад?
Короткий ответ: показать документы о вкладе в банке-агенте. Длинный ответ. Наверное, уже практически все вкладчики знают, что во многих банках с
6
Почему опасно оплачивать покупку в инетмагазине переводом на кошелек ЯД?
Почему опасно оплачивать покупку в инетмагазине переводом на кошелек ЯД? 1. Сервисы ЯД (Яндекс Деньги) очень удобны для мошенников, так как ЯД зарабатывают
10
Меркурий в Стрельце
Меркурий вошел в Знак Зодиака Стрелец и проходит здесь до 03 декабря. Что же интересного нам принесет этот транзит? Людей в это время отличает свобода
0
Рынок нефти 1 декабря
ОПЕК после почти годичных переговоров и восьми лет перерыва приняла решение о сокращении добычи нефти. Отдельным успехом для рынка в целом и картеля в
0

Новые сообщения

  • Рынок нефти 1 декабря
    ОПЕК после почти годичных переговоров и восьми лет перерыва приняла решение о сокращении добычи нефти. Отдельным успехом для рынка в целом и картеля в
  • FINAL CALL 11/16
    15 ноября вышли данные по исполнению федерального бюджета за очередной месяц — октябрь. 1. В апреле — августе 2016 года из Резервного фонда изъяли
  • Рынок нефти 30 ноября
    Рынок в ожидании решения ОПЕК. Сегодня должна быть поставлена точка в многомесячных и весьма непростых переговорах о потенциальном ограничении на нефтяном
  • Рынок нефти 29 ноября
    Над нефтяным рынком нарастает неопределенность, новостной фон концентрируется исключительно на предстоящем заседании ОПЕК. По итогам прошедших технических
  • Венера в Козероге
    Венера вошла в Знак Зодиака Козерог и пробудет здесь до 09 декабря. Вместо иллюзий и идеализма приходят сдержанность в проявлении чувств, строгость оценок