Теория Больших Данных

0
61
Big Data
Big Data

Феномен «Big Data» на слуху уже не первый год, но он продолжает активно обсуждаться в профессиональной и бизнес-среде. За время существования «Больших Данных» некоторые успели в них разочароваться, другим же они позволили заработать миллионы. «Пражский Телеграф» разбирался в том, являются ли Большие Данные новой мечтой об IT-Граале, который решит, спасёт, защитит мир и виртуальное пространство или это очередная антиутопия.

Что такое Big Data?

Термин «Большие Данные» впервые использовал Клиффорд Линч, редактор журнала Nature. К 3 сентября 2008 года он подготовил специальный номер журнала на тему «Как могут повлиять на будущее науки технологии, открывающие возможности работы с большими объёмами данных?», в котором были собраны материалы о феномене взрывного роста объёмов и многообразия обрабатываемых данных. Используемый сначала в академической среде, термин позже прижился в деловой прессе, а в 2010 году уже появились первые продукты и решения для работы с Big Data.

Учёные определили несколько характеристик, соответствие которым позволяет относить данные к категории больших. Речь идёт о «три V»: volume, velocity, variety.

Объём (Volume) – накопленная база данных (БД) является слишком большой для обработки и хранения традиционными способами.

Скорость (Velocity) – скорость накопления и обработки данных превышает возможности типичных БД по занесению, хранению, управлению и анализу информации на экстремальном пределе практичности.

Многообразие (Variety) – наличие возможности параллельной обработки структурированных и неструктурированных данных.

На основании этих критериев классификация объёмов данных представляется следующим образом:

  • Большие наборы данных: от 1000 мегабайт (1 гигабайт) до сотен гигабайт
  • Огромные наборы данных: от 1000 гигабайт (1 терабайт) до нескольких терабайт
  • Big Data: от нескольких терабайт до сотен терабайт
  • Extremely Big Data: от 1000 до 10000 терабайт = от 1 до 10 петабайт.

 Почему данные стали большими?

Поток данных увеличивается вместе с тем, как цифровые технологии всё глубже проникают в жизнь человека. При этом отправной точкой для проникновения Big Data во все сферы деятельности современного общества стало массовое распространение новых устройств и гаджетов.

По последним данным, объём имеющейся информации в цифровой вселенной растёт в арифметической прогрессии, удваиваясь каждые 1,2 года. Только в одном Twitter формируется почти 100 млн. коротких сообщений в сутки. А, к примеру, Национальная администрация океана и атмосферы США формирует более 30 петабайт данных в год.

В отчёте компании IDC Digital Universe говорится, что к 2020 году в мире будет храниться более 35 триллионов гигабайт. Это означает, что на каждого жителя Земли, включая стариков и детей, будет приходиться 5200 ГБ данных.

Сферы применения Больших Данных

Большие Данные получили широкое распространение в тех областях, где актуальна работа с качественно большими объёмами данных: экономике, банковской деятельности, производстве, маркетинге, телекоммуникациях, веб-аналитике, медицине и др. Большинство компаний используют Большие Данные в сфере клиентского сервиса, второе по популярности направление – операционная эффективность. Приведём несколько примеров применения Big Data в народном хозяйстве.

Ритейл: в сфере розничной торговли концепция Больших Данных используется при обработке информации о функционировании компании. Речь идёт об управлении запасами, поставками товара, его хранении и продаж, оптимизации затрат, подготовке отчётности и т.д.

Финансовые услуги: чаще всего Big Data применяется при изучении кредитоспособности заёмщика, при кредитном скоринге и андеррайтинге.

Телеком: операторам сотовой связи использование данной концепции позволяет расширять абонентскую базу, повышать эффективность своей работы и привлекательность продукта, а также бороться с мошенничеством.

Промышленность: Большие Данные используются в рамках добычи полезных ископаемых, при их переработке и сбыте, отслеживании графиков капитального ремонта, состояния оборудования, прогнозировании спроса и цены товара.

Критика Big Data

На сегодняшний день технологии Больших Данных чаще всего внедряются в компаниях США, но и в других странах мира начали проявлять интерес к Big Data. Например, российская компания Росатом запустила в 2014 году несколько тестовых проектов по переходу на технологию SAP HANA (высокопроизводительная платформа для хранения и обработки данных).

Однако не всегда хранение Big Data приводит к выгодному понимаю реальности. Например, достоверный список потенциальных покупателей товаров, наряду с демографической информацией и информацией о чистой стоимости товаров, может оказаться гораздо полезнее, чем огромная БД с данным о количестве посещений интернет-сайта компании. Некоторые эксперты даже сравнивают Big Data с кораблём, тянущим за собой гигантскую сеть и собирающим всё, что в неё попадает.

Это подтверждают и результаты различных исследований. В частности, в ходе опроса Cisco Connected World Technology Report, проведённого в 18 странах независимой аналитической компанией InsightExpress, лишь 28 процентов респондентов заявили, что получили реальные преимущества от накопленной информации и использования технологий Big Data.

Текущее состояние мирового рынка Больших Данных

Количество компаний с реализованными проектами в сфере управления Большими Данными увеличилось за 2014 год на 125%, а объём рынка вырос на 45%. Все без исключения вендоры на рынке управления данными сегодня ведут разработку технологий для менеджмента Big Data.

Этот тренд подтверждается недавними крупными сделками. Например, в конце апреля платформа Big Data компании Cloudera привлекла 900 млн долларов инвестиций, а подобная платформа InsideSales.com – более 100 млн.

По прогнозам Wikibon, объём рынка Big Data вырастет в 2015 году до 38,4 млрд долл. США и увеличится по сравнению с предыдущим годом на 36%. Несмотря на то, что в ближайшие годы будет наблюдаться спад темпов роста до 10%, ёмкость рынка в 2020 году составит 68,7 млрд долл. США.

«Новые технологии работы с большими данными открывают огромные возможности практически во всех сферах жизни общества. Всё чаще к нам обращаются государственные, коммерческие и некоммерческие организации, которым мы помогаем в применении больших данных для быстрого и эффективного решения различных задач. Уже хорошо заметно, что те организации, которые не боятся и первыми начинают применять сервисы, использующие технологии анализа больших данных, получают конкурентные преимущества на своих рынках», — объясняет популярность Big Data Роман Постников, директор по сегментному маркетингу и клиентской аналитике ОАО «МегаФон».

Согласны с ним и в международной консалтинговой компании McKinsey&Company: «Big data имеют более чем достаточный потенциал, чтобы полностью изменить ситуацию в современной экономике. Мы ожидаем, что платформа Больших Данных станет ключевым фактором конкуренции на рынке. Но для того, чтобы IT-компании сумели полноценно воспользоваться всеми возможностями Big Data, нам ещё потребуется разрешить некоторые трудности. В связи с этим в обозримой перспективе инструменты для работы с гигантскими массивами информации всё ещё будут оставаться чрезмерно сложными и дорогими, а значит доступными только крупнейшим мировым корпорациям».

Кашапов Тимур

Фото: twitter.com

Опубликовано в газете «Пражский телеграф» №19/312

Подпишитесь на нашу рассылку и присоединяйтесь к 140 остальным подписчикам.
Производитель спецкабелей Kabex - Пражский Телеграф data-lazy-src=
Предыдущая статьяСтавка на состоятельных
Следующая статьяКаникулы в протекторате

ОСТАВЬТЕ ОТВЕТ

Введите Ваш Комментарий
Введите Ваше Имя