Что такое Big Data (Анализ Больших Данных)

2022. Big-Data стартап Rubbles привлёк $3 млн от МТС



Некоторые стартапы все еще умудряются получить инвестиции в России. Но для этого нужно создать действительно классный и востребованный продукт, и, желательно, стать прибыльным. Например, как Rubbles. Это стартап, который создал решение на базе искусственного интеллекта для анализа больших данных и оптимизации бизнес-процессов. Алгоритмы Rubbles уже работают в крупнейших банках, ритейл-сетях и промышленных предприятиях в России. Проект в 2014 году основали выходцы из Яндекса - Никита Блинов, Владислав Лисицкий и Александр Фонарёв (на фото). На запуск прототипа платформы они потратили 2 млн рублей из собственных средств. В прошлом году стартап привлёк $6 млн от «Эльбрус Капитал» и FinSight Ventures на создание новых продуктов и международную экспансию. Но из-за войны, международную экспансию отменили, и теперь стартап, видимо, будет работать под крылом МТС.


2019. Видео: как BigData и ИИ помогают провести теннисный турнир


Сегодня стартует US Open, и конечно, компания IBM не могла не воспользоваться этой возможностью, чтобы порадовать своих инвесторов новым видео о своих технологиях. US Open - это предприятие, которое работает 2 недели в году. Но на эти 2 недели ему нужен собственный дата-центр, чтобы обработать все запросы. К счастью, тут как тут оказывается компания IBM, которая предоставляет не только облако (вместо дата-центра), но и платформу для анализа информации: от определения аутов в теннисном матче до годовой статистики соперника, которая помогает теннисным тренерам подготовить своего подопечного с следующей игре. И конечно, ИИ помогает создать интересный контент для болельщиков, которые отправляют миллионы запросов в день на сайт US Open.


2019. Видео: зачем нужны большие данные для клиентских впечатлений


Чтобы обрабатывать большие данные, нужна большая система, такая, как у SAP. Поэтому SAP пропагандирует пользу от больших данных. Например, в этом видео управляющий директор SAP CIS Дмитрий Красюков рассказывает (для блондинок) как зарабатывать на клиентских впечатлениях и как создавать эти впечатления при помощи обработки данных.

2019. Salesforce купила Tableau. Обновленный Топ-10 сделок ИТ рынка



Salesforce за $15,3 млрд купила компанию Tableau, которая разрабатывает систему бизнес аналитики и визуализации данных. Это одна из крупнейших сделок в истории ИТ рынка, а обновленный рейтинг ИТ сделок теперь выглядит так: 1. Dell купила EMC за $67 млрд (2016). 2. IBM купила Red Hat за $34 млрд (2018). 3. Microsoft купила LinkedIn за $26 млрд (2016). 4. Broadcom купила CA Technologies за $18.9 млрд (2018). 5. Salesforce купила Tableau за $15.7 млрд (2019). 6. Oracle купил NetSuite за $9.3 млрд (2016). 7. SAP купил Qualtrics за $8 млрд (2018). 8. Microsoft купила GitHub за $7.5 млрд (2018). 9. Salesforce купила MuleSoft за $6.5 млрд (2018). 10. Adobe купила Marketo за $4.75 млрд (2018)


2018. Mail.ru запустила Big Data as a Service



Облачная платформа Mail.ru пополнилась сервисом для анализа больших данных Cloud Big Data, который базируется на фреймворках Apache Hadoop и Spark. Сервис будет полезен ритейлерам, финансовым организациям, которым нужно анализировать большие данные, но которые не хотят тратить много денег на собственные сервера. Mail.ru берет деньги только за фактическое время работы оборудования. Так, кластер Hadoop из 10 узлов обойдется клиенту в 39 руб. за один час работы. Напомним, в прошлом году МТС запустил такой же BigData-сервис Cloud МТС. Стоимость использования сервиса составляла от 5 тыс. руб. в месяц. Также, услуги по обработке больших данных предоставляет Яндекс.


2017. МТС запустила облачную платформу для обработки Big Data



Оператор МТС запустил услугу по облачной обработке больших данных для бизнеса в рамках своей облачной платформы #CloudМТС. Компании смогут работать с данными в программных средах Hadoop и Spark. Например, этот  облачный сервис поможет бизнесу таргетировать рекламу, собирать и обрабатывать открытые данные, проводить финансовую и бизнес-аналитику. Интернет-магазины смогут анализировать поведение клиентов, а затем предлагать готовые таргетированные предложения к разным событиям и праздникам. Сервис работает при помощи предустановленных инструментов расчета, однако есть возможность создать собственные алгоритмы обработки данных. Стоимость использования сервиса составляет от 5 тысяч рублей в месяц, цена изменяется в зависимости от пространства, занятого в облаке. Напомним, платформа #CloudМТС была создана в 2016 году. Сначала она предоставляла только услуги облачного хранения данных, а позже появилась и услуга облачных вычислений.


2016. Big Data прогноз на Олимпиаду в Рио



Уже скоро Big Data сервисы будут подсказывать вам, какие решения принимать для роста и обеспечения безопасности вашего бизнеса. Пока же они, в основном, тренируются на спортивных мероприятиях. Помните, недавно интеллектуальная платформа Microsoft спрогнозировала результаты Чемпионата Европы по футболу? Так вот, нифига она не угадала. На этот раз американская компания Gracenote, которая специализируется на обработке больших данных, просчитала наиболее вероятный вариант медального зачета Олимпиады в Рио. На картинке - прогноз, который был составлен за месяц до Олимпиады. Он постоянно обновляется. Текущая версия - здесь.


2016. Интеллектуальная платформа Microsoft спрогнозировала результаты Чемпионата Европы по футболу



У Microsoft (как у любого уважающего себя ИТ-гиганта) уже есть аналитическая платформа, основанная на обработке больших данных (Big Data) и искусственном интеллекте - Microsoft Cortana Intelligence Suite. На основании различных данных из ваших бизнес-систем, она может предсказать отток клиентов, поломки оборудования, изменение доходов и т.д. А сейчас, Microsoft дает нам возможность проверить, насколько точно работает эта платформа. Проанализировав футбольную историю, статистическую информацию о командах, результативности игроков, полученных травмах, а также комментарии фанатов в социальных сетях, она представила свой прогноз на Чемпионат Европы по футболу, который стартует сегодня. Итак, согласно прогнозу: в финале Германия победит Испанию с вероятностью 66%. А в стартовом матче Франция выиграет у Румынии с вероятностью 71%.


2016. SAP и Яндекс создают Big Data сервис для удержания клиентов



2 года назад Яндекс запустил сервис Yandex Data Factory, который предоставляет услуги обработки больших данных для бизнесов. Этот сервис уже помог таким компаниям как Билайн и Wargaming (Word of Tanks) избегать оттока клиентов. Он предсказывает периоды оттока на основании исторических данных и дает бизнесу возможность подготовиться и вовремя предложить какую-нибудь новую акцию. Теперь, видимо, эта технология Яндекс заинтересовала крупнейшего в мире игрока на корпоративном ИТ рынке - компанию SAP. Компании объединили усилия, чтобы разработать сервис для предсказания поведения клиентов. По мнению SAP и YDF, сервис будут использовать в ритейле, e-commerce, банках и телекоммуникациях. Говорят, сервис будет предназначен для среднего бизнеса, в том числе, и по цене.


2016. IBM создала СХД, которая определяет важность данных с помощью машинного обучения



В условиях переизбытка информации компании, использующие СХД сталкиваются с проблемой: как отделить важную информацию от тонн информационного мусора. Исследователи из цюрихского R&D-подразделения IBM представили когнитивную платформу хранения для больших данных, которая способна самостоятельно определить важность информации. Определение этих ключевых данных из всего массива информации происходит с помощью сложных алгоритмов, которые учитывают не только частоту доступа, уровень защиты, дату создания и т. п., но и следят за тем, как люди взаимодействуют с той или иной частью базы данных. При этом система может сама обнаруживать малоценную информацию и удалять ее или отправлять на дешевые второстепенные низкопроизводительные накопители.


2016. PROMT Analyser - морфологический анализатор Big Data



Компания PROMT выпустила PROMT Analyser — решение в области искусственного интеллекта для работы с большими данными в информационно-аналитических системах. Инструмент предназначен для поиска, извлечения, обобщения и структуризации информации из практически любого текстового контента на разных языках как в корпоративных системах, так и во внешних источниках.  Он анализирует любые тексты или документы, выделяет в них сущности (персоналии, организации, географические названия, геополитические сущности и др.), а также определяет соотносящиеся с этим сущностями действия, дату и место совершения действия, формирует целостный образ документа. PROMT Analyser позволяет решать самые разные задачи: анализ внутренних ресурсов компании (системы документооборота), анализ внешних ресурсов (медиа, блогосфера и пр.), анализ данных, получаемых из закрытых источников, для оценки критичности ситуаций, анализ деятельности объекта с привязкой к географии, а также оптимизация поисковых систем и служб поддержки.


2016. Mail.Ru поможет компаниям анализировать их данные



Mail.Ru стремится ни в чем не отставать от своего главного конкурента - Яндекса. Год назад Яндекс открыл сервис анализа больших данных для бизнеса. А теперь Mail.ru открыла Big Data направление для корпоративных клиентов. Прежде всего, оно будет заниматься проектами, направленными на повышение эффективности процессов маркетинга и продаж, оптимизации производства, логистики, управления рисками, планирования, управления персоналом и другие рабочие процессы различных бизнесов. Например, Mail.ru сможет создать модель прогнозирования оттока клиентов, отклика на предложения, прогноз реакции на обращение через определенный канал коммуникации. Это позволит сделать взаимодействие с потенциальным клиентом более персонифицированным. В Mail.ru заявляют, что компания занимается анализом данных фактически с момента основания и имеет собственные технологии машинного обучения.


2015. IBM станет ведущим провайдером прогноза погоды для бизнеса



Важна ли погода для бизнеса? Конечно, особенно, если ваш бизнес - это сельхоз предприятие, турфирма, кафе, солнечная электростанция или магазин одежды. Погода влияет на стабильность поставок, выбор ассортимента и активность продаж. В таком случае, каждая уважающая себя система бизнес-аналитики должна учитывать прогноз погоды. Так подумали в IBM и купили крупнейшую в мире метеослужбу The Weather Company. IBM планирует скормить данные из трех миллиардов прогнозных референсных точек своему суперкомпьютеру Watson и совершить переворот в прогнозировании погоды. Кроме того, они планируют создать платформу, которая позволит сторонним бизнес-приложениям использовать информацию о погоде за некоторую плату.


2015. Видео: как использовать Big Data для привлечения талантливых сотрудников


Вы все еще сомневаетесь, что Big Data - это полезно для бизнеса? Тогда посмотрите этот ролик о том, как Билайн привлекает новых талантливых работников с помощью Big Data. В начале сентября по Москве курсировало такое Big Data Taxi в виде автомобиля Tesla. По словам представителя Билайн, кроме помощи в привлечении новых талантов, технологии Big Data позволяют компании решать самые разные задачи. Начиная от таких простых и тривиальных, как «найди всех тех, кто пользуется SIM, купленной по чужому паспорту», и заканчивая - «определи возраст абонента по совокупности показателей».


2015. Google запустил онлайн Big Data сервис Cloud Dataproc



В дополнение к своим услугам в области больших данных, компания Google запускает новый сервис для управления большими данными на своей облачной платформе Google Cloud Platform. Он позволяет использовать движки обработки больших данных Spark или Hadoop прямо в облаке. По утверждению компании, пользователи сервиса смогут запустить кластер Hadoop за 90 секунд. Эта цифра существенно превышает возможности других сервисов. При этом Google будет брать только 0,01 доллара за час работы виртуального процессора в кластере. Эта стоимость будет добавляться к обычной стоимости работы с виртуальными машинами и хранения данных. Поскольку сервис Dataproc позволяет разворачивать кластеры так быстро, пользователи смогут использовать их по мере необходимости, а не держать в рабочем состоянии постоянно.


2015. Microsoft представила говорящую Big Data платформу


Технологии Big Data обещают компаниям волшебную оптимизацию бизнес процессов, например: у вас всегда будет нужное количество товара в нужном месте, в нужное время. Но те компании, которые уже попробовали Big Data говорят: на практике это не работает. Существующие Big Data системы предназначены для аналитиков, а обычному сотруднику, который должен принять решение здесь и сейчас, они не помогают. Поэтому, в Microsoft решили выпустить Big Data платформу с человеческим лицом (точнее - голосом) - Cortana Analytics Suite. Она основана на облачной платформе Azure и использует голосового помощника Cortana в качестве интерфейса. Предполагается, что с помощью визуального конструктора любой начальник департамента сможет создавать мини-приложения, обрабатывающие большие объемы данных, а любой сотрудник - сможет спрашивать у Кортаны и получать нужную информацию в нужное время, в нужном месте.


2015. Видео: Что такое Big Data и кому это нужно?


Российский стартап CleverData позиционируется как Big Data-интегратор. Они реализуют проекты для решения конкретных бизнес-задач с использованием Big Data платформ и технологий. На видео генеральный директор CleverData Денис Афанасьев интересно рассказывает о том, что такое Big Data и откуда эти большие данные появились. Оказывается, технологии обработки больших данных существуют уже не один десяток лет, но причина появления маркетингового термина Big Data в том, что (благодаря облачным вычислениям) снизилась их стоимость, и они стали доступными малым-средним компаниям. По словам Дениса, чаще всего Big Data применяется для маркетинга (сегментация клиентской базой, онлайн реклама), ит безопасности (выявление мошенничества, прогнозирование поломок), риск менеджмента (оценка кредитоспособности клиентов).


2015. SAP представил Next Big Thing - ERP-систему S/4HANA



Первая ERP система SAP называлась R/2 и работала на мейнфреймах. Потом был R/3. В 2004 году появился SAP Business Suite. На днях SAP представил (как они говорят) самый главный продукт в своей истории - новую версию S4/HANA. При ее создании разработчики думали не о том, как утереть нос извечному конкуренту Oracle, а о том, как не дать себя обставить агрессивным SaaS-провайдерам Salesforce и Workday. Поэтому S4 сможет работать как локально, так и в облаке. Главная фишка системы - скорость. Как следует из названия, в основе S4 лежит ведущая Big-Data платформа SAP HANA, которая позволяет обрабатывать очень большие данные за секунды. Вторая главная фишка - интерфейс. Забудьте о сложных таблицах и меню, в которых без бутылки не разобраться. SAP хочет, чтобы новой мощной системой можно было управлять с помощью смартфона. Для работы с SAP можно будет использовать как минимум 25 простых приложений SAP Fiori.


2014. Яндекс открыл Big Data сервис для бизнеса



Яндекс запустил проект Yandex Data Factory, который будет предоставлять услуги обработки больших данных для бизнесов. Для этого он использует технологию машинного обучения Матрикснет, которую Яндекс разработал для ранжирования сайтов в своей поисковой системе. Заявляется, что Яндекс планирует стать конкурентом таким компаниям, как SAP AG и Microsoft. На данный момент специалисты Yandex Data Factory реализовали несколько пилотных проектов с европейскими компаниями. В частности искусственный интеллект Яндекса использовался компанией, обслуживающей линии электропередач, для прогнозирования поломок, банком - для таргетирования заемщиков, автодорожным агентством для прогнозирования пробок на дорогах. Кроме того, оказывается Яндекс обрабатывает данные, полученные из знаменитого адронного коллайдера в центре CERN.


2014. Google финансирует стартап, разрабатывающий ИИ для анализа больших данных



Стартап Automatic Statistician, который позиционирует себя, как разработчик ИИ для научных данных, получил от Гугла премию Google Focused Research Award в $750,000. Стартап основан профессором Кэмбриджа, Зоубином Гахрамани (на фото), и находится на совсем ранней стадии. Его специализации - находить зависимости и строить модели из больших массивом входящих данных с помощью машинного обучения. В результате система выдает понятные графики и сопроводительный текст, описывающий найденные зависимости на естественном языке.


2014. Microsoft поможет Мадридскому Реалу выигрывать с помощью Big Data



От добра добра не ищут. Мадридский Реал довольно хорошо играет в последнее время и добивается высоких результатов. Однако, лавры сборной Германии, выигравшей чемпионат мира с помощью Big Data не дают покоя президенту мадридского клуба Флорентино Пересу (крайний слева на фото). Поэтому он заключил контракт с Microsoft на сумму $30 млн, в рамках которого будет создана современная ИТ инфраструктура клуба. Тренерский состав и игроки Реала получат планшеты Surface Pro 3 с предустановленными приложениями Office 365 для более тесного взаимодействия персонала. А используя аналитические инструменты Power BI for Office 365, тренеры команды смогут изучать эффективность игры футболистов, определять долгосрочные тенденции и даже предсказывать травмы.


2014. 1С-Битрикс запустил сервис Big Data


Big Data - технологии для обработки очень больших объемов данных с целью получения простых и полезных для бизнеса результатов - это один из главных новых трендов ИТ рынка. А сервис 1С-Битрикс BigData - это пожалуй, первый отечественный сервис, основанный на этой технологии. Первым применением этого искусственного интеллекта станет оптимизация (персонализация) интернет-магазинов на движке Битрикс под каждого нового посетителя. На основе анализа большого количества данных о всех прошлых посетителях, сервис сможет предсказывать поведение нового посетителя на сайте, выделять похожих на него клиентов, и делать ему персонализированные предложения на основе истории покупок других клиентов. Вероятно, скоро можно будет ожидать Big Data функции и в системе управления бизнесом Битрикс24.


2014. SAP: Сборная Германии выиграла Чемпионат Мира благодаря Big Data


Недавно, в прошлом году, яхта Oracle выиграла Кубок Америки, и тогда в Oracle сказали, что эта победа произошла во многом благодаря системе анализа больших данных (Big Data) в облаке Oracle. Теперь настало время извечного конкурента Oracle - немецкой компании SAP ответить на этот PR-ход. Оказалось, что сборная Германии выиграла Чемпионат Мира по футболу тоже благодаря Big Data. В SAP разработали систему Match Insights, которая считывает футбольный матч в 3-х мерную цифровую модель и анализирует действия каждого игрока и команды в целом. Анализировались не только матчи собственной сборной (чтобы исправить ошибки и улучшить эффективность), но и матчи конкурентов. Искусственный интеллект находил слабые места соперников и помогал команде подготовиться к матчу. А мораль этой басни такова: Представьте, что Big Data может сделать для вашего бизнеса.


2014. КРОК запустил облачное решение класса Business Intelligence



Системный интегратор Крок запустил сервис бизнес-аналитики с говорящим названием "Business Intelligence as a Service" или BIaaS. Решение рассчитано на крупные организации, заинтересованные в снижении капитальных затрат и ускорении принятия управленческих решений. Система построена на продукте EMC Greenplum и представляет собой решение уровня Big Data. С помощью этого инструмента можно анализировать и сравнивать большие объемы информации, выстраивать ключевые показатели и принимать бизнес-решения, минуя стадию капитальных затрат на приобретение софта, лицензий и возможную модернизацию инфраструктуры. Решение позволяет реализовать три возможных сценария работы с данными — аналитика для ритейла, анализ показателей работы контакт-центра, а также оценка управленческой деятельности организации на соответствие KPI.


2013. SAP делает большие бизнесы эффективными с помощью Big Data. Конкуренты плачут


В последние годы SAP проявлял себя, как наименее инновационная ИТ компания (по сравнению с конкурентами Oracle, Microsoft, IBM). Все собственные инновационные проекты SAP в основном проваливались (вспомните Business ByDesign), и единственное, что получалось у SAP - это покупать другие компании (SuccessFactors, SyBase, Ariba). Но на этот раз SAP, похоже, решил утереть нос конкурентам. И сделает он это за счет новой модной технологии Big Data. Что это такое? ***