St.Petersburg, Russia
November 14–15, 2019|Санкт-Петербург
14–15 ноября 2019

Talks & master-classes|Доклады и мастер-классы

Introduction to Big Data. Overview for the Apache Hadoop ecosystem with examples of storing, processing and analyzing large volumes of data|Введение в Big Data. Обзор возможностей экосистемы Apache Hadoop на примерах задач хранения, обработки и анализа больших объёмов данных

  • Data Science, Big Data
  • Accepted|Принят

November 14, 12:00|14 ноября, 12:00
Room V|V зал
Add to gCal|Добавить в gCal    Add to iCal/Outlook|Добавить в iCal/Outlook

[lang_en]

Introduction to Big Data. Overview of data sources. Approaches to data integration. Data quality problem. Types of processing and scaling. Organizational and methodological problems of creating a corporate data warehouse. The concept and architecture of Apache Hadoop. Hadoop cluster management. Mastering the main components of Hadoop: Cloudera Manager, HDFS, YARN, Oozie, HUE, Pig, HCatalog, Hive, Impala. Creating and launching analytical applications using the MapReduce and Spark Frameworks taking IDE Eclipse, pyspark, spark-shell, Cloudera Workbench Manager and programming languages Java, Python, Scala.

[/lang_en][lang_ru]

Введение в Big Data. Обзор источников данных, подходы к интеграции данных, проблемы качества данных, виды обработки и масштабирования, аналитические методы и средства. Организационно-методические проблемы создания корпоративного хранилища данных. Концепция и архитектура Apache Hadoop. Управление кластером Hadoop. Знакомство с основными компонентами Hadoop: Cloudera Manager, HDFS, YARN, Oozie, HUE, Pig, HCatalog, Hive, Impala. Разработка и запуск аналитических приложений с использованием фреймворков MapReduce и Spark с применением IDE Eclipse, pyspark, spark-shell, Cloudera Workbench Manager и языков программирования Java, Python, Scala.

Слушатели могут заранее установить ПО и следовать за ведущим:

[/lang_ru]

Mikhail Belov, Dubna State University photo|фото Михаил Белов, университет “Дубна”

Mikhail Belov|Михаил Белов

PhD|кандидат наук, Dubna State University|Государственный университет «Дубна»

[lang_en]

Scientific Director of the master’s degree program «Business Analytics and Big Data Systems», associate professor

Mikhail Belov is an expert and empirical scientist in the field of information technology, he leads and successfully performs scientific guidance of the Master’s degree program «Business Analytics and Big Data Systems» whose graduates are highly demanded not only in high tech industry, but also in leading research organizations including the Joint Institute for Nuclear Research (JINR), the European Organization for Nuclear Research (CERN) and etc. For over 18 years, he has been teaching classes on the master’s level and MBA at Dubna State University, HSE, MEI; under his leadership, written over 200 bachelor and master’s works. As director of telecommunication center (CTO), he developed the IT infrastructure of Plekhanov Russian University of Economics. He was the first ever in Russia to create and implement a virtual computer lab based on the principles of entropy and self-organization. Played a leading role in the formation and development of a scientific school for the practical training of IT professionals while enabling remote development and adoption of multicomponent information systems using cloud computing technologies.

Founder and Developer of Dictutor. It is a project, whose purpose is to improve foreign language acquisition and partially reduce the level of digital inequality in educational technologies in more than 100 countries around the world.

[/lang_en][lang_ru]

Научный руководитель магистерской программы «Бизнес-аналитика и системы больших данных», ИТ-преподаватель

Михаил Белов является экспертом и учёным-практиком в области информационных технологий, руководит и успешно развивает направление «Бизнес-аналитика и системы больших данных», выпускники которого высоко востребованы не только в ИТ компаниях, но и в ведущих научно-исследовательских организациях, в число которых входит Объединенный Институт ядерных исследований (JINR), Европейская организация по ядерным исследованиям (CERN) и др. Более 18 лет занимается преподавательской работой в магистратуре и MBA в Государственном университете «Дубна», НИУ ВШЭ, МЭИ; под его руководством написано более 200 бакалаврских и магистерских работ. В качестве директора Центра Телекоммуникаций развивал ИТ-инфраструктуру РЭА им. Г.В. Плеханова. Первым в России создал и внедрил виртуальную компьютерную лабораторию, основанную на принципах энтропии и самоорганизации. Сыграл ведущую роль в становлении и развитии научной школы по практической подготовке ИТ-специалистов с предоставлением возможности удалённого развёртывания и использования мультикомпонентных информационных систем и интегрированных сред разработки программного обеспечения с применением облачных технологий.

Основатель и разработчик Dictutor, некоммерческого проекта, целью которого является повышение продуктивности изучения иностранных языков и частичное снижение уровня цифрового неравенства в образовательных технологиях более чем в 100 странах мира.

[/lang_ru]