Course of Big Data for Data Engineers
Интенсивный курс

Big Data for Data Engineers

Старт 20 мар 2018, 19:00 - 21:00, Вт/Чт
Digital October, Москва

Практический курс по большим данным.

Практический курс по большим данным.
Билетов не осталось
Все билеты куплены, но вы можете оставить заявку на следующий курс.
Мы свяжемся с вами когда будет известна дата начала
Все мероприятия
Big Data for Data Engineers
Наверх
Наверх Записаться

Описание

В рамках этого курса вы получите все необходимые навыки эффективного хранения и обработки больших данных.

Экспоненциальный рост данных в современном мире заставляет применять все более сложные инструменты для работы с ними.
Спрос на специалистов в области Big Data (более точно Data Engineers) на международном рынке более чем в 5 раз превышает спрос на специалистов анализа данных (Data Scientist).

Что вы узнаете?

— Получите хорошее понимание экосистемы Hadoop
— Разберетесь в деталях каким образом работает MapReduce и каким образом можно оптимизировать распределенные вычисления
— Узнаете про тонкости хранения данных для оптимизации вычислений в высокоуровневых инструментах типа Hive
— Узнаете что такое Resilient Distributed Dataset (RDD), а также познакомитесь с более высокоуровневым API (Spark SQL, Spark Dataframe).

Чему вы научитесь?

— Оценивать стоимость хранения и обработки данных
— Выбирать технологии Big Data для решения конкретной задачи
— Научитесь пользоваться распределенной файловой системой (HDFS)
— Научитесь пользоваться Apache Spark
— Научитесь строить сервисы, использующие результаты обработки больших объемов данных
Следите за новостями в соц.сетях
#binarydistrict

Для кого этот курс?

ИТ-специалист, разработчик
— Узнать о современных технологиях для хранения и обработки больших объемов данных
— Получить практические навыки, которые не всегда возможно получить внутри компании (переквалификация или повышение квалификации).

Data scientist
— Расширить кругозор
— Научиться пользоваться инструментами для работы с Big Data
— Понять каким образом принятые алгоритмические решения анализа данных отразятся на сложности внедрения и поддержки этого решения (например - с целью повышения скорости выведения на рынок новых продуктов компании).

Уникальность курса

— Включенная в стоимость курса аренда настроенного вычислительного кластера для практической работы
— Реализация финального проекта, который студенты заберут себе в портфолио
— Возможность трудоустройства и стажировок
Какие знания и навыки необходимы для обучения на курсе?
— Умение программировать на Python (знание базовых структура данных, умение писать функции, отлаживать код)
— Аналитический склад ума (умение решать алгоритмические задачи, понимание нотации "О-большое" сложности вычислений)
Технические требования
Компьютер с предустановленным Python, Docker

Cпикеры

Алексей Драль
Руководитель школы Data Science, Корпоративный университет Сбербанка, Руководитель отдела Big Data & Machine Learning, МФТИ, Руководитель онлайн-специализации “Big Data for Data Engineers” (Coursera)
Павел Клеменков
Chief Data Scientist, Sberbank Marketing. Автор онлайн-специализации “Big Data for Data Engineers” (Coursera), Основатель Moscow Spark Community
Наталья Притыковская
6 лет опыта работы в ИТ (Yandex, Одноклассники, Опыт создания пайплайнов машинного обучения на больших данных, Преподаватель образовательного проекта polis.mail.ru
Иван Пузыревский
10 лет опыта работы в ИТ Яндекс, Преподаватель Школы анализа данных Яндекса, Руководитель специализации “Распределенные системы” ФКН ВШЭ
Илья Трофимов
Окончил Московский Государственный Университет. 7 летний опыт решения научно-практической задачи интернет-рекламы, электронной коммерции, рекомендательной системы. читает лекции по крупномасштабному машинному обучению в школе анализа данных Яндекса и Московском физико-техническом институте. Principal Data Scientist in Yandex, Moscow.
Антон Горохов
PhD, Associate Professor at MIPT, Senior SDE at Yandex (ex. Rambler)
Олег Сухорослов
PhD, Senior Researcher at Institute for Information Transmission Problems (IITP RAS), Lecturer at Yandex School of Data Analysis
Артем Выборнов
Руководителем команды разработчиков, которые строят различные продукты, основанные на больших данных в Rambler&Co, Специализируется на архитектуре и инфраструктуре больших данных
Эмели Драль
Chief Data Scientist, Yandex Data Factory, Автор онлайн-специализации “Машинное обучение и анализ данных” (Coursera), Автор онлайн-специализации “Big Data for Data Engineers” (Coursera)

Программа

20 марта, вторник
19:00 — 21:00
Введение в Большие Данные
— Распределенные файловые системы
— Практика
23 марта, пятница
19:00 — 21:00
Hadoop экосистема, MapReduce и не только
27 марта, вторник
19:00 — 21:00
Оптимизация MapReduce вычислений
29 марта, четверг
19:00 — 21:00
SQL поверх больших данных (Hive)
03 апреля, вторник
19:00 — 21:00
Модель вычислений Spark: RDD
06 апреля, пятница
19:00 — 21:10
Spark DataFrames, Spark SQL
10 апреля, вторник
19:00 — 21:00
Оптимизация Spark вычислений
12 апреля, четверг
19:30 — 21:30
Потоковая обработка данных
— Kafka — Spark Streaming
17 апреля, вторник
19:00 — 21:00
HBase, Cassandra + Spark
19 апреля, четверг
19:00 — 21:00
Финальная защита проектов
Эссе на тему "где бы вы применили технологии в вашей работе"

Записаться на курс

Билетов

О нас говорят