ID 001-039

✅ Локация: Россия

✅ Формат работы: удаленно

Обязательные требования

• Есть знания принципов работы БД, построения ХД;
• Опыты разработки ETL процессов (NiFi, AirFlow, Fink);
• Опыт работы с высоконагруженными распределёнными системами обработки и хранения данных, очередями (Kafka);
• Отличное знание SQL, Python;
• Желание обучаться и развиваться;
• Будет плюсом опыт разработки на Java, JavaScript, умение работать с Flink, MogoDB, Kubernetes и понимание принципов работы REST API.

Задачи на проекте

• Основная задача - переписать текущую интеграцию с дата платформой между БД Mongo и DP;
• Обеспечить сбор и организовать процесс загрузки данных из различных источников; подготовка, очистка и предобработка данных из внешних источников, построение агрегатов;
• Разрабатывать процедуры формирования детального слоя данных и слоя витрин DataLake;
• Реализовывать мониторинг разработанных процессов обработки данных (Grafana, Prometheus);
• Документировать свою работу в Яндекс Вики.