Дата инженер в Лэтуаль Диджитал

Мы ищем в команду группу Дата инженеров - в направление аналитики Летуаль (оформление в аккредитованную ИТ компанию Летуаль)

Мы ищем в команду группу Дата инженеров - в направление аналитики Летуаль (оформление в аккредитованную ИТ компанию Летуаль)

Чем предстоит заниматься:

• Участвовать в проектировании, создании, развертывании и управлении общей архитектуры платформы данных
• Выстраивать процессы взаимодействия DWH и других компонент экосистемы данных компании
• Проектировать модели данных детального слоя под бизнес требования с оптимальным хранением данных
• Разрабатывать процедуры формирования детального слоя данных и слоя витрин
• Поддерживать текущие автоматизированные регулярные ETL процессы
• Настраивать поток данных с использованием распределенных систем обмена сообщениями, в частности Kafka
• Разрабатывать схемы подключения новых источников, включая получение структурированных и неструктурированных данных из различных источников
• Реализовывать процессы CI/CD и мониторинга разработанных процессов обработки данных
• Создавать и улучшать процессы обработки данных
• Участвовать в проектировании, внедрении и развитии каталога данных
• Участвовать в развитии процессов Data Governance
• Документировать свою работу в JIRA/Confluence

Мы ожидаем:

• опыт от 3-х лет в роли Data Engineer
• знание современных инструментов ETL/ELT, CDC и способов их автоматизации
• умение извлекать данные из различных источников (БД, логи, сторонние системы и т.п.)
• умение осуществлять автоматизированный сбор и структурирование информации с сайтов (parsing) при помощи программы/cервиса
• умение выбирать технологию для хранения данных и их обработки
• опыт проектирования и внедрения архитектуры хранилища данных с применением практик и технологий Data management, DWH/BI, Big Data и Data streaming
• понимание смежных технологических областей (инфраструктура, DevOps, DevSecops, Data Science, Cloud native и др.)
• владение языками программирования (SQL на уровне не ниже Middle, Python, либо другом скриптовом языке программирования)
• опыт работы с планировщиками задач (MS SQL, Airflow)
• опыт работы с ClickHouse, PostgreSQL, Google Analytics, BigQuery, Appsflyer
• опыт работы с микро-сервисной архитектурой
• опыт работы с очередями и брокерами сообщений Kafka/RabbitMQ
• опыт работы с BI инструментами MSOLAP/PowerBI/QlikView/различные российские решения

Мы предлагаем:

Интересные задачи;

Уникальную профессиональную команду;

Достойный уровень вознаграждения;

ДМС после испытательного срока;

Работа гибрид или в офисе класса А с потрясающим видом на Москву.