Чем больше вы оцениваете, тем лучше будут ваши рекомендации по вакансиям
Требуемый опыт работы: 1–3 года
Полная занятость, полный день
AppQuantum - паблишер мобильных игр. Мы - это успешная коман, которая занимается performance-маркетингом, паблишингом и разработкой мобильных игр.
Сейчас мы ищем дата инженера в отдел разработки, состоящий из дата-инженеров, фулстек разработчиков и девопса.
Задачи:
Разрабатывать ETL скрипты для новых источников данных;
Оптимизировать и ускорять ETL скрипты;
Оптимизировать схемы баз данных (clickhouse, postgres);
Настроить пайплайн автоматической проверки качества данных с alerting'ом;
Покрыть пайплайны тестами и дашбордами;
Связять airflow таски с обновлением дашбордов в tableau;
Готовить витрины данных из сырых логов;
Требования:
Python - pandas, многопоточность, асинхронность, профилирование кода;
Database - Clickhouse, Postgres, умение работать с вложенными запросами и оконными функциями, оптимизация запросов;
Docker;
увереный пользователь Linux;
Airflow или любой другой шедулер;
git.
Будет плюсом:
Опыт использование clickhouse в проде от года: partition, sharding, MergeTree, MergeTree, настройка ClickHouse;
Опыт работы с одним из фреймворком django/flask/falcon/fastapi/e.tc.;
Условия: