Синьор Data Engineer

проект: разработка решения, которое соединяет онлайн-продавцов и многомиллионную аудиторию покупателей.

город и адрес офиса: удаленка(любая локация)

занятость и формат работы: full-time

цель проекта: предоставить качественные бизнес-инсайты и данные для команд и компаний, в проектах с которыми мы участвуем. для этого нужна устойчивая и легко расширяемая платформа для обработки и хранения данных

мы ищем специалиста, который имеет необходимый опыт и готов развиваться в этой роли.

ключевые задачи:

написание и поддержка коннекторов для kafka connect и debezium.

разработка dagов на airflow.

написание процедур обработки данных + data quality control.

развитие системы мониторинга данных и процессов участие во внедрении систем data governance и dqc.

что мы от ожидаем от кандидата:

sql - на уровне аналитических функций.

python - на уровне написания дагов для airflow, если лучше то как преимущество.

airflow - человек должен понимать что это за инструмент и уметь использовать его.

опыт работы с одной из mpp db(в порядке приоритета): greenplum, teradata.

опыт работы с postgresql.

kafka - понимание работы, базовые навыки работы: создать/удалить, партиционировать топик, сбросить офсеты у топика.

опыт работы с hadoop стеком приветствуется, особенно понимание форматов хранения данных.

kafka connect опыт написания коннекторов загрузки данных - преимущество, но не обязательно.

debezium опыт написания коннекторов загрузки данных - преимущество, но не обязательно.

знание/понимание inmon, kimball, datavault, anchor modeling и других моделей данных - преимущество, но не обязательно.

что мы предлагаем взамен:

трудоустройство в соответствии с тк рф.

дмс с первого рабочего дня.

страхование от несчастного случая.

удаленная работа.

отличная корпоративная культура