🔥 Вакансия Data-инженер (FinTech / Outstaff)

Проект: Финтех, высокая нагрузка, промышленный ландшафт. Формат: Аутстафф (долгосрочно). Уровень дохода: До 290 000 руб. на руки. Компания: Бриф

Ключевые задачи: Мы ищем сильного инженера, который самостоятельно ведет проекты и способен консультировать коллег по архитектуре. Предстоит работа с большими объемами данных, оптимизация пайплайнов и развитие корпоративного хранилища.

Стек и требования: ✅ Опыт: 4–6+ лет в построении DWH и промышленного ETL-ландшафта. ✅ Greenplum: Глубокое понимание распределения данных, партиционирования, оптимизации планов запросов. ✅ Apache Spark: Проектирование высокопроизводительных пайплайнов. Понимание RDD, DAG, shuffle, устранение bottleneck’ов. Настройка кластерной инфраструктуры. ✅ Языки: Java & Python (гибридные ETL-решения). ✅ ETL/Оркестрация: Airflow, Luigi, dbt. ✅ Архитектура: Проектирование логических и физических моделей DWH. Владение Data Vault 2.0 (HUB/SAT/LINK). ✅ DevOps: CI/CD для ETL (Liquibase, Jenkins, GitLab CI). ✅ Качество данных: Настройка мониторинга, метрик качества, алертинга и автоматического восстановления процессов.

Будет плюсом: 🔹 Опыт миграции (Oracle → Greenplum). 🔹 Разработка единого ETL-фреймворка для команды. 🔹 Навыки наставничества и внедрения best practices.

Что предстоит делать: — Вести архитектуру потоков данных и моделей. — Оптимизировать производительность пайплайнов под большие объёмы. — Настраивать мониторинг Spark job-ов и SLA с бизнесом. — Влиять на развитие корпоративной аналитической платформы.