SoftServe предоставляет инженерные и технологические услуги для корпоративных клиентов.

Что вы будете делать

• Разрабатывать, создавать и оптимизировать масштабируемые решения для данных AWS с использованием Databricks, включая архитектуры Lakehouse с Delta Lake и Unity Catalog.
• Разрабатывать пакетную и потоковую обработку данных с использованием Apache Spark, Flink, Kafka, Amazon MSK и Kinesis.
• Руководить интеграцией и миграцией данных (сопоставление источник-цель, приём, трансформация и обеспечение качества данных).
• Разрабатывать архитектуру платформы данных, моделирование данных и лучшие практики инжиниринга для масштабируемости, надежности и долгосрочной поддерживаемости.
• Создавать и управлять автоматизированными рабочими процессами и конвейерами данных с использованием Databricks Workflows, Apache Airflow, MWAA, Snowflake и Amazon Redshift.
• Менторить команды инженерии данных и преобразовывать бизнес-требования в технические решения, дорожные карты и планы реализации.

Требования

• Подтвержденный опыт работы ведущим инженером данных, отвечающим за масштабируемые платформы и конвейеры данных.
• Практический опыт пакетной и потоковой обработки с использованием Apache Spark, Flink, Kafka, Amazon MSK или Kinesis.
• Значительный опыт работы с AWS и Databricks, включая Delta Lake, Unity Catalog, Workflows и Jobs.
• Продвинутый SQL плюс знание Python (предпочтительно), Scala или Java.
• Опыт оркестровки рабочих процессов данных с использованием Databricks Workflows, Apache Airflow или MWAA.
• Английский язык на уровне Upper-intermediate или выше.

Культура и преимущества

• Удалённая/офисная модель работы.
• Совместная, ориентированная на инновации среда на протяжении всего жизненного цикла решения.
• Возможность изучать новые технологии и делиться знаниями в инженерном сообществе.
• Руководящая роль с менторством и развитием команды.

Процесс найма

• Заполните форму заявки.
• Связь с рекрутером и этапы собеседования.

ПОДАТЬ ЗАЯВКУ