REMOTE MIDDLE BIG DATA ENGINEER

Обязанности

— Управление качеством и целостностью данных
. — Помощь в создании инструментов и технологий, гарантирующих, что последующие клиенты могут быть уверены в данных, которые они потребляют.
— Межфункциональная работа с командами Data Science или Content Engineering для устранения неполадок, обработки или оптимизации критически важных для бизнеса данных. конвейеры
— работайте с базовой платформой для реализации более эффективных заданий обработки для масштабирования потребления наборов потоковых данных.

Описание Проекта

Клиент — американская служба подписки на электронные книги и аудиокниги, включающая один миллион наименований. Платформа размещает 60 миллионов документов на своей открытой издательской платформе.
Платформа позволяет:
— любому человеку поделиться своими идеями с миром;
— доступ к аудиокнигам;
— доступ к композиторам мира, публикующим свою музыку;
— включает статьи частных издательств и мировых журналов;
— открывает доступ к эксклюзивному контенту.

Core Platform предоставляет надежное базовое программное обеспечение, повышающее эффективность работы при масштабировании приложений и данных. Мы сосредоточены на создании, тестировании, развертывании приложений и инфраструктуры, которые помогут другим командам быстро масштабироваться, взаимодействовать, интегрироваться с данными в реальном времени и включать машинное обучение в свои продукты. Работая с нашими клиентами из отделов обработки данных и разработки контента, а также с нашими коллегами из команд внутренних инструментов и инфраструктуры, мы обеспечиваем прозрачность и целенаправленность наших проектов на системном уровне.

Целью клиента является не полное архитектурное или дизайнерское совершенство, а выбор правильных компромиссов для достижения баланса между скоростью, качеством и стоимостью.

Requisitos del puesto

Требуемые навыки

— Более 3 лет опыта работы в сфере обработки данных, создания или управления сквозными конвейерами данных для больших и сложных наборов данных.
— Знание Spark
— Знание Scala и/или Python
— Свободное владение хотя бы одним диалектом SQL
— Уровень английского языка: Upper-Intermediate

Туз с плюсом

— Опыт работы с платформами потоковой передачи, обычно на основе Kafka
— Опыт работы с Terraform, Airflow
— Хорошее понимание сервисов платформы данных AWS, их сильных и слабых сторон
— Большой опыт использования Jira, Slack, JetBrains IDE, Git, GitLab, GitHub, Docker, Jenkins
— Опыт использования DataBricks.

Otros datos del puesto

Мы предлагаем

— Высокая оплата в соответствии с вашими техническими навыками
— Долгосрочные проекты (12 млн+) с отличными Заказчиками
— 5-дневная рабочая неделя, 8-часовой рабочий день, гибкий график
— Демократичный стиль управления и дружелюбная атмосфера
— Режим WFH
— Ежегодный оплачиваемый отпуск — 20 б/дней + неоплачиваемый отпуск
— Оплачиваемые больничные — 6 б/дней в год
— 12 национальных праздников
— Корпоративные льготы (внешнее обучение, курсы английского языка, корпоративные мероприятия/тимбилдинги)
— Уютный офис в центре города
— Профессиональные и личные рост

100% remote

up to $65000