Data Engineer в команду рекламных технологий

Местоположение и тип занятости

Москва

Компания

Место встречи лучших

Описание вакансии

О компании и команде

Наш департамент создаёт рекламные продукты и инструменты для бизнеса. Это myTarget, рекламный кабинет ВКонтакте и платформа VK Реклама. Наши разработки также интегрированы в другие продукты VK: Одноклассники, Портал и Почту Mail․ru. Всё это открывает бизнесу доступ к 95% мобильной аудитории рунета. У нас в команде минимум бюрократии и максимум возможностей влиять на продукт — воплощение фич от идеи до релиза может занимать всего пару недель.

Ищем опытного и самостоятельного дата-инженера, который будет участвовать в создании ML-инструментов. Предстоит разрабатывать и поддерживать код на Scala/Spark (UDF/UDAF, Spark ML Transformers, etc.) и Python (платформа ML/ETL). А ещё помогать команде следить за качеством генерируемых данных.

У нас вы будете работать с данными популярных соцсетей (ВК, ОК, Дзен) и других проектов экосистемы VK. Также надеемся, что вам понравится наш кластер Hadoop на примерно 75 петабайт.

Ожидания от кандидата

Задачи:

  • проектировать, разрабатывать и поддерживать инструменты для создания надёжных пайплайнов обработки данных;
  • участвовать в развитии системы для создания и использования ML-моделей;
  • исследовать и интегрировать в продукт новые источники данных;
  • создавать витрины признаков для ML-моделей.

Требования:

  • знание алгоритмов и структур данных;
  • умение писать качественный, поддерживаемый код на Scala, Python, SQL;
  • опыт использования Hadoop, знание механизмов распределённого хранения и обработки данных (HDFS, Spark, Hive);
  • знакомство с Bash, Git, Linux, Docker;
  • опыт работы с терминалом по SSH.

Будет плюсом:

  • умение использовать Luigi, Airflow, Kafka;
  • опыт написания Spark UDF/UDAF на Catalyst API и трансформеров spark.ml;
  • знание Java и нюансов JVM;
  • понимание классических ML-моделей, задач и методов DS.

Условия работы

  • возможность создавать продукты и сервисы, которые меняют к лучшему жизнь миллионов пользователей;
  • амбициозные задачи, масштабные проекты и возможности для профессионального роста;
  • совместные интересы и увлечения: помогаем раскрывать таланты и отлично проводить свободное время;
  • работа в команде профессионалов из разных сфер, которые всегда готовы поделиться опытом;
  • программа благополучия: заботимся о здоровье и хорошем самочувствии сотрудников;
  • компенсация питания в кафе и ресторанах рядом с офисами — 800 рублей в день;
  • компенсация спортивных активностей — 30 000 рублей в год в регионах и 35 000 рублей в год в Москве и в Санкт-Петербурге;
  • 16 корпоративных команд по 12 видам спорта.

Присоединяйтесь к нашей команде, чтобы создавать сервисы и технологии, которые улучшают качество жизни миллионов людей.​​​