Junior Data Engineer
Авиастатс – продукт внутри Авиасейлс, суть которого заключается в продаже клиентам данных о ценах, поисках и пассажиропотоке.
В отличие от классического DWH, который обычно стоит немного в стороне, Авиастатс – это B2B продукт, поэтому есть возможность быть близко к бизнес-требованиям, решать актуальные задачи и имплементить требования клиентов с минимальным лагом. При этом, рядом всегда есть команда дата инженеров, которая занимается хранилищем Авиасейлс, к которым можно сходить за советом.
Наш стек:
- Python 3.8+, но для загрузки данных из Kafka используется Flink;
- Airflow в качестве основного оркестратора, переносим туда задачи из старого самописного оркестратора (на Python);
- Amazon S3 для хранения данных и Athena для работы с ними;
- Apache Impala в качестве основного аналитического хранилища, поверх которого работает часть витрин. Мы в процессе переезда с Impala и в будущем мы уйдем от ее использования, полностью заменив на S3 и Athena;
- Redash в качестве инструмента визуализации, но это, скорее всего, тоже изменится.
What you will do:
- разовые кастомные выгрузки по запросу;
- повторные выгрузки данных, которые должны были отправиться / которые отправились, но оказались некорректными;
- отвечать клиентам на вопросы о корректности данных;
- дорабатывать существующие экспортеры (регулярные выгрузки);
- дежурить (что-то упало, поднять, починить) в рабочее время.
What we expect from you:
- опыт работы в роли Python разработчика или Data Engineer от года, отличные навыки ООП;
- знание SQL;
- теоретические знания о системах оркестрации, знания или опыт с облачными сервисами будет плюсом.
How we roll:
- в любой точке мира: не привязываемся к локации, платим в долларах, любим путешествовать;
- без бюрократии: удобные процессы здорового человека, горизонтальные и открытые коммуникации, быстрое обсуждение идей и принятие решений;
- компенсируем: ДМС, психотерапию или иностранные языки, занятия спортом и больничный;
- на райском острове: можно работать на Пхукете с видом на океан.
• awesome team • pool parties, terrace parties, everywhere parties! • chill office vibe • snacks of all kinds in the fridge
• awesome team • pool parties, terrace parties, everywhere parties! • chill office vibe • snacks of all kinds in the fridge
Benefits for Aviasales employees
Competitve salaries
We pay what you deserve - not a dollar less
Sports
We partially pay for sports: be it the gym or curling lessons
Language tuition
We’ll help you level up in your target language - c’est très important!
Medical insurance
We take care of you and partially compensate health costs
We cover co-working expenses
Because your workspace is important
Children's education
We'll help you pay for kindergarten and school fees
Distance working
We're cool with you working from home
👀 We also:
Launch rockets into space, test out flamethrowers and hold cat-Tuesday sacred