Деректер инженері, Жобаларды қолдау бөлімі ИИ

ТОО QazCloud Астана қ.
Қажетті жұмыс тәжірибесі: 2 жылдан Еңбекпен толық қамтылу, Толық күн
Бос орын ашық
Құрылған күні:

Берілген өтінім:
7

Қаралған саны:
162

   Конкурс туралы
Міндеттері:
•    Сенімді ETL/ELT пайплайндарын жобалау, әзірлеу және қолдау
•    Деректерді әртүрлі көздерден интеграциялау: API, деректер базалары, файлдық жүйелер, стриминг қызметтері
•    Аналитика және Data Science үшін деректер витриналарын әзірлеу және қолдау
•    Деректер қоймалары мен өңдеу процестерінің өнімділігін оңтайландыру
•    Деректердің сапасын, консистенттілігін және қолжетімділігін қамтамасыз ету
•    Деректер қоймаларының (DWH, Data Lake) архитектурасын жобалауға қатысу
•    Деректерді жүктеу процестері үшін мониторинг, алерттер және лог жүргізуді орнату
•    Деректерді әзірлеушілермен, аналитиктермен, ML-инженерлермен және тапсырыс берушілермен жұмыс
•    Деректер инфрақұрылымының компоненттері үшін CI/CD пайплайндарын қолдау


Талаптар:
•    Python және деректермен жұмыс істеу құралдарын: pandas, SQLAlchemy, requests және т.б. сенімді білу
•    SQL бойынша терең білім, реляциялық және колонкалық деректер базаларымен (PostgreSQL, ClickHouse, Snowflake және т.б.) жұмыс тәжірибесі
•    API (REST/GraphQL), файлдық көздермен (CSV, XLSX, JSON, XML) жұмыс тәжірибесі
•    Деректерді оркестрациялау жүйелерімен: Apache Airflow, Prefect немесе аналогтарымен жұмыс тәжірибесі
•    Деректер ағындарының архитектурасын құру, үлкен көлемдерді өңдеу дағдылары
•    Docker, Git, CI/CD (GitLab CI, Jenkins және т.б.) тәжірибесі
•    DWH және Data Lake құру принциптерін түсіну, деректерді модельдеу тәсілдерін (star/snowflake) білу
•    Процестерді мониторингтеу тәжірибесі (Prometheus, Grafana, лог жүргізу)
•    Деректердің қауіпсіздігі негіздерін түсіну, қолжетімділікті басқару
•    Ағылшын тілі — техникалық құжаттаманы оқу және жазу деңгейінде
•    Python: pandas, requests, SQLAlchemy, PySpark (қалаулы)
•    СУБД: PostgreSQL, MySQL, ClickHouse, MS SQL, Snowflake, BigQuery (жоба бойынша)
•    Оркестрация: Apache Airflow, Prefect, Luigi
•    Интеграция: REST API, FTP/SFTP, кезектер (Kafka, RabbitMQ — қалаулы)
•    Контейнеризация және автоматтандыру: Docker, Git, GitLab CI, Jenkins
•    Мониторинг: Prometheus, Grafana, ELK/EFK стек
•    Linux/Unix, bash, crontab
•    BI және аналитика: деректер витриналарының құрылымына қойылатын талаптарды түсіну (Power BI, Tableau, Qlik және т.б. байланыста)
2 жылдан кем емес жұмыс тәжірибесі

Шарттар:
- жұмыс кестесі 09:00-ден 18:30-ға дейін

- медициналық сақтандыру

- тасымалдау

Қажетті білім дәрежесі

  • Бакалавр