Data Engineer, Отдел сопровождения проектов ИИ
ТОО QazCloud г.Астана
Требуемый опыт работы: Не менее 2 лет Полная занятость, Полный день
Обязанности:
• Проектирование, разработка и сопровождение надежных ETL/ELT пайплайнов
• Интеграция данных из различных источников: API, базы данных, файловые системы, стриминг-сервисы
• Разработка и поддержка витрин данных для аналитики и Data Science
• Оптимизация производительности хранилищ и процессов обработки данных
• Обеспечение качества, консистентности и доступности данных
• Участие в проектировании архитектуры хранилищ (DWH, Data Lake)
• Настройка мониторинга, алертов и логирования для процессов загрузки данных
• Работа с разработчиками, аналитиками, ML-инженерами и заказчиками данных
• Поддержка CI/CD пайплайнов для компонентов data-инфраструктуры
Требования:
• Уверенное знание Python и инструментов работы с данными: pandas, SQLAlchemy, requests и др.
• Глубокие знания SQL, опыт работы с реляционными и колонковыми БД (PostgreSQL, ClickHouse, Snowflake и др.)
• Опыт работы с API (REST/GraphQL), файловыми источниками (CSV, XLSX, JSON, XML)
• Опыт работы с системами оркестрации данных: Apache Airflow, Prefect или аналогами
• Навыки построения архитектуры потоков данных, обработки больших объемов
• Опыт работы с Docker, Git, CI/CD (GitLab CI, Jenkins и др.)
• Понимание принципов построения DWH и Data Lake, знание подходов к моделированию данных (star/snowflake)
• Опыт настройки мониторинга процессов (Prometheus, Grafana, логирование)
• Понимание основ безопасности данных, управление доступом
• Английский — на уровне чтения и написания технической документации
• Python: pandas, requests, SQLAlchemy, PySpark (желательно)
• СУБД: PostgreSQL, MySQL, ClickHouse, MS SQL, Snowflake, BigQuery (по проекту)
• Оркестрация: Apache Airflow, Prefect, Luigi
• Интеграция: REST API, FTP/SFTP, очереди (Kafka, RabbitMQ — желательно)
• Контейнеризация и автоматизация: Docker, Git, GitLab CI, Jenkins
• Мониторинг: Prometheus, Grafana, ELK/EFK стек
• Linux/Unix, bash, crontab
• BI и аналитика: понимание требований к структуре витрин данных (в связке с Power BI, Tableau, Qlik и др.)
Опыт работы не менее 2-х лет
Условия:
- рабочий график c 09:00 до 18:30
- медицинская страховка
- развозка
• Проектирование, разработка и сопровождение надежных ETL/ELT пайплайнов
• Интеграция данных из различных источников: API, базы данных, файловые системы, стриминг-сервисы
• Разработка и поддержка витрин данных для аналитики и Data Science
• Оптимизация производительности хранилищ и процессов обработки данных
• Обеспечение качества, консистентности и доступности данных
• Участие в проектировании архитектуры хранилищ (DWH, Data Lake)
• Настройка мониторинга, алертов и логирования для процессов загрузки данных
• Работа с разработчиками, аналитиками, ML-инженерами и заказчиками данных
• Поддержка CI/CD пайплайнов для компонентов data-инфраструктуры
Требования:
• Уверенное знание Python и инструментов работы с данными: pandas, SQLAlchemy, requests и др.
• Глубокие знания SQL, опыт работы с реляционными и колонковыми БД (PostgreSQL, ClickHouse, Snowflake и др.)
• Опыт работы с API (REST/GraphQL), файловыми источниками (CSV, XLSX, JSON, XML)
• Опыт работы с системами оркестрации данных: Apache Airflow, Prefect или аналогами
• Навыки построения архитектуры потоков данных, обработки больших объемов
• Опыт работы с Docker, Git, CI/CD (GitLab CI, Jenkins и др.)
• Понимание принципов построения DWH и Data Lake, знание подходов к моделированию данных (star/snowflake)
• Опыт настройки мониторинга процессов (Prometheus, Grafana, логирование)
• Понимание основ безопасности данных, управление доступом
• Английский — на уровне чтения и написания технической документации
• Python: pandas, requests, SQLAlchemy, PySpark (желательно)
• СУБД: PostgreSQL, MySQL, ClickHouse, MS SQL, Snowflake, BigQuery (по проекту)
• Оркестрация: Apache Airflow, Prefect, Luigi
• Интеграция: REST API, FTP/SFTP, очереди (Kafka, RabbitMQ — желательно)
• Контейнеризация и автоматизация: Docker, Git, GitLab CI, Jenkins
• Мониторинг: Prometheus, Grafana, ELK/EFK стек
• Linux/Unix, bash, crontab
• BI и аналитика: понимание требований к структуре витрин данных (в связке с Power BI, Tableau, Qlik и др.)
Опыт работы не менее 2-х лет
Условия:
- рабочий график c 09:00 до 18:30
- медицинская страховка
- развозка
Необходимые степени образования
- Бакалавр
Похожие вакансии

Старший администратор систем виртуализации, Отдел системного администрирования
ТОО QazCloud | Полная занятость
| г.Астана
14.08.2025 | 39

Специалист, Отдел мониторинга
ТОО QazCloud | Полная занятость
| г.Астана
14.08.2025 | 71

Администратор Департамента эксплуатации корпоративных информационных систем
ТОО QazCloud | Полная занятость
| г.Астана
14.08.2025 | 980