Engineering

Databricks / CI-CD - Senior DevOps Engineer

Compass UOL

  • Brazil
  • Fulltime
  • 18 hours ago
Apply for this role

About the role

.

  • Projetar, implementar e evoluir a esteira de CI/CD da plataformaDatabricks, garantindo a promoção automatizada e auditável de artefatos entre os ambientes de desenvolvimento, homologação e produção;
  • Padronizar o empacotamento e o deploy de workloads comDatabricks Asset Bundles (DABs), disponibilizando templates reutilizáveis e escaláveis para os domínios de dados;
  • Definir a estratégia de controle de versão (Git), políticas de branching (trunk-based,GitFlowou equivalente), fluxo de revisões de código (code review), versionamento e release da plataforma no repositório corporativo (Bitbucket, GitHub ou GitLab);
  • Definir e implementargitflowsequality gatesautomatizados na esteira: testes unitários e de integração, validação de contratos de dados, análise estática de código, lint e cobertura mínima como pré-requisito de merge;
  • Garantir a estruturação e modularização de projetos, empacotamento de bibliotecas em Python (construção de arquivos.wheel) e publicação emartifact registry;
  • Disseminar boas práticas de engenharia de software, automação e governança, atuando como referência técnica e suportando as squads de dados nos deployments dos pipelines;
  • Acompanhar a saúde, estabilidade e observabilidade das esteiras e dos artefatos da plataforma Lakehouse em produção.
  • Sólida experiência e maturidade profissional em DevOps ou DataOps, com atuação na concepção, implementação e sustentação de esteiras de CI/CD ponta a ponta;

  • Domínio na implementação de esteiras de CI/CD em Jenkins, incluindo definição de estratégias de deploy, rollback e versionamento de releases;
  • Domínio avançado de controle de versão com Git, estratégias de branching (trunk-based, GitFlow), pull requests, code review e proteção de branches;
  • Conhecimento avançado de engenharia de software com Python ou Groovy, com vivência prática em estruturação/modularização de projetos, empacotamento de bibliotecas (.wheel) e publicação em repositório de artefatos;
  • Experiência prática na criação e automação de testes unitários e de integração aplicados a pipelines de dados utilizando Pytest (ou equivalente), com uso de mocks, fixtures e métricas de cobertura de código;
  • Vivência sólida com ecossistemas de nuvem AWS ou Azure aplicados ao contexto de plataformas de dados (gestão de identidade/IAM, storage, rede e serviços gerenciados).
  • Desejáveis: Vivência prática comDatabricks Asset Bundles (DABs), Databricks CLI e Databricks Repos; Experiência em projetos de migração de Data Warehouse legado para arquiteturaLakehouse Databricks; Conhecimento em observabilidade e monitoramento de pipelines e infraestrutura com ferramentas comoDataDogou similares; Conhecimento em Infraestrutura como Código (IaC) comTerraform; Experiência com outras ferramentas de esteira como Bitbucket Pipelines, GitLab CI ou GitHub Actions.

Informações adicionais

#remote

Originally posted on Himalayas

Before you start

Sorted before day one

Some links here earn us a commission. It costs you nothing and does not affect what we recommend.

Job alerts

New remote roles, weekly

Once a week, the new remote roles on the board. Tell us where you live and what you do so we can send the ones that fit.

One email a week, on Tuesdays: your jobs, plus a city guide, a new coworking space and one clearly marked sponsored item. Unsubscribe any time. Privacy

Same employer

More at Compass UOL

All roles at Compass UOL

Keep looking

Similar engineering roles

All engineering roles
For employers

Hiring remotely?

Every role on Work From Anywhere shows the countries it can be done from, so the people who apply are the people you can actually hire.

  • $49 per job, and your first one is free
  • Unlimited jobs for $99 a month
  • Matched to job seekers by country and role
Post a job