Senior Workflow Orchestration Engineer
About the Role
A top hedgefund is seeking a Senior Airflow Engineer experienced in designing, optimizing, and maintaining scalable workflow orchestration systems. The ideal candidate is highly skilled with Apache Airflow, modern data engineering practices, and cloud‑based infrastructure. The role involves handling complex Airflow challenges, improving reliability, and enhancing data operations within a high‑scale environment. Similar senior roles in the industry emphasize Airflow expertise, Kubernetes familiarity, and strong problem‑solving capabilities.
Responsibilities
- Design, build, and maintain scalable data pipelines orchestrated through Apache Airflow.
- Investigate and resolve complex Airflow issues, including configuration challenges, DAG failures, and performance bottlenecks.
- Improve system observability through monitoring, alerting, and logging enhancements.
- Work cross‑functionally with data, platform, and software engineering teams to architect robust ETL and ELT frameworks.
- Optimize Airflow deployments, scheduling strategies, and resource utilization.
- Contribute to infrastructure improvements across Kubernetes, containerization, and distributed systems.
- Participate in automation, tooling improvements, and internal standards development.
Required Experience
- At least 5 years of experience in data engineering, platform engineering, or related areas.
- Strong hands‑on experience with Apache Airflow, including DAG development and debugging.
- Proficiency in Python for workflow development and automation.
- Experience with Kubernetes, Docker, and cloud environments (AWS, GCP, or Azure).
- Understanding of CI/CD processes and DevOps principles.
- Strong analytical and problem‑solving skills, with the ability to own complex issues end to end.
Preferred Experience
- Background in diagnosing advanced Airflow bugs or unique orchestration challenges.
- Experience supporting high‑availability or mission‑critical pipelines.
- Prior contributions to Airflow tooling or open‑source initiatives.
FAQs
Herzlichen Glückwunsch – wir wissen, dass es ein großer Schritt ist, sich die Zeit für eine Bewerbung zu nehmen. Wenn Sie sich bewerben, werden Ihre Angaben direkt an den zuständigen Berater weitergeleitet, der aktiv nach passenden Talenten sucht. Aufgrund der hohen Nachfrage können wir uns möglicherweise nicht bei allen Bewerbern zurückmelden. Wir behalten Ihren Lebenslauf und Ihre Daten jedoch stets in unserer Datenbank und melden uns bei Ihnen, sobald wir ähnliche Positionen sehen oder Fähigkeiten identifizieren, die das Wachstum von Unternehmen vorantreiben können.
Ja. Auch wenn diese Position nicht perfekt zu Ihrem nächsten Karriereschritt passt, hilft uns Ihre Bewerbung dabei, Ihre Fachkenntnisse und Ziele besser zu verstehen. So stellen wir sicher, dass Sie bei der passenden Gelegenheit auf unserem Radar sind.
Wir arbeiten auf unterschiedliche Weise: Zum einen veröffentlichen wir die aktuell verfügbaren Positionen auf unserer Website. Häufig können wir jedoch aus Gründen der Vertraulichkeit nicht alle Vakanzen ausschreiben. Darüber hinaus arbeiten wir mit Kunden zusammen, die einen stärkeren Fokus auf Fähigkeiten legen und darauf, was erforderlich ist, um ihr Unternehmen zukunftssicher aufzustellen.
Aus diesem Grund empfehlen wir, Ihren Lebenslauf zu registrieren, damit Sie auch für Positionen berücksichtigt werden können, die noch nicht geschaffen wurden.
Ja, wir unterstützen Sie bei der Optimierung Ihres Lebenslaufs und der Vorbereitung auf Vorstellungsgespräche. Von individueller Beratung über die gezielte Vorbereitung auf Interviews bis hin zu Gehalts- und Vertragsverhandlungen stehen wir Ihnen während Ihres gesamten nächsten Karriereschritts zur Seite.