Senior Kafka Platform Engineer
A top Asset Management firm is looking for a seasoned Kafka Engineer to design, operate, and scale their event streaming platform in a high-performance environment. This role is architecture-oriented, with a strong emphasis on automation, Kubernetes, and reliability engineering. You'll own the Kafka core-brokers, storage, security, observability-and build automation that powers it, using Infrastructure-as-Code, Operators, Helm, and CI/CD for safe, repeatable deployments.
You'll run Kafka on Kubernetes and/or cloud-managed offerings, ensure reliability and performance, and partner with application teams to define best practices.
What You'll Do
- Architect, deploy, and operate production-grade Kafka clusters (self-managed and/or Confluent/MSK), including upgrades, capacity planning, multi-AZ/region DR, and performance tuning.
- Operate Kafka on Kubernetes using Operators, Helm, and GitOps; build IaC-driven automation with guardrails for zero-downtime provisioning.
- Implement and manage Kafka Connect, Schema Registry, and MirrorMaker 2/Cluster Linking; standardize connectors (e.g., Debezium) and enable self-service patterns.
- Drive reliability: define SLOs/error budgets, on-call rotations, incident response, postmortems, runbooks, and automated remediation.
- Implement observability: metrics, logs, traces, lag monitoring, and capacity dashboards (Prometheus/Grafana, Burrow, Cruise Control, OpenTelemetry).
- Secure the platform: TLS/mTLS, SASL (OAuth/SCRAM), RBAC/ACLs, secrets management, network policies, audit, and compliance automation.
- Guide event-streaming best practices: topic design, partitioning, retention, idempotency, ordering, schema evolution, DLQs, EOS semantics.
- Collaborate with app, data, and SRE teams; provide enablement, documentation, and internal tooling for a great developer experience.
- Lead and mentor engineers; contribute to roadmap, standards, and platform strategy.
Required Qualifications
- Deep hands-on experience operating Kafka at scale in Big Tech, trading, or asset management environments.
- Strong Kubernetes expertise running stateful systems.
- Automation-first mindset: Infrastructure as Code (Terraform), Helm, Operators, GitOps (Argo CD/Flux), and CI/CD (GitHub Actions/Jenkins).
- Proficiency in Python, Go, or Java, plus Bash and solid Linux fundamentals (networking, filesystems, JVM tuning basics).
- Observability and reliability engineering for Kafka: Prometheus/Grafana, logging, alerting, lag monitoring, capacity/throughput modeling, performance tuning.
- Security for data in motion: TLS/mTLS, SASL/OAuth, ACL/RBAC, secrets management (Vault), and audit/compliance practices.
- Experience with Kafka ecosystem components: Kafka Connect, Schema Registry, MirrorMaker 2/Cluster Linking; familiarity with Cruise Control.
- Cloud experience (AWS/Azure/GCP) with networking, IAM, and managed offerings (Confluent Cloud or AWS MSK).
- Proven track record designing runbooks, leading incidents/postmortems, and driving platform roadmaps.
Nice to Have
- Data processing frameworks (Kafka Streams, Flink, Spark Structured Streaming) and EOS semantics.
- Experience with Strimzi or Confluent for Kubernetes in production.
- Knowledge of CDC patterns and tools (Debezium) and database connectors at scale.
- Multi-region architectures, cluster linking strategies, and disaster recovery drills.
FAQs
Herzlichen Glückwunsch – wir wissen, dass es ein großer Schritt ist, sich die Zeit für eine Bewerbung zu nehmen. Wenn Sie sich bewerben, werden Ihre Angaben direkt an den zuständigen Berater weitergeleitet, der aktiv nach passenden Talenten sucht. Aufgrund der hohen Nachfrage können wir uns möglicherweise nicht bei allen Bewerbern zurückmelden. Wir behalten Ihren Lebenslauf und Ihre Daten jedoch stets in unserer Datenbank und melden uns bei Ihnen, sobald wir ähnliche Positionen sehen oder Fähigkeiten identifizieren, die das Wachstum von Unternehmen vorantreiben können.
Ja. Auch wenn diese Position nicht perfekt zu Ihrem nächsten Karriereschritt passt, hilft uns Ihre Bewerbung dabei, Ihre Fachkenntnisse und Ziele besser zu verstehen. So stellen wir sicher, dass Sie bei der passenden Gelegenheit auf unserem Radar sind.
Wir arbeiten auf unterschiedliche Weise: Zum einen veröffentlichen wir die aktuell verfügbaren Positionen auf unserer Website. Häufig können wir jedoch aus Gründen der Vertraulichkeit nicht alle Vakanzen ausschreiben. Darüber hinaus arbeiten wir mit Kunden zusammen, die einen stärkeren Fokus auf Fähigkeiten legen und darauf, was erforderlich ist, um ihr Unternehmen zukunftssicher aufzustellen.
Aus diesem Grund empfehlen wir, Ihren Lebenslauf zu registrieren, damit Sie auch für Positionen berücksichtigt werden können, die noch nicht geschaffen wurden.
Ja, wir unterstützen Sie bei der Optimierung Ihres Lebenslaufs und der Vorbereitung auf Vorstellungsgespräche. Von individueller Beratung über die gezielte Vorbereitung auf Interviews bis hin zu Gehalts- und Vertragsverhandlungen stehen wir Ihnen während Ihres gesamten nächsten Karriereschritts zur Seite.