Data Platform Engineer
SumUp Services GmbH | Berlin
Als Plattformingenieur für Daten sitzen Sie in unserem Risk and Compliance Tribe. Das Risk Data & Machine Learning Platform (RDMLP) ist verantwortlich für den Aufbau von Plattformlösungen, die es Data Scientists ermöglichen, ihre Modelle eigenständig als Produktionssysteme für Risiko, Betrug und Compliance und andere Bereiche innerhalb von Sum Up einzusetzen. Zu den verwendeten Tools und Technologien im Team gehören Python und PySpark für den Aufbau von Datenpipelines, Services und Anwendungen; AWS Cloud für Computing (EKS), Speicher (S3, Keyspaces für Cassandra), Streaming (MSK), Datenmanagement (Glue, Athena) und maschinelles Lernen (Sage Maker) Infrastruktur; Kubernetes und Helm für die Definition unserer Live-, Streaming-, Batch- und interaktiven Rechenworkloads; Neo4j und Nebula für die Verarbeitung und Analyse von Graphen; Argo Workflows für die Orchestrierung von Datenaufnahme, -verarbeitung und -schulungen; MLFlow und Jupyter Lab zur Unterstützung interaktiver experimenteller Arbeiten; SpaCy, LanguageChain und Streamlit zum Erstellen benutzerorientierter generativer KI-Anwendungen; Github Actions für die Implementierung von CI/CD-Mustern, um sichere und zuverlässige Bereitstellungsprozesse für uns und unsere Benutzer zu gewährleisten; Kafka für den Datenaustausch und den Aufbau von Streaming-Datenanwendungen. Keywords: Data Platform Engineer, Risk and Compliance Tribe, Data scientists, Risk Data & Machine Learning Platform, Python, PySpark, AWS Cloud, EKS, S3, Keyspaces, streaming, MSK, Glue, Athena, Sage Maker, Kubernetes, Helm, Neo4j, Nebula, Argo Workflows, MLFlow, Jupyter Lab, SpaCy, LanguageChain, Streamlit, Github Actions, CI/CD, Kafka.