
Communications, Media & Telecom - Entwicklung und Aufbau einer vollautomatischen MLOps-Plattform
Communications, Media & Telecom
Die Implementierung einer vollautomatischen MLOps-Plattform reduzierte den Zeit- und Arbeitsaufwand für die Data-Science-Teams erheblich und ermöglichte eine dreimal schnellere Bereitstellung neuer und bestehender ML-Modelle.
Ausgangslage
Die Machine-Learning-Modelle des Kunden mussten manuell trainiert, auf Hyperparameter getuned, gehostet und bereitgestellt werden, und die Nachverfolgung der Experimente erfolgte manuell. Dies verursachte den Data-Science-Teams bei jeder Modelländerung oder jedem neuen Anwendungsfall für ML erheblichen Zeit- und Arbeitsaufwand.
Die Architektur
Die Architektur ist in AWS umgesetzt. Hierbei werden Technologien wie Apache Airflow, Apache Spark, Amazon Glue, Amazon Aurora & AmazonSageMaker, Terraform, GitHub, FastAPI, Splunk Observability und Mlflow verwendet.
synvert Vorteile
Infolgedessen fallen keine Kosten für den „Umzug in die Produktion“ an, da alle Arbeitsabläufe der Data Scientists in der Produktionsumgebung laufen und ein spezielles IAM-Berechtigungsmodell verwenden. Neue ML-Modelle werden in einem autonomen Workflow von den Data Scientists entwickelt und dank der ML-Plattform dreimal schneller als bisher live in der Produktion eingesetzt, einschließlich automatisiertem Modelltraining, Experiment-Tracking, Modell-Hosting und Serving.
Services von synvert
Das synvert-Team hat eine ML-Plattform implementiert, die vollständig automatisiert, testbar, beobachtbar und gut dokumentiert ist. Synvert hat ein Bausteinprinzip entwickelt, das durch deklarative RESTful-Services und verwaltete Komponenten unterstützt wird, die zusammen den Bedarf an DevOps- oder Engineering-Unterstützung minimieren und eine schnelle Bereitstellung neuer und bestehender Modelle gewährleisten.
Sowohl bestehende als auch neue ML-Anwendungsfälle arbeiten in einer hochverfügbaren und stabilen Umgebung, dank erheblicher Investitionen in Teststrategien.