Senior ML Engineer, DataBricks

February 8

Apply Now

Receive Emails with Similar Jobs

CRODU

WebsiteLinkedInAll Job Openings

CRODU is a company that specializes in providing recruitment services, offering on-demand experts for both IT and Non-IT projects. They focus on building dedicated teams that can support a company's project management, utilizing experts to drive business growth and sustainability. CRODU has experience in managing various project aspects including planning, analysis, and execution to deliver on-time and on-budget solutions. With a strong network of professional experts in Poland, they work across different industries to provide reliable and flexible support tailored to client needs, including the development of mobile health applications and other tech solutions. Their commitment to sustainability and impactful results is a key component of their services.

11 - 50 employees

🎯 Recruitment

☁️ SaaS

📋 Description

• Projekt dotyczy migracji modelu ML z różnych narzędzi AWS do DataBricks dla klienta z USA • Praca przewidziana jest na około 3 miesiące • Praca w zespole, nad którym będzie czuwać architekt z zespołu z USA • Ocena wymagań projektowych, analiza obecnej oraz stworzenie nowej architektury modelu • Przygotowanie platformy do integracji z Databricks oraz zapewnienie zgodności i konfiguracji Unity Catalog • Przetwarzanie i transformacja danych z agregacją metryk dla dwóch powiązanych zadań Glue • Tworzenie pipeline’ów ETL do przetwarzania danych o wizytach na platformie i użytkownikach • Implementacja MLOps z wykorzystaniem MLflow • Uruchomienie modelu na Databricks Serving Endpoints w celu testowania opóźnień • Stworzenie ram testowych i wsparcie zespołu Tealium w testowaniu • Przygotowanie planu implementacji do uruchomienia na żywo • Dokumentacja wyników pracy z wykorzystaniem Unity Catalog

🎯 Requirements

• 6+ lat doświadczenia w obszarach data engineering • Solidne doświadczenie w obszarach ML • Doświadczenie z MLOps oraz MLflow • Bardzo dobra znajomość Apache Spark oraz platformy DataBricks • Doświadczenie w pracy w środowisku AWS • Doświadczenie w przeprowadzaniu podobnych migracji • Umiejętności interpersonalne i zespołowe • Umiejętność podejmowania inicjatywy i samodzielność • Angielski na poziomie umożliwiającym swobodną komunikację w zespole • Doświadczenie w projektowaniu i optymalizacji przepływów danych za pomocą, DBT, SSIS, TimeXtender lub podobnych rozwiązań (ETL, ELT) • Doświadczenie z dowolnymi platformami big data lub noSQL (Redshift, Hadoop, EMR, Google Data itp.)

🏖️ Benefits

• Prywatna opieka medyczna (Medicover) • Karta Multisport dla kontraktorów