Dataingenjör

Jobbtitel: DataBrick-dataingenjör Plats: Över hela USA, vilken plats som helst Sammanfattning Databricks-dataingenjören äger den kompletta migrationsstrategin, design av målaritektur och tekniskt genomförande av att flytta gamla ETL-arbetsbelastningar till Databricks Lakehouse. Han kommer att fastställa migrationsstandarder, optimera PySpark-pipelines, orkestrera komplexa dataflöden och distribuera proprietära automatiseringsverktyg för att säkerställa en sömlös, högpresterande övergång från gamla system. Nyckelhuvudansvar Arkitektonisk strategi och styrning - Designa målaritekturen för Databricks Lakehouse med hjälp av Delta Lake, Photon och Unity Catalog. - Fastställa globala standarder för kodrefaktorering, optimeringsbenchmarks och bästa praxis för PySpark. - Lösa mycket komplexa beroendekartläggningar och arkitektera sömlösa strategier för drift utan avbrott. - Leda den tekniska driftsättningen och integrationen av specialiserade migrationsacceleratorer Praktisk teknik och optimering - Granska automatiserad utdata från migrationsverktyg och manuellt refaktorera komplex gammal logik till högpresterande PySpark-notebooks. - Eliminera gamla anti-mönster såsom massiv rad-för-rad-behandling och ineffektiva sökningar. - Optimera PySpark-kodens prestanda med hjälp av avancerade Spark-funktioner inklusive Z-Ordering, partitionering och cachning. - Bygga robusta Databricks-arbetsflöden och orkestrera komplexa DAG:ar baserat på omfattande källans härkomst. Tekniska färdigheter och kompetenser - Kärnplattformar: Databricks, Delta Lake, Unity Catalog, Photon, DataStage. - Språk och ramverk: PySpark, Python, SQL, Shell Scripting. - Moln och DevOps: AWS tillsammans med CI/CD-driftsättningspipelines. - Orkestrering: Apache Airflow, Databricks Workflows. Löneintervallet för denna roll är 120k - 150k USD per år inklusive eventuella bonusar eller rörlig lön. Tech Mahindra erbjuder även förmåner som sjuk-, syn-, tand-, liv- och invaliditetsförsäkring samt betald ledighet (inklusive helgdagar, föräldraledighet och sjukledighet, enligt lag).