ML-systemingenjör - Nebius B.V. - Palo Alto, USA

Nebius Token Factory bygger en AI-tränings- och modellefterträningskapacitet för förbättring av frontier-modeller. Denna roll äger infrastrukturen som gör storskalig träning och RL-experiment möjliga, pålitliga, reproducerbara och effektiva. Arbetet ligger i skärningspunkten mellan distribuerade system, GPU-prestanda, ramverk för modellträning, RL-pipelines och produktionsteknik. En Senior ML-systemingenjör äger betydande tränings- eller RL-infrastrukturkomponenter från början till slut. De är mycket praktiskt lagda, kan felsöka svåra distribuerade träningsfel självständigt och kan leverera mätbara förbättringar i experimentgenomströmning, stabilitet och GPU-utnyttjande. Dina ansvarsområden: - Bygga och underhålla distribuerad träningsinfrastruktur för SFT, fortsatt förträning, preferensoptimering och RL-arbetsbelastningar. - Integrera och utöka ramverk som Megatron-LM, DeepSpeed, PyTorch FSDP/DTensor, Ray, verl, slime, AReaL, OpenRLHF eller motsvarande interna system. - Implementera och felsöka parallelliseringsstrategier inklusive tensor-, pipeline-, sekvens/kontext-, expert- och dataparallellism. - Bygga pålitliga komponenter för utrullning, servering av belöningsmodeller, replay/databuffert, checkpointing, utvärdering och experimentorkestrering för RL-träning. - Profilera och förbättra GPU-utnyttjande, kommunikationseffektivitet, minnesanvändning och träningsgenomströmning. - Diagnostisera fel i NCCL, CUDA, PyTorch, Ray, schemaläggare, lagring, nätverk och checkpointing-lager. - Skapa reproducerbara träningskörningar, startskript, instrumentpaneler, runbooks och operationella verktyg för forskaranvändare. - Samarbeta med forskare för att omvandla algoritmiska träningsrecept till skalbara, felsökbara system. - Skriva tydliga designdokument, incidentrapporter, benchmarkrapporter och driftsguider. Krav: - Starka kunskaper i Python och PyTorch-teknik. - Praktisk erfarenhet av distribuerad modellträning, storskaliga ML-system eller GPU-klusterbelastningar. - Praktisk förståelse för flaskhalsar vid transformatorträning, minnestryck, gradient/optimerarstatus, kommunikationskostnader och checkpointing. - Erfarenhet av att felsöka produktions- eller forskningsträningsjobb över flera GPU:er eller noder. - Förmåga att resonera kvantitativt kring genomströmning, utnyttjande, minne, tillförlitlighet, kostnad och forskningshastighet. - Starka kommunikationsfärdigheter och förmåga att samarbeta med forskare, ML-ingenjörer, plattformsingenjörer och ledning. Meriterande: - Erfarenhet av Megatron-LM, DeepSpeed, PyTorch FSDP/DTensor, Ray, Slurm, Kubernetes eller stora interna träningsplattformar. - Erfarenhet av RL-infrastrukturramverk som verl, slime, AReaL, OpenRLHF, TRL eller anpassade PPO/GRPO/RLHF-system. - Bekantskap med NCCL, CUDA, Triton, Nsight, InfiniBand, RDMA, RoCE, H100/H200/B200-kluster eller lagrings-/nätverksflaskhalsar. - Erfarenhet av att stödja SFT, DPO, PPO, GRPO, RLAIF, servering av belöningsmodeller, generering av utrullningar eller agentträningsarbetsbelastningar. - Bidrag till open source inom distribuerad träning, RL-infrastruktur, PyTorch, Ray, Megatron, DeepSpeed eller relaterade system.