Senior Machine Learning-ingenjör - Nebius B.V. - Palo Alto, USA

Nebius Token Factory bygger en förmåga för AI-träning och modellefterträning för förbättring av frontier-modeller. Denna roll äger infrastrukturen som gör storskalig träning och RL-experiment möjliga, pålitliga, reproducerbara och effektiva. Arbetet ligger i skärningspunkten mellan distribuerade system, GPU-prestanda, ramverk för modellträning, RL-pipelines och produktionsteknik. En Senior MLE äger omfattande optimeringsprojekt för modeller och slutpunkter från start till mål. De är mycket praktiskt lagda, kan felsöka svåra serveringsproblem självständigt och kan leverera mätbara förbättringar utan behov av omfattande övervakning. Dina ansvarsområden: - Äga optimeringsarbete för specifika modellfamiljer, kundslutpunkter eller serveringsbackender. - Köra motorjämförelser och rekommendera praktiska serveringskonfigurationer för specifika arbetsbelastningar. - Felsöka regressioner i modellkvalitet eller prestanda under produktionsutrullningar. - Optimera LLM- och VLM-slutpunkter för latens, genomströmning, minneseffektivitet, GPU-utnyttjande, kvalitet och kostnad per token. - Driftsätta, konfigurera, benchmarka och utöka inferensmotorer som vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo eller liknande system. - Bygga och produktionssätta arbetsflöden för modellkomprimering, inklusive kvantisering, kvantiseringsmedveten träning, destillering, lågbit-servering och återställning av noggrannhet. - Implementera eller integrera spekulativ avkodning, utkastmodell-metoder, KV-cache-optimering, prefix-caching, chunked prefill, kontinuerlig batchning och disaggregerad prefill/decode-servering. - Bygga reproducerbara benchmark-verktyg för TTFT, TPOT, tokens per sekund per GPU, p95/p99-latens, GPU-minne, tillförlitlighet och kostnad per token. - Samarbeta med GPU-kärntekniker och plattformsingenjörer för att diagnostisera flaskhalsar i modellkod, kärnor, runtime, schemaläggare, gateway och klusterlager. - Skriva tydliga designdokument, prestandarapporter, utrullningsplaner och tekniska förklaringar för kunder. Krav: - Starka kunskaper i Python och PyTorch. - Praktisk erfarenhet av att driftsätta eller optimera LLM, VLM eller högpresterande transformer-inferenssystem. - Praktisk kunskap om minst en modern inferensstack såsom vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo, Ray Serve, KServe eller motsvarande interna system. - Stark förståelse för flaskhalsar i transformer-inferens, inklusive KV-cache, attention, minnesbandbredd, batchning, parallellism och långkontext-servering. - Förmåga att resonera kvantitativt kring avvägningar mellan latens, genomströmning, kvalitet, utnyttjande och kostnad. - Starka kommunikationsfärdigheter och förmåga att samarbeta med forsknings-, kärn-, infrastruktur-, produkt- och kundteam. Meriterande: - Erfarenhet av kvantiseringsmedveten träning, post-training kvantisering, FP8, INT8, INT4, NVFP4, MXFP4, AWQ, GPTQ, SmoothQuant eller relaterade tekniker. - Erfarenhet av destillering, spekulativ avkodning, EAGLE, Medusa, prediktion av flera tokens eller andra metoder för inferensacceleration. - Erfarenhet av agentiska arbetsbelastningar, inklusive verktygsanrop, strukturerade utdata, streaming-API:er, hög samtidighet och flerstegsorkestrering. - Bekantskap med CUDA eller Triton, även om rollen inte primärt är en kärnteknikroll. - Bidrag till open source-projekt som vLLM, SGLang, TensorRT-LLM, FlashInfer, LMCache, PyTorch, Triton, Ray, KServe eller relaterade projekt.