Senior maskininlärningsingenjör inom optimering av LLM-inferens

Om Nebius: Nebius leder en ny era inom molninfrastruktur för den globala AI-ekonomin. Vi bygger en AI-molnplattform med hela teknikstacken som hjälper utvecklare och företag från data- och modellträning till driftsättning i produktion, utan kostnaden och komplexiteten i att bygga en stor intern AI/ML-infrastruktur. Byggd av ingenjörer, för ingenjörer. Från storskalig GPU-orkestrering till inferensoptimering tar vi oss an de svåra problemen inom beräkning, lagring, nätverk och tillämpad AI. Vi är börsnoterade på Nasdaq (NBIS), har huvudkontor i Amsterdam och verksamhet globalt med forsknings- och utvecklingsnav i Europa, Storbritannien, Nordamerika och Israel. Vårt team på över 1 500 personer omfattar hundratals ingenjörer med djup kompetens inom hårdvara, programvara och AI-forskning och -utveckling. Rollen Som senior maskininlärningsingenjör i Applied AI-teamet på Nebius Token Factory ansvarar du för optimering av modeller och endpoints från modellartefakter till driftsättning i produktion. Arbetet omfattar modellernas interna funktion, kvantisering och modellkomprimering, spekulativ avkodning, optimering av KV-cache, inferensmotorer, serveringsarkitektur och benchmarktester för att förbättra latens, genomströmning, minneseffektivitet, GPU-utnyttjande och kostnad per token utan att försämra kvalitet eller tillförlitlighet. Du samarbetar med kärn- och plattformsingenjörer för att undersöka serveringsproblem, jämföra konfigurationer och lösa försämringar av prestanda och kvalitet. Du utvärderar optimeringar på modell- och motornivå tillsammans med distribuerade inferenslösningar, bland annat begäranderoutning, schemaläggning, samordning av prefill och avkodning samt GPU-körning över flera noder. Förbättringarna valideras med reproducerbara benchmarktester och säkra utrullningar i produktion under verkliga arbetsbelastningar. Dina ansvarsområden - Ansvara för optimeringsprojekt för specifika modellfamiljer, kundendpoints eller serveringsbackends. - Jämföra inferensmotorer och rekommendera serveringskonfigurationer för enskilda arbetsbelastningar. - Diagnostisera försämringar av modellkvalitet och prestanda under produktionsutrullningar. - Förbättra latens, genomströmning, minneseffektivitet, GPU-utnyttjande, kvalitet och kostnad per token för LLM- och VLM-endpoints. - Driftsätta, konfigurera, benchmarktesta och vidareutveckla motorer som vLLM, SGLang, TensorRT-LLM, Triton Inference Server och NVIDIA Dynamo. - Utveckla komprimeringsflöden för produktionsmodeller med kvantisering, kvantiseringsmedveten träning, destillering, lågbitarsservering och återställning av noggrannhet. - Implementera eller integrera spekulativ avkodning, utkastmodeller, optimering av KV-cache, prefixcache, segmenterad prefill, kontinuerlig batchning och separerad prefill-/decode-servering. Vid separation av prefill och avkodning (PDD) utvärderar du överföring av KV-cache, placering av arbetare och kapacitetsbalansering för att avgöra vilka arbetsbelastningar som gynnas av arkitekturen. - Utforma och förbättra LLM-begäranderoutrar och schemaläggningspolicyer som balanserar arbetarnas utnyttjande, köer, begärandenas egenskaper och KV-cache-lokalitet, samtidigt som latens- och tillförlitlighetsmål uppnås. - Skala inferens för täta modeller och modeller med blandning av experter över flera GPU-noder. Välja och finjustera tensor-, pipeline-, data- och expertparallellisering, inklusive WideEP, med hänsyn till hårdvarutopologi, expertbelastning och kommunikationskostnader. - Bygga reproducerbara benchmarkmiljöer som mäter TTFT, TPOT, token per sekund och GPU, p95/p99-latens, GPU-minne, tillförlitlighet och kostnad per token. Validera arkitekturval med representativ trafik och konsekventa GPU-budgetar. - Samarbeta med GPU-kärn- och plattformsingenjörer för att spåra flaskhalsar i modellkod, kärnor, körmiljö, schemaläggare, gateway och klusterlager. - Ta fram designdokument, prestandarapporter, utrullningsplaner och tekniska förklaringar för kunder. Krav - Stark ingenjörskompetens i Python och PyTorch. - Praktisk erfarenhet av att driftsätta eller optimera inferens för LLM, VLM eller transformermodeller med hög genomströmning. - Praktisk kunskap om minst en modern inferensstack, exempelvis vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo, Ray Serve, KServe eller ett motsvarande internt system. - God förståelse för flaskhalsar i transformerinferens som rör KV-cache, attention, minnesbandbredd, batchning, parallellisering och servering av långa kontexter. - Förmåga att mäta avvägningar mellan latens, genomströmning, kvalitet, utnyttjande och kostnad. - Erfarenhet av att utforma eller optimera distribuerad inferensarkitektur och praktiskt arbete inom ett eller flera områden, exempelvis begäranderoutning, distribuerad schemaläggning, PDD, inferens över flera noder eller expertparallellisering. - God kommunikations- och samarbetsförmåga med forsknings-, kärn-, infrastruktur-, produkt- och kundteam. Meriterande - Erfarenhet av kvantiseringsmedveten träning, kvantisering efter träning, FP8, INT8, INT4, NVFP4, MXFP4, AWQ, GPTQ eller SmoothQuant. - Erfarenhet av destillering, spekulativ avkodning, EAGLE, Medusa, prediktion av flera token eller liknande metoder för att accelerera inferens. - Erfarenhet av att stödja agentbaserade arbetsbelastningar med verktygsanrop, strukturerade utdata, strömmande API:er, hög samtidighet och orkestrering i flera steg. - Kännedom om CUDA eller Triton; rollen kräver inte att kärnteknik är kandidatens främsta specialisering. - Bidrag till projekt med öppen källkod, exempelvis vLLM, SGLang, TensorRT-LLM, FlashInfer, LMCache, PyTorch, Triton, Ray eller KServe. - Erfarenhet av att implementera cachemedveten begäranderoutning, PDD eller WideEP, inklusive felsökning av kommunikationsflaskhalsar och obalanserad belastning. - Kännedom om GPU-kommunikationsbibliotek och sammankopplingar, exempelvis NCCL, NVLink, InfiniBand eller RoCE. Förmåner och fördelar: - Konkurrenskraftig ersättning - Karriärutveckling och lärandemöjligheter - Flexibilitet och eget ansvar - Samarbetsinriktad och innovativ kultur - Möjlighet att arbeta med AI-projekt med stor påverkan - Internationell miljö och skickliga team Så är det att arbeta på Nebius: Högt tempo – djärvt tänkande – ständig utveckling – meningsfull påverkan – förtroende och verkligt ägarskap – möjlighet att forma AI:s framtid Likabehandling: Nebius är en arbetsgivare som erbjuder lika möjligheter. Vi arbetar för en inkluderande och mångsidig arbetsplats och för lika anställningsmöjligheter inom alla delar av verksamheten. Vi diskriminerar inte på grund av ras, hudfärg, religion, kön (inklusive graviditet), nationellt ursprung, härkomst, ålder, funktionsnedsättning, genetisk information, civilstånd, veteranstatus, sexuell läggning, könsidentitet eller könsuttryck eller någon annan egenskap som skyddas av tillämplig lag. Sökande måste ha rätt att arbeta i det land där de söker och måste kunna styrka sin arbetsbehörighet som villkor för anställning. Kontakta oss om du behöver anpassningar under ansökningsprocessen.