Koneoppimisen seniori-insinööri, LLM-inferenssin optimointi - Nebius B.V. - Palo Alto, Yhdysvallat

Nebius Token Factory rakentaa tekoälyn koulutus- ja mallien jälkikoulutuskapasiteettia huippumallien parantamiseksi. Tämä rooli vastaa infrastruktuurista, joka tekee laajamittaisesta koulutuksesta ja RL-kokeiluista mahdollisia, luotettavia, toistettavia ja tehokkaita. Työ sijoittuu hajautettujen järjestelmien, GPU-suorituskyvyn, mallien koulutuskehysten, RL-putkien ja tuotanto-insinöörityön leikkauspisteeseen. Senior MLE vastaa merkittävistä mallien ja päätepisteiden optimointiprojekteista päästä päähän. Hän on erittäin käytännönläheinen, kykenee ratkaisemaan vaikeita tarjoilun ongelmia itsenäisesti ja pystyy tuottamaan mitattavia parannuksia ilman tiivistä ohjausta. Vastuualueesi: - Vastaa optimointityöstä tiettyjen malliperheiden, asiakaspäätepisteiden tai tarjoilun taustajärjestelmien osalta. - Suorita moottorivertailuja ja suosittele käytännön tarjoilukonfiguraatioita tiettyihin työkuormiin. - Korjaa mallin laatuun tai suorituskykyyn liittyviä heikennyksiä tuotantoon käyttöönoton aikana. - Optimoi LLM- ja VLM-päätepisteet viiveen, läpimenon, muistitehokkuuden, GPU-hyödyntämisen, laadun ja token-kustannusten suhteen. - Käyttööta otto, konfigurointi, vertailu ja laajentaminen inferenssimoottoreille, kuten vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo tai vastaavat järjestelmät. - Rakenna ja tuo tuotantoon mallien kompressio-työnkulkuja, mukaan lukien kvantisointi, kvantisointitietoinen koulutus, tislaus, low-bit-tarjoilu ja tarkkuuden palautus. - Toteuta tai integroi spekulatiivinen dekoodaus, luonnosmallitavat, KV-välimuistin optimointi, etuliitevälimuistitus, chunked prefill, jatkuva eräajo ja erotettu prefill/decode-tarjoilu. - Rakenna toistettavat vertailutyökalut TTFT:lle, TPOT:lle, tokeneille sekunnissa per GPU, p95/p99-viiveelle, GPU-muistille, luotettavuudelle ja token-kustannuksille. - Tee yhteistyötä GPU-ydininsinöörien ja alustainsinöörien kanssa pullonkaulojen diagnosoimiseksi mallikoodin, ytimien, ajonaikan, ajastimen, gatewayn ja klusterikerrosten välillä. - Kirjoita selkeitä suunnitteludokumentteja, suorituskykyraportteja, käyttöönotto-suunnitelmia ja asiakkaille suunnattuja teknisiä selityksiä. Pakolliset taidot: - Vahva Python- ja PyTorch-insinööritaito. - Käytännön kokemus LLM-, VLM- tai suuritehoisten transformer-inferenssijärjestelmien käyttöönotosta tai optimoinnista. - Käytännön tuntemus vähintään yhdestä nykyaikaisesta inferenssipinosta, kuten vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo, Ray Serve, KServe tai vastaavat sisäiset järjestelmät. - Vahva ymmärrys transformer-inferenssin pullonkauloista, mukaan lukien KV-välimuisti, attention, muistiväylän leveys, eräajo, rinnakkaisuus ja pitkän kontekstin tarjoilu. - Kyky perustella kvantitatiivisesti viiveen, läpimenon, laadun, hyödyntämisen ja kustannusten välisiä kompromisseja. - Vahvat viestintätaidot ja kyky tehdä yhteistyötä tutkimus-, ydin-, infrastruktuuri-, tuote- ja asiakastiimien kanssa. Toivottu osaaminen: - Kokemus kvantisointitietoisesta koulutuksesta, jälkikoulutus-kvantisoinnista, FP8, INT8, INT4, NVFP4, MXFP4, AWQ, GPTQ, SmoothQuant tai vastaavista tekniikoista. - Kokemus tislauksesta, spekulatiivisesta dekoodauksesta, EAGLE:sta, Medusasta, monen tokenin ennustamisesta tai muista inferenssin kiihdytysmenetelmistä. - Kokemus agenttisista työkuormista, mukaan lukien työkalujen kutsuminen, strukturoidut tulosteet, suoratoisto-API:t, korkea samanaikaisuus ja monivaiheinen orkestrointi. - CUDA- tai Triton-tuttuus, vaikka rooli ei olisi ensisijaisesti ydininsinöörin rooli. - Avoimen lähdekoodin panokset projekteihin kuten vLLM, SGLang, TensorRT-LLM, FlashInfer, LMCache, PyTorch, Triton, Ray, KServe tai vastaavat.