Senior Machine Learning Engineer

Nebius Token Factory rakentaa tekoälykoulutuksen ja mallin jälkikoulutuskyvyn rajoja mullistavien mallien parantamiseen. Tämä rooli omistaa infrastruktuurin, jolla suurikokoisten koulutusten ja RL-kokeilujen toteuttaminen on mahdollista, luotettava, toistettava ja tehokas. Työskentely sijoittuu hajautettujen järjestelmien, GPU-suorituskyvyn, mallien koulutuskehysten, RL-putkistojen ja tuotantotekniikan leikkauspisteeseen. Senior ML-insinööri omistaa merkittävät malli- ja päätepiste-optimointiprojektit alusta loppuun. Hän on syvästi hands-on, pystyy virheenkorjaukseen itsenäisesti, ja voi tuottaa mitattavia parannuksia ilman suurta valvontaa. Tehtävät: omistaa optimoidut työt tietyille malliperheille, asiakkaiden päätepisteille tai palveleville backendeille; suorittaa moottorivertailuja ja suositella käytännöllisiä palvelinasetuksia; virheenkorjaus tuotantoon oton aikana; optimoida LLM- ja VLM-päätepisteet viiveen, läpäisyn, muistitehokkuuden, GPU-käytön, laadun ja token-kustannusten parantamiseksi; ottaa käyttöön, konfiguroida, benchmarkata ja laajentaa inferenssi-moottoreita kuten vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo tai vastaavat; rakentaa ja tuotantovalio mallikompressioprosesseja mukaan lukien kvantisointi ja distillaatio; toteuttaa spekulatiivista dekoodausta, KV-välimuistia, etukäteen jäsennellyn dekoodauksen ja virtaviivaistetun erädekoodauksen; rakentaa toistettavat benchmark-harjoitukset; tehdä yhteistyötä GPU-ytininsinöörien ja alustainsinöörien kanssa ongelmien diagnosoinnissa; kirjoittaa suunnitteludokumentteja ja käyttöönoton suunnitelmia; sekä tehdä yhteistyötä tutkimus-, ydin-, infrastruktuuri-, tuotepalvelujen ja asiakkaiden kanssa. Vaaditut taidot: vahva Python- ja PyTorch-osaaminen; käytännön kokemus LLM/VLM tai suurten läpivirtaisten transformer-inferenssijärjestelmien käyttöönotosta tai optimoinnista; kokemusta vähintään yhdestä nykyaikaisesta inferenssirekisteristä kuten vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo, Ray Serve, KServe tai vastaavat; syvällinen ymmärrys transformer-inferenssin pullonkauloista; kyky mitata latenssia, läpäisyä, laatua, hyödyntämistä ja kustannuksia; vahva viestintätaidot. Edut: kvantisointikoulutus, post-train kvantisointi, FP8/INT8/INT4, distillaatio, spekulatiivinen dekoodaus ja muut nopeutusmenetelmät; CUDA/Triton tuntemus; avoimen lähdekoodin panokset mainittuihin projekteihin. Palo Alto, Kalifornia. Kansainvälinen ympäristö ja mahdollisuus työskennellä merkittäviin AI-projekteihin.