Koneoppimisen järjestelmäinsinööri, suurimittakaavainen mallien koulutus ja RL-infrastruktuuri - Nebius B.V. - Palo Alto, Yhdysvallat

Nebius Token Factory rakentaa AI-koulutus- ja mallien jälkikoulutuskapasiteettia huippumallien parantamiseksi. Tässä roolissa vastataan infrastruktuurista, joka tekee suurimittakaavaisesta koulutuksesta ja RL-kokeiluista mahdollisia, luotettavia, toistettavia ja tehokkaita. Työ sijoittuu hajautettujen järjestelmien, GPU-suorituskyvyn, mallien koulutuskehysten, RL-putkien ja tuotanto-insinöörityön risteyskohtaan. Senior ML Systems Engineer vastaa merkittävistä koulutus- tai RL-infrastruktuurikomponenteista päästä päähän. Hän on erittäin käytännönläheinen, kykenee korjaamaan vaikeita hajautetun koulutuksen virheitä itsenäisesti ja pystyy tuottamaan mitattavia parannuksia kokeilujen läpimenoon, vakauteen ja GPU-hyödyntämiseen. Vastuualueesi: - Rakentaa ja ylläpitää hajautettua koulutusinfrastruktuuria SFT-, jatkokoulutus- ja preferenssioptimointi- sekä RL-työkuormille. - Integroida ja laajentaa kehyksiä kuten Megatron-LM, DeepSpeed, PyTorch FSDP/DTensor, Ray, verl, slime, AReaL, OpenRLHF tai vastaavia sisäisiä järjestelmiä. - Toteuttaa ja korjata rinnakkaisuusstrategioita, mukaan lukien tensori-, putki-, sekvenssi/konteksti-, asiantuntija- ja dataparallellismi. - Rakentaa luotettavat rollout-, palkitsemismallin tarjoilu-, replay/datapuskuri-, checkpointing-, evaluointi- ja kokeilujen orkestointikomponentit RL-koulutukseen. - Profiloida ja parantaa GPU-hyödyntämistä, viestinnän tehokkuutta, muistinkäyttöä ja koulutuksen läpimenoa. - Diagnosoida virheitä NCCL-, CUDA-, PyTorch-, Ray-, ajastin-, tallennus-, verkko- ja checkpointing-kerroksissa. - Luoda toistettavia koulutusajoja, käynnistysskriptejä, kojelautoja, runbookeja ja operatiivisia työkaluja tutkimuskäyttäjille. - Tehdä yhteistyötä tutkijoiden kanssa muuttaakseen algoritmiset koulutusreseptit skaalautuviksi ja debugattaviksi järjestelmiksi. - Kirjoittaa selkeitä suunnitteludokumentteja, raportteja vähemmistöistä, benchmark-raportteja ja käyttöoppaita. Pakolliset vaatimukset: - Vahva Python- ja PyTorch-insinööritaito. - Käytännön kokemus hajautetusta mallien koulutuksesta, suurimittakaavaisista ML-järjestelmistä tai GPU-klusterikuormista. - Käytännön ymmärrys transformer-koulutuksen pullonkauloista, muistipaineesta, gradientti/optimoijatiloista, viestintäviiveistä ja checkpointingista. - Kokemus tuotanto- tai tutkimuskoulutusajojen korjaamisesta useilla GPU:illa tai solmuilla. - Kyky perustella kvantitatiivisesti läpimenoa, hyödyntämistä, muistia, luotettavuutta, kustannuksia ja tutkimusnopeutta. - Vahvat viestintätaidot ja kyky tehdä yhteistyötä tutkijoiden, ML-insinöörien, alustainsinöörien ja johdon kanssa. Toivottavaa: - Kokemus Megatron-LM, DeepSpeed, PyTorch FSDP/DTensor, Ray, Slurm, Kubernetes tai suurista sisäisistä koulutusplattformeista. - Kokemus RL-infrastruktuurikehyksistä kuten verl, slime, AReaL, OpenRLHF, TRL tai mukautetuista PPO/GRPO/RLHF-järjestelmistä. - Tuttuus NCCL, CUDA, Triton, Nsight, InfiniBand, RDMA, RoCE, H100/H200/B200-klusterit tai tallennus-/verkkopullonkaulat. - Kokemus SFT-, DPO-, PPO-, GRPO-, RLAIF-, palkitsemismallin tarjoilu-, rollout-generointi- tai agenttikoulutuskuormien tukemisesta. - Avoimen lähdekoodin panokset hajautettuun koulutukseen, RL-infrastruktuuriin, PyTorchiin, Rayhin, Megatroniin, DeepSpeediin tai vastaaviin järjestelmiin.