Senior-soveltava tutkija, tehokas LLM-inferenssi ja mallien optimointi - Nebius B.V. - Palo Alto, Yhdysvallat

Nebius Token Factory tar vastaan tutkijoita, jotka kykenevät muuttamaan uusimpien inferenssin pullonkaulojen tutkimusongelmiksi, julkaisemaan uskottavaa työtä ja auttamaan tulosten viemisessä tuotantoon. Tämä ei ole pelkkä artikkeleihin keskittyvä tutkimusrooli. Soveltavan tutkijan odotetaan suunnittelevan tarkkoja kokeita, kirjoittavan vahvaa koodia, tekevän yhteistyötä insinöörien kanssa ja muuttavan tutkimuksen käytännön inferenssikykvyyksiksi. Senior-soveltava tutkija vastaa hyvin määritellyistä tutkimus- ja tuotanto-optimointiprojekteista. Hän pystyy julkaisemaan tai valmistelemaan korkealaatuista teknistä työtä ja samalla tuottamaan koodia, kokeita ja prototyyppejä, joita insinöörit voivat hyödyntää. Vastuualueesi: - Vastaa kohdistetuista tutkimusprojekteista hypoteesista kokeilun, ablaation ja prototyypin kautta tuotantoon siirtoon. - Valmistele sisäisiä raportteja, teknisiä blogeja tai artikkeleita, kun työ on ulkoisesti uskottavaa. - Tee yhteistyötä suoraan MLE-insinöörien kanssa varmistaaksesi, että tutkimusprototyypit muuttuvat käyttökelpoisiksi tuotantokomponenteiksi. - Määrittele ja toteuta tutkimusohjelmia tehokkaassa LLM- ja VLM-inferenssissä mitattavalla tuotantovaikutuksella. - Keksi, arvioi ja tuo tuotantoon menetelmiä kvantisointiin, QAT:iin, tislaamiseen, spekulatiiviseen dekoodaukseen, KV-välimuistin uudelleenkäyttöön, KV-välimuistin pakkaamiseen, pitkän kontekstin inferenssiin, MoE-reititykseen sekä mallin ja ajoympäristön yhteisoptimointiin. - Rakenna korkealaatuisia prototyyppejä PyTorchilla, Tritonilla, CUDA-työkaluilla tai inferenssipalvelinkehyksillä, ja tee yhteistyötä MLE- ja alustainsinöörien kanssa niiden tuotantoonvientiä varten. - Suunnittele tarkka arviointimetodologia, joka kattaa laadun, latenssin, läpimenon, numeerisen stabiilisuuden, muistinkulutuksen, hännän latenssin ja kustannuksen per token. - Julkaise artikkeleita, teknisiä raportteja, blogikirjoituksia ja avoimen lähdekoodin artefakteja, jotka rakentavat Nebius Token Factoryn ulkoista uskottavuutta. - Tee yhteistyötä MLE-, GPU-ydin-, taustainfrastruktuuri-, tuote- ja asiakastiimien kanssa korkean vipuvaikutuksen tutkimuskohteiden valitsemiseksi. - Menturoi insinöörejä ja tutkijoita kokeellisessa suunnittelussa, tieteellisessä tarkkuudessa sekä mallin ja järjestelmän välisissä kompromisseissa. Pakolliset vaatimukset: - Tohtorin tutkinto tietojenkäsittelytieteestä, koneoppimisesta, ML-järjestelmistä, tietokonejärjestelmistä, tietokonearkkitehtuurista, sähkötekniikasta, soveltavasta matematiikasta tai läheisestä alasta. - Vahva julkaisuhistoria tai vastaavat tutkimusartefaktit ML:n, ML-järjestelmien, tehokkaan inferenssin, mallien pakkaamisen, kvantisoinnin, tislaamisen, palvelujärjestelmien tai vastaavien alojen saralta. - Vahva käytännön koodaustaito Pythonilla ja PyTorchilla; kyky siirtyä ideasta kokeiluun ja prototyyppiin nopeasti. - Syvä ymmärrys LLM- ja VLM-malleista, transformer-inferenssistä, dekoodausalgoritmeista, mallien pakkaamisesta, kvantisoinnista ja tuotantopalvelun kompromisseista. - Vahvat kokeellisen suunnittelun taidot, mukaan lukien ablaatiot, vertailukohdat, mittarit, tilastollinen päättely ja vika-analyysi. - Erinomaiset kirjalliset ja suulliset viestintätaidot. Toivottavaa: - Ensimmäisen kirjoittajan julkaisuja NeurIPS, ICML, ICLR, MLSys, ACL, EMNLP, ASPLOS, OSDI, SOSP, ISCA, HPCA tai vastaavissa foorumeissa. - Kokemusta ML-mallien tai inferenssioptimointien käyttöönotosta tuotannossa. - Kokemusta vLLM:stä, SGLangista, TensorRT-LLM:stä, NVIDIA Dynamosta, FlashAttentionista, FlashInferistä, Tritonista, CUDA:sta tai PyTorch-sisäisistä toiminnoista. - Kokemusta jälkikoulutuksesta, SFT:stä, DPO:sta, RLHF:stä, RLAIF:stä, preferenssioptimoinnista tai synteettisen datan generoinnista, kun ne liittyvät inferenssin laatuun tai tehokkuuteen. - Avoimen lähdekoodin tutkimusartefakteja, laajasti käytettyjä vertailukohtia, korkealaatuisia teknisiä blogeja tai kutsuttuja puheita tehokkaista AI-järjestelmistä.