LLM-inferenssin suorituskyvyn insinööri

SITÄ, MITÄ TEET AMD:LLÄ, MUUTTAA KAIKEN AMD:n missio on rakentaa loistavia tuotteita, jotka nopeuttavat seuraavan sukupolven tietojenkäsittelykokemuksia – tekoälystä ja datakeskuksista PC-koneisiin, pelaamiseen ja upotettuihin järjestelmiin. Innovaatioiden ja yhteistyön kulttuuriin pohjautuen uskomme, että todellinen edistys syntyy rohkeista ideoista, inhimillisestä kekseliäisyydestä ja yhteisestä intohimosta luoda jotain poikkeuksellista. Liityessäsi AMD:lle huomaat, että todellinen erottava tekijä on kulttuurimme. Haastamme innovaatioiden rajoja ratkaistaksemme maailman tärkeimpiä ongelmia – tavoittelemalla erinomaisuutta suorituksessa ja ollen samalla suoria, nöyriä, yhteistyökykyisiä ja erilaisia näkökulmia arvostavia. Liity meihin muovaamaan tekoälyn ja sen jälkeisen ajan tulevaisuutta. Yhdessä edistämme uraasi. ROOLI: Tämän roolin keskiössä on tuotantotason tekoälypalveluiden suorituskyvyn analysointi ja optimointi; erityisesti AMD Inference Microservice (AIM) -ekosysteemissä. Olet osa monipuolista ja kunnianhimoista tiimiä, joka vastaa erilaisten tekoälymikropalveluiden luotettavasta suorituskyvystä eri rautakonfiguraatioilla. Työskentelet uusimmilla tekoälytyökaluilla ja -malleilla huipputason tekoälyinfrastruktuurissa. Rooli edellyttää sekä syvää ymmärrystä suurista kielimalleista (LLM) että käytännön osaamista tekoälytyökaluista, kuten inferenssipalvelimista. KESKEISET VASTUUALUEET: LLM- ja tekoälyn suorituskyky: - Mittaa, analysoi ja optimoi LLM- ja tekoälypalveluiden suorituskykyä mittareiden, kuten viiveen ja läpiviennin, perusteella erilaisissa koulutus- ja inferenssikäyttötapauksissa. - Suunnittele ja toteuta malleiden suorituskyvyn mittaamiseen tarkoitettuja menetelmiä ja automatisoi optimointistrategioita optimaalisten konfiguraatioiden löytämiseksi - Seuraa tekoälyn, mallien, rajapintojen ja avoimen lähdekoodin ekosysteemien nykyisiä edistysaskeleita ja muuta ne skaalautuviksi ratkaisuiksi LLM- ja tekoälytyökalut: - Suunnittele ja kehitä työkaluja tekoälymallien käyttöönottojen suorituskyvyn mittaamiseen ja analysointiin sekä eri konfiguraatioiden ja infrastruktuurin (itsenäiset ja Kubernetes-klusterit) vaikutusten arviointiin. - Kehitä ja ylläpidä työkaluja eri ekosysteemitoimintojen käyttöön kehittäjä- ja käyttäjäkokemuksen parantamiseksi. - Kehitä ja ylläpidä sisäisiä työkaluja LLM- ja tekoälyn suorituskyvyn hienosäädön tukemiseen suuressa mittakaavassa KOKEMUS JA AVAINKVALITEETIT - Kokemusta LLM-mallien ja muiden tekoälymallityyppien käyttöönotosta tuotantoon käyttäen kehyksiä kuten vLLM, SGLang tai vastaavia työkaluja. - Syvällinen tietämys LLM-palveluista ja suorituskykymittareiden arvioinnista - Vahva osaaminen Python-ohjelmistokehityksessä ja bash-skriptauksessa. - Kokemusta Dockerin, Kubernetesin ja Helmin käytöstä. - Halu ja kyky oppia jatkuvasti nopeasti muuttuvassa ympäristössä - Aloitekyky, pragmaattinen ongelmanratkaisukyky ja erinomaiset yhteistyötaidot - Kandidaatin tai maisterin tutkinto tietojenkäsittelytieteestä, tietokoneinsinöörityöstä, sähkötekniikasta tai vastaavalta alalta HYVÄT LISÄT - Kokemus monitavoitteisesta hyperparametrien optimoinnista - Tietomys GPU-arkkitehtuurista, kernel-kehityksestä ja debuggaamisesta (C/C++/CUDA).