LLM-inferensprestandatekniker

VAD DU GÖR PÅ AMD ÄNDRAR ALLT På AMD är vårt uppdrag att bygga fantastiska produkter som accelererar nästa generations beräkningsupplevelser – från AI och datacenter till PC, gaming och inbäddade system. Grundade i en kultur av innovation och samarbete tror vi att verkliga framsteg kommer från djärva idéer, mänsklig uppfinningsrikedom och en delad passion för att skapa något extraordinärt. När du går med i AMD kommer du att upptäcka att den verkliga skillnaden är vår kultur. Vi tänjer på gränserna för innovation för att lösa världens viktigaste utmaningar – vi strävar efter excellens i utförandet, samtidigt som vi är direkta, ödmjuka, samarbetsvilliga och inkluderande av olika perspektiv. Gå med oss när vi formar framtiden för AI och bortom det. Tillsammans utvecklar vi din karriär. ROLLEN: Fokus för denna roll är prestandaanalys och optimering av AI-tjänster i produktionsklass; i synnerhet i AMD Inference Microservice (AIM)-ekosystemet. Du kommer att vara en del av ett mångsidigt och ambitiöst team som ansvarar för att säkerställa tillförlitlig prestanda för olika AI-mikrotjänster på olika hårdvarukonfigurationer. Du kommer att arbeta med toppmoderna AI-verktyg och modeller på banbrytande AI-infrastruktur. Denna roll kräver både djup förståelse för LLM och praktisk kunskap om AI-verktyg som inferensservrar. HUVUDANSVAR: LLM och AI-prestanda: - Mäta, analysera och optimera prestanda för LLM och AI-tjänster baserat på mätvärden som latens och genomströmning för olika tränings- och inferensfall. - Designa och implementera metodik för att mäta modellprestanda och automatisera optimeringsstrategier för att identifiera optimala konfigurationer - Hålla sig uppdaterad om aktuella framsteg inom AI, modeller, API:er och open source-ekosystem, och översätta dessa till skalbara lösningar LLM och AI-verktyg: - Designa och utveckla verktyg för att mäta och analysera prestandan hos AI-modelldistributioner och effekten av olika konfigurationer och infrastruktur, både fristående och i Kubernetes-kluster. - Utveckla och underhålla verktyg för att interagera med olika ekosystemfunktioner för att förbättra utvecklar- och användarupplevelsen. - Utveckla och underhålla interna verktyg för att stödja prestandajustering av LLM och AI i stor skala ERFARENHET & NYCKELKVALITETER - Erfaren av att distribuera LLM och andra AI-modelltyper i produktion med ramverk som vLLM, SGLang eller liknande verktyg. - Djup kunskap om LLM-servering och utvärdering av prestandamått - Bekväm med Python-programvaruutveckling och bash-skriptning. - Erfarenhet av Docker, Kubernetes och Helm. - Vilja och förmåga att kontinuerligt lära sig i en snabbt föränderlig miljö - Initiativförmåga, pragmatisk problemlösning och goda samarbetsegenskaper - Kandidatexamen eller masterexamen i datavetenskap, datorteknik, elektroteknik eller ett motsvarande område BRA ATT HA - Erfarenhet av flermåls hyperparameteroptimering - Kunskap om GPU-arkitektur, kärnutveckling och felsökning (C/C++/CUDA).