Prestandaingenjör, Containers/Serverless - Verda - Distans - Globalt

Verda är ett teknikföretag som bygger nästa generation av molninfrastruktur för AI. Vi driver GPU-kluster över Europa, USA och Asien, och hanterar några av de mest krävande AI/ML-arbeten i produktion idag — från frontier-modellträning till latenskänslig inferens i stor skala. Vi är ett team med låg hierarki som levererar pragmatiskt och ger ingenjörer verkligt ägarskap för systemen de bygger. Att köra ML/AI-arbeten i containrar och serverlösa miljöer verkar enkelt på en presentation men är det inte i produktion. Mellan objektlagret och GPU:erna finns ett dussin lager — bildhämtningar, nätverksfilsystem, sidu-välimuisti, modelluppladdare, runtime-initialisering — och varje lager bidrar tyst till hur lång tid ett arbete tar att bli användbart och hur snabbt det körs när det väl är igång. Vi söker en prestandaingenjör som ska äga detta område för Verdas container- och serverless GPU-plattformar. Du kommer att karakterisera var tid och genomströmning faktiskt fördelas över hela stacken och omvandla denna förståelse till konkreta förbättringar av plattformen. Kallstartlatens är ett av de mest synliga uttrycken för problemet — en 70B-modell som tar nittio sekunder att ladda är ett nittio sekunders avbrott ur användarens perspektiv — men samma grundläggande principer påverkar också steady-state inferens, träningstidssteg och checkpoint-beteende. Vi vill ha någon som förstår hur alla dessa delar samverkar. Profilera och optimera hela vägen för containeriserade ML/AI-arbeten: bilddistribution, start, viktladdning, inferensens hetaste väg. Designa och finjustera lagret mellan S3-kompatibla objektlagring och GPU-noder — förprefetchers, cachenivåer, nätverksfilsystem och lokala NVMe-layouts. Aja mätbara vinster på tid till första token, träningstidssteg och kallstartlatens över både interna tjänster och kundarbeten. Benchmarka och karakterisera verkliga arbetsbelastningar, inte syntetiska, och omvandla resultaten till plattformsändringar. Arbeta över beräknings-, nätverks- och plattformsgrupper för att ta bort flaskhalsar end-to-end, inte bara på ett lager. Publicera interna (och ibland externa) rapporter så att resten av organisationen — och våra kunder — förstår avvägningarna. Hålla sig à jour med det utvecklande ML/AI-ekosystemet.