Inference-infrastrukturingenjör

Om Poolside Under detta decennium kommer världen att skapa artificiell generell intelligens (AGI). Det kommer endast att finnas ett litet antal företag som uppnår detta. Deras förmåga att stapla fördelar och dra ifrån kommer att definiera vinnarna. Dessa företag kommer att röra sig snabbare än någon annan. De kommer att locka till sig världens mest kapabla talanger. De kommer att vara i framkant av tillämpad forskning, teknik, infrastruktur och storskalig driftsättning. De kommer att fortsätta skala upp sin träning till större och mer kapabla modeller. De kommer att ges rätten att resa stora mängder kapital under sin resa för att möjliggöra detta. De kommer att skapa kraftfulla ekonomiska motorer. De kommer att vara besatta av sina användares och kunders framgång. Poolside existerar för att vara detta företag — för att bygga en värld där AI är motorn bakom ekonomiskt värdefullt arbete och vetenskapliga framsteg. Om vårt team Vi grundades i USA och har vårt hem där, men vårt team är distribuerat över Europa och Nordamerika. Vi får vår dos av personligt samarbete (och croissanter) i Paris varje månad i 3 dagar, alltid måndag-onsdag, med en öppen inbjudan att stanna hela veckan. Vi har även längre off-sites en gång om året. vårt team är en multidisciplinär blandning av forsknings-, teknik- och affärsexperter. Det som förenar oss är vår djupa omsorg om det vi bygger tillsammans. Vi befinner oss i en kapplöpning som kräver hårt arbete, intellektuell nyfikenhet och besatthet; för att balansera denna intensitet har vi samlat ett team av ödmjuka och vänliga individer som har byggt den speciella kultur som Poolside har. Genom att bygga kollaborativt och med avsikt skapar vi en sammansatt effekt som driver hela företaget framåt mot vårt uppdrag: att nå AGI genom intelligenssystem byggda för programvaruutveckling. Om rollen Du kommer att arbeta i compute-teamet med fokus på schemaläggning av GPU-arbetsbelastningar och optimering av inferenstjänster. Du kommer att samarbeta med inferens-teamet för att förbättra vår genomströmning och latens för utvärderingar och förstärkningsinlärning. Du kommer att samarbeta med vårt skalbarhetsteam för att fokusera på att stabilisera vår storskaliga feltoleranta träning. Du kommer också att ha nära kontakt med infrastrukturteamet för att säkerställa att våra GPU-noder är hälsosamma och fullt utnyttjade. Vi är ett av nyckelteamen för att förbättra forskningshastigheten. Varje förbättring av våra system har en bred inverkan på forskare och kan bidra till Poolsides uppdrag att bygga en frontier-modell. Ditt uppdrag Att optimera GPU-utnyttjandet i hela företaget och att leverera en stabil och skalbar stack för inferenstjänster till Poolsides forskare. Ansvarsområden - Designa och utveckla interna schemaläggningssystem för att maximera GPU-utnyttjandet - Bygga API:er och verktyg för att hjälpa till att hantera livscykeln för GPU-arbetsbelastningar och felsöka fel - Designa och förbättra kontrollplanet för inferens för att påskynda modellutrullning och hantering av inferensförfrågningar - Samarbeta med forskningen för att kontinuerligt förbättra forskningshastigheten Kompetens & erfarenhet - Starka programmeringskunskaper i Go, eller andra liknande språk - Stark bakgrund inom systemteknik: distribuerade system, schemaläggare, kontrollplan eller högkapacitets-dataplan. - Produktionserfarenhet av Kubernetes-internals — controllers, informers, operators — inte bara driftsättning i det. - Fokus på observerbarhet och felsökbarhet: bygga ett system som är enkelt att navigera vid felsökning av produktionsproblem - Plus: erfarenhet av system som servar storskaliga inferensförfrågningar Process - Introduktionssamtal med en medlem av vårt team - Teknisk intervju(er) med en av våra ingenjörer - Team-fit-samtal med People-teamet - Slutintervju med en av våra grundande ingenjörer Förmåner - Helt distansarbete & flexibla arbetstider - 37 dagars semester & helgdagar per år - Hälsförsäkringstillägg för dig och dina anhöriga - 16 veckors flexibel, fullbetald föräldraledighet - Bidrag för välmående, kontinuerligt lärande & hemmakontor - Företagsutrustning tillhandahålls - Täta teamträffar - Mångsidig och inkluderande människofokuserad kultur