AI-infrastrukturingenjör

Bygg framtiden för öppen finans Payward - moderbolaget bakom Kraken, NinjaTrader, Breakout, xStocks, Payward Services och CF Benchmarks - har under de senaste 15 åren byggt en av branschens mest moderna och globalt tillgängliga finansiella infrastrukturplattformar, skapad för att främja ett öppet, globalt finansiellt system. Teamet Kraken grundades 2011 och är en av världens äldsta kryptoplattformar, betrodd av över 10 miljoner individer och institutioner över hela världen. Det erbjuder spot-handel, marginalhandel, terminer, staking och OTC-tjänster, med produkter byggda för både individuella investerare och institutionella klienter. Kraken bygger ett dedikerat team för AI-beräkning och infrastruktur för att driva nästa generation av modellträning, inferens, utvärdering och experimentering över hela börsen. Detta team ligger inom ingenjörsledningen och äger infrastrukturlagret som gör att Kraken kan köra AI-arbetsbelastningar med kontroll, hastighet, tillförlitlighet och kostnadsdisciplin. Teamet ansvarar för GPU- och acceleratorinfrastruktur, klusterdrift, schemaläggning, modellservering, observerbarhet, kapacitetsplanering och kostnadseffektiv beräkning i stor skala. Detta är ryggraden som gör att Kraken kan träna, servera, utvärdera och iterera AI-system internt där det är viktigt för integritet, latens, tillförlitlighet, kostnad eller produktdifferentiering. Du kommer att gå med i ett litet, seniort team med stor inverkan som arbetar direkt med AI/ML-forskare, plattformsingenjörer, säkerhetsteam och produktteam. Mandatet är enkelt: förverkliga Krakens AI-ambitioner genom att bygga en beräkningsinfrastruktur som är snabb, pålitlig, effektiv och av produktionskvalitet. Möjligheten - Äga och driva GPU- och acceleratorkluster som används för träning, inferens, utvärdering och experimentering, inklusive drivrutiner, runtimes, kärnor, enhetsinsticksprogram, nodkonfiguration, schemaläggningsprimitiver och arbetsbelastningsisolering. - Designa infrastruktur som gör det möjligt för Krakens team att köra modeller lokalt på GPU:er där det är strategiskt och ekonomiskt fördelaktigt, vilket minskar onödiga beroenden av externa leverantörer och begränsar beräkningskostnaderna. - Bygga och förbättra schemaläggning, orkestrering, placering, kvothantering och utnyttjandesystem i heterogena acceleratormiljöer. - Optimera inferenspipeliner för latens, genomströmning, tillförlitlighet, minneseffektivitet och kostnad med hjälp av ramverk som vLLM, Triton Inference Server, TensorRT eller motsvarande serveringsstackar. - Samarbeta med ML-ingenjörer och forskare för att ta bort flaskhalsar i träning, utvärdering, batch-inferens, online-inferens, driftsättning och arbetsflöden för felsökning i produktion. - Bygga observerbarhet för GPU-utnyttjande, minnestryck, ködjup, mättnad, token-genomströmning, begäranlatens, misslyckade arbetsbelastningar, kapacitetstryck och utgifter. - Driva tillförlitlighet, incidentrespons, varningar, runbooks och förbättringar efter incidenter för alltid-på AI-beräkningsinfrastruktur. - Utvärdera och integrera ny hårdvara, molninstansfamiljer, specialiserade acceleratorer, runtimes, schemaläggare och serveringsramverk i takt med att AI-infrastrukturlandskapet utvecklas. - Bygga verktyg som gör GPU-användning synlig, ansvarsfull och enklare för interna team att konsumera utan att behöva bli infrastrukturexperter. - Bidra till långsiktiga arkitekturbeslut som balanserar prestanda, kostnadseffektivitet, skalbarhet, operativ enkelhet och produktionssäkerhet. Vad du bidrar med - 5+ års erfarenhet av infrastrukturteknik, med betydande tid spenderad på GPU-beräkningar, ML-infrastruktur, distribuerade system, högpresterande beräkningar eller storskaliga produktionsplattformar. - Praktisk erfarenhet av att driva GPU-kluster eller acceleratorstödd infrastruktur i produktions- eller produktionsliknande miljöer, inklusive schemaläggning, orkestrering, övervakning av utnyttjande och kostnadsoptimering. - Starka systemtekniska grunder inom Linux, nätverk, lagring, containrar, Kubernetes, distribuerade runtimes och felsökning i produktion. - Erfarenhet av ML-serveringsramverk som vLLM, Triton Inference Server, TensorRT, TorchServe, KServe, Ray Serve eller motsvarande system. - Färdighet i Python för infrastrukturautomation, verktyg, felsökning, integration och operativa arbetsflöden. - Praktisk förståelse för prestandavägar mellan batchning, samtidighet, minnesanvändning, GPU-utnyttjande, modellstorlek, latens, genomströmning, tillgänglighet och kostnad. - Dokumenterad erfarenhet av att optimera beräkningskostnader samtidigt som tydliga förväntningar på prestanda, tillförlitlighet och tillgänglighet upprätthålls. - Erfarenhet av att bygga observerbara system med användbara mätvärden, loggar, spår, instrumentpaneler, varningar och incidentarbetsflöden. - Bekväm med att arbeta i högriskmiljöer som alltid är igång, där drifttid, genomströmning, korrekthet och operativ disciplin är avgörande. - Tydlig kommunikatör som kan översätta infrastrukturella avvägningar för forskare, produktteam, plattformsingenjörer, säkerhetsintressenter och ingenjörsledning. Bonuskompetenser - Erfarenhet från ett frontier AI-lab, hyperscaler, högfrekvent handelsfirma, forskningsplattform eller storskalig ML-organisation. - Bekantskap med anpassade kiselchip eller specialiserade acceleratorer som TPU:er, AWS Trainium, Gaudi eller liknande plattformar. - Bakgrund inom kapacitetsplanering, inköpsunderlag, strategi för reserverad kapacitet, molnaccelerator-ekonomi eller kostnadshantering för GPU-flottor. - Erfarenhet av distribuerade träningsramverk som DeepSpeed, Megatron-LM, FSDP, Ray eller motsvarande system. - Erfarenhet av att felsöka CUDA, NCCL, kärnor, drivrutiner, runtime, minne, nätverk eller lågnivåprestandaproblem. - Erfarenhet av Rust, C++, Go, CUDA eller andra systemspråk som används för prestandakritisk infrastruktur. - Erfarenhet av krypto, finansiella tjänster, handelsinfrastruktur eller säkerhetskänslig produktionsinfrastruktur.