AI-infrastruktuuri-insinööri

Rakenna avoimen rahoituksen tulevaisuutta Payward - Krakenin, NinjaTraderin, Breakoutin, xStocksin, Payward Servicesin ja CF Benchmarksin emoyhtiö - on viettänyt viimeiset 15 vuotta rakentaen yhtä alan nykyaikaisimmista ja maailmanlaajuisesti saavutettavimmista rahoitusinfrastruktuurialustoista, jonka tarkoituksena on edistää avointa, globaalia rahoitusjärjestelmää. Tiimi Vuonna 2011 perustettu Kraken on yksi maailman pitkäikäisimmistä kryptoplattformeista, johon luottavat yli 10 miljoonaa yksityishenkilöä ja instituutiota ympäri maailmaa. Se tarjoaa spot-kauppaa, marginaalikauppaa, futuureja, stakingia ja OTC-palveluita tuotteilla, jotka on suunnattu sekä yksityisille sijoittajille että institutionaalisille asiakkaille. Kraken rakentaa erillistä AI-laskenta- ja infrastruktuuritiimiä tukemaan seuraavan sukupolven mallien koulutusta, päättelyä, arviointia ja kokeiluja pörssin laajuisesti. Tämä tiimi kuuluu tekniseen johtoon ja omistaa infrastruktuurikerroksen, jonka avulla Kraken voi ajaa AI-työkuormia hallitusti, nopeasti, luotettavasti ja kustannustietoisesti. Tiimi vastaa GPU- ja kiihdytin-infrastruktuurista, klusterikäytöstä, ajastuksesta, mallien tarjoamisesta, näkyvyydestä, kapasiteettisuunnittelusta ja kustannustehokkaasta laskennasta suuressa mittakaavassa. Tämä on selkäranka, jonka avulla Kraken voi kouluttaa, tarjota, arvioida ja iteroida AI-järjestelmiä sisäisesti silloin, kun se on tärkeää yksityisyyden, viiveen, luotettavuuden, kustannusten tai tuotekehityksen kannalta. Liityt pieneen, kokeneeseen ja vaikuttavaan tiimiin, joka työskentelee suoraan AI/ML-tutkijoiden, alustainsinöörien, tietoturvatiimien ja tuotetiimien kanssa. Tehtävä on yksinkertainen: toteuttaa Krakenin AI-tavoitteet rakentamalla laskentainfrastruktuuria, joka on nopeaa, luotettavaa, tehokasta ja tuotantokelpoista. Mahdollisuus - Omistaa ja operoida GPU- ja kiihdytinklustereita, joita käytetään koulutukseen, päättelyyn, arviointiin ja kokeiluihin, mukaan lukien ajurit, ajoympäristöt, ytimet, laitepluginit, solmukonfiguraatiot, ajastusprimitiivit ja työkuormien eristys. - Suunnitella infrastruktuuria, joka mahdollistaa mallien ajamisen paikallisesti GPU:illa silloin, kun se on strategisesti ja taloudellisesti suositeltavaa, vähentäen tarpeettomia riippuvuuksia ulkoisista palveluntarjoajista ja halliten laskentakustannuksia. - Rakentaa ja parantaa ajastusta, orkestrointia, sijoittelua, kiintiöhallintaa ja hyödyntämisjärjestelmiä heterogeenisissä kiihdytinympäristöissä. - Optimoida päättelyputket viiveen, läpimenon, luotettavuuden, muistitehokkuuden ja kustannusten suhteen käyttäen kehyksiä kuten vLLM, Triton Inference Server, TensorRT tai vastaavia tarjoamisstackeja. - Tehdä yhteistyötä ML-insinöörien ja tutkijoiden kanssa koulutuksen, arvioinnin, eräpäättelyn, online-päättelyn, käyttöönoton ja tuotantovianetsinnän pullonkaulojen poistamiseksi. - Rakentaa näkyvyyttä GPU-hyödyntämiselle, muistipaineelle, jonon syvyydelle, saturaatiolle, token-läpimennolle, pyyntöviiveelle, epäonnistuneille työkuormille, kapasiteettipaineelle ja kuluille. - Edistää luotettavuutta, incident-vastauksia, hälytyksiä, runbookeja ja incidentien jälkeisiä parannuksia aina toimivassa AI-laskentainfrastruktuurissa. - Arvioida ja integroida uutta rautaa, pilvi-instanssperheitä, erikoistuneita kiihdyttimiä, ajoympäristöjä, ajastimia ja tarjoamisohjelmistoja AI-infrastruktuurikentän kehittyessä. - Rakentaa työkaluja, jotka tekevät GPU-käytöstä näkyvää, vastuullista ja helpommin sisäisten tiimien kulutettavaksi ilman, että heidän tarvitsee olla infrastruktuuriasiantuntijoita. - Osallistua pitkän aikavälin arkkitehtuuripäätöksiin, joissa tasapainotetaan suorituskyky, kustannustehokkuus, skaalautuvuus, operatiivinen yksinkertaisuus ja tuotantoturvallisuus. Osaaminen - Yli 5 vuoden kokemus infrastruktuuritekniikasta, josta merkittävä osa on kulunut GPU-laskennan, ML-infrastruktuurin, hajautettujen järjestelmien, suorituskykyisen laskennan tai suurten tuotantoalustojen parissa. - Käytännön kokemus GPU-klustereiden tai kiihdytinpohjaisen infrastruktuurin operoinnista tuotannossa tai tuotantomaisissa ympäristöissä, mukaan lukien ajastus, orkestrointi, hyödyntämisen seuranta ja kustannusoptimointi. - Vahva järjestelmätekniikan osaaminen Linuxin, verkkojen, tallennuksen, konttien, Kubernetesin, hajautettujen ajoympäristöjen ja tuotantovianetsinnän osalta. - Kokemus ML-tarjoamisohjelmistoista kuten vLLM, Triton Inference Server, TensorRT, TorchServe, KServe, Ray Serve tai vastaavista järjestelmistä. - Python-osaaminen infrastruktuurin automaatioon, työkaluihin, vianetsintään, integrointiin ja operatiivisiin työnkulkuihin. - Käytännön ymmärrys suorituskyvyn kompromisseista eräajon, samanaikaisuuden, muistinkäytön, GPU-hyödyntämisen, mallin koon, viiveen, läpimennon, saatavuuden ja kustannusten välillä. - Kokemus laskentakustannusten optimoinnista säilyttäen selkeät suorituskyky-, luotettavuus- ja saatavuusodotukset. - Kokemus havaittavien järjestelmien rakentamisesta hyödyllisillä mittareilla, lokeilla, jäljillä, kojelaudoilla, hälytyksillä ja incident-työnkuluilla. - Mukavuus työskennellä kriittisissä, aina toimivissa ympäristöissä, joissa käyttöaika, läpimeno, oikeellisuus ja operatiivinen kuri ovat ratkaisevia. - Selkeä kommunikoija, joka osaa kääntää infrastruktuurin kompromissit tutkijoille, tuotetiimeille, alustainsinööreille, tietoturvasidosryhmille ja tekniselle johdolle. Toivottavaa - Kokemus huipputason AI-laboratoriosta, hyperscalerista, korkeataajuisesta kaupankäyntifirmasta, tutkimusalustalta tai suurikokoisesta ML-organisaatiosta. - Tuttuus räätälöityyn pii-tekniikkaan tai erikoistuneisiin kiihdyttimiin kuten TPU:t, AWS Trainium, Gaudi tai vastaavat alustat. - Tausta kapasiteettisuunnittelussa, hankintasyötteissä, varatun kapasiteetin strategiassa, pilvikiihdyttimien taloudessa tai GPU-laivaston kustannushallinnassa. - Kokemus hajautetuista koulutuskehyksistä kuten DeepSpeed, Megatron-LM, FSDP, Ray tai vastaavat järjestelmät. - Kokemus CUDA:n, NCCL:n, ytimien, ajureiden, ajoympäristöjen, muistin, verkkojen tai matalan tason suorituskykyongelmien vianetsinnästä. - Kokemus Rustin, C++:n, Gon, CUDA:n tai muiden suorituskykykriittiseen infrastruktuuriin käytettyjen järjestelmäkielten kanssa. - Kokemus kryptovaluutoista, rahoituspalveluista, kaupankäyntiin liittyvästä infrastruktuurista tai tietoturvakriittisestä tuotantoinfrastruktuurista.