Tuotejohtaja

Etsimme Staff Product Manageria vastaamaan AI-agenttien arvioinneista Workatolla — sekä sisäisestä kehyksestä, joka auttaa tiimejämme julkaisemaan parempia AI-ominaisuuksia, että asiakasrajapinnan työkaluista, joiden avulla rakentajat voivat arvioida ja parantaa luomiaan agentteja. Tällä roolilla on kaksoismandaatti. Sisäisesti määrität, miten Workato arvioi agenttien laatua, alkaen Agent Studiosta ja laajentaen muihin AI-ominaisuuksia julkaiseviin tiimeihin. Ulkoisesti rakennat arviointikokemuksen, joka auttaa liiketoimintateknologisteja ymmärtämään, miksi heidän agenttinsa onnistuvat tai epäonnistuvat — ja mitä asialle pitäisi tehdä. Tähän rooliin sopiva henkilö on todella kirjoittanut arviointeja. Olet rakentanut testipatteristoja, suunnitellut arviointikriteerejä ja debugannut agenttien virheitä käytännössä. Tiedät eron "arviointiteorian" ja "arviointitodellisuuden" välillä ja osaat kääntää tämän käytännön tiedon tuotteiksi, jotka toimivat sekä teknisille tiimeille että ei-teknisille rakentajille. Tässä roolissa olet vastuussa myös seuraavista: - Määrittää ja omistaa Workaton sisäisten AI-agenttiominaisuuksien arviointikehyksen ja edistää sen käyttöönottoa tiimeissä alkaen Agent Studiosta - Rakentaa asiakasrajapinnan arviointikokemuksen — sen, miten rakentajat testaavat, mittaavat ja parantavat Workatolla luomiaan agentteja - Tehdä vaikeita päätöksiä siitä, mikä arvioinnin monimutkaisuus paljastetaan ja mikä abstrahoidaan, tasapainottaen tarkkuutta ja lähestyttävyyttä - Tehdä tiivistä yhteistyötä Build Experience PM:n kanssa varmistaakseen, että arviointi on integroitu rakennusmatkaan, ei vain lisätty jälkikäteen - Tehdä yhteistyötä ML-insinöörien ja alustatiimien kanssa ankkuroidakseen kehyksen tekniseen todellisuuteen pitäen sen silti helposti lähestyttävänä - Määrittää mittarit sille, mitä "hyvä" tarkoittaa — sekä sisäiselle agenttien laadulle että asiakkaiden arviointityökalujen käyttöönotolle - Viettää merkittävästi aikaa asiakkaiden kanssa ymmärtääkseen, missä heidän on vaikea arvioida agenttien suorituskykyä ja mitä mieltymisiä heillä on Kvalifikaatiot / Kokemus - 7+ vuotta tuotehallinnossa - Käytännön kokemus AI/ML-järjestelmien (agentit, LLM:t tai vastaavat) arviointien kirjoittamisesta - Kokemusta teknisten tuotteiden julkaisemisesta sekä sisäisille että ulkoisille käyttäjille - Kokemusta kehysten tai käytäntöjen käyttöönoton edistämisestä insinööritiimeissä - Vahvat kirjalliset ja suulliset viestintätaidot - Kandidaatin tutkinto tai vastaava kokemus - Syvällinen käytännön osaaminen arvioinneista. Olet kirjoittanut arviointeja itse — rakentanut testipatteristoja, suunnitellut rubriikkeja, debugannut syitä agenttien heikkoon suoriutumiseen. Ymmärrät arviointimetodologian paitsi lukemalla siitä, myös tekemällä sitä. Sinulla on mielipiteitä siitä, mikä toimii, mikä ei ja missä nykyiset lähestymistavat pettävät. - Vahva tuotehallinnan kokemus. Olet julkaissut tuotteita, ohjannut tiekarttoja ja johtanut monialaisia tiimejä. Osaat kääntää tekniset kyvykkyydet käyttäjäarvoksi ja kirjoittaa määrittelyt, jotka eivät jätä yksityiskohtia sattumalle. - Tekninen kääntämiskyky. Osaat ottaa monimutkaiset arviointikäsitteet ja tehdä niistä helposti lähestyttäviä liiketoimintateknologisteille yksinkertaistamatta niitä liikaa. Ymmärrät eron monimutkaisuuden piilottamisen ja sen järjestämisen välillä. - Sisäinen vaikuttamiskyky. Olet edistänyt kehysten, käytäntöjen tai työkalujen käyttöönottoa tiimien välillä. Osaat olla uskottava kumppani ML-insinööreille ja samalla puolustaa sisäisten tiimien todellisia tarpeita. - Mukavuus greenfield-projekteissa. Olet määritellyt tuotteita epävarmuuden keskellä — rajannut v1-versioita, tehnyt vetoja puutteellisella tiedolla ja iteroinut oppimiesi asioiden perusteella. Et tarvitse valmista ohjekirjaa ollaksesi tehokas. - B2B-tuotetaju. Näet yritysmaailman konventionit ratkaistavina ongelmina, et hyväksyttävinä rajoituksina. Sinua houkuttelevat tuotteet, jotka tekevät monimutkaisista työnkuluista tyylikkäitä. Hyväksi katsotaan - Kokemus agenttiarkkitehtuureista, RAG-järjestelmistä tai LLM-sovelluskehityksestä - Tausta ML-insinööritieteissä, ratkaisuarkkitehtuurissa tai teknisessä ohjelmanhallinnassa ennen PM-roolia - Kokemus kehittäjätyökalujen tai alustatuotteiden rakentamisesta - Tutututut arviointikehykset (esim. ihmisarviointiputket, automatisoidut vertailutestit, red-teaming)