Produktchef

Vi söker en Staff Product Manager som ska ansvara för utvärderingar av AI-agenter på Workato — både det interna ramverket som hjälper våra team att leverera bättre AI-funktioner, och de kundvända verktygen som låter byggare bedöma och förbättra de agenter de skapar. Detta är en roll med ett dubbelt mandat. Internt ska du fastställa hur Workato utvärderar agentkvalitet, med start i Agent Studio och expansion till andra team som levererar AI-kapabiliteter. Externt ska du bygga utvärderingsupplevelsen som hjälper affärstekniker att förstå varför deras agenter lyckas eller misslyckas — och vad man ska göra åt det. Den rätta personen för denna roll har faktiskt skrivit utvärderingar. Du har byggt testsviter, designat utvärderingskriterier och debuggat agentfel i praktiken. Du känner till gapet mellan "utvärderingsteori" och "utvärderingsverklighet", och du kan översätta den praktiska kunskapen till produkter som fungerar för både tekniska team och icke-tekniska byggare. I denna roll kommer du också att vara ansvarig för att: - Definiera och äga utvärderingsramverket för Workatos interna AI-agentfunktioner, och driva implementeringen över team med start i Agent Studio - Bygga den kundvända utvärderingsupplevelsen — hur byggare testar, mäter och förbättrar agenter som de skapar på Workato - Ta svåra beslut om vilken utvärderingskomplexitet som ska exponeras kontra abstraheras, och balansera stringens med tillgänglighet - Samarbeta nära med Build Experience PM för att säkerställa att utvärdering är integrerad i byggresan, inte påklistrad - Arbeta med ML-ingenjörer och plattformsteam för att förankra ramverket i teknisk verklighet samtidigt som det hålls tillgängligt - Fastställa mätetal för vad "bra" innebär — både för intern agentkvalitet och för kundernas användning av utvärderingar - Tillbringa betydande tid med kunder för att förstå var de kämpar med att bedöma agentprestanda och vilka mentala modeller de har Kvalifikationer / Erfarenhet - 7+ år inom produktledning - Praktisk erfarenhet av att skriva utvärderingar för AI/ML-system (agenter, LLM:er eller liknande) - Dokumenterad erfarenhet av att leverera tekniska produkter till både interna och externa användare - Erfarenhet av att driva implementering av ramverk eller praxis över ingenjörsteam - Starka skriftliga och muntliga kommunikationsfärdigheter - Kandidatexamen eller motsvarande erfarenhet - Praktiskt djup inom utvärderingar. Du har skrivit utvärderingar själv — byggt testsviter, designat rubriker, debuggat varför agenter underpresterade. Du förstår utvärderingsmetodik inte bara genom att läsa om det, utan genom att göra det. Du har åsikter om vad som fungerar, vad som inte gör det och var nuvarande metoder brister. - Stark erfarenhet av produktledning. Du har levererat produkter, drivit roadmaps och lett tvärfunktionella team. Du vet hur man översätter tekniska förmågor till användarvärde och skriver specifikationer som inte lämnar detaljer åt slumpen. - Teknisk översättningsförmåga. Du kan ta komplexa utvärderingskoncept och göra dem tillgängliga för affärstekniker utan att förenkla för mycket. Du förstår skillnaden mellan att dölja komplexitet och att organisera den. - Intern påverkansförmåga. Du har drivit implementering av ramverk, praxis eller verktyg över team. Du kan vara en trovärdig partner till ML-ingenjörer samtidigt som du förespråkar vad interna team faktiskt behöver. - Trygghet i greenfield-projekt. Du har definierat produkter utifrån ambiguitet — scopeat v1:or, gjort satsningar med ofullständig information och itererat baserat på vad du lärt dig. Du behöver inte en befintlig spelbok för att vara effektiv. - B2B-produktkänsla. Du ser företagskonventioner som problem att lösa, inte begränsningar att acceptera. Du attraheras av produkter som får komplexa arbetsflöden att kännas eleganta. Bra att ha - Erfarenhet av agentarkitekturer, RAG-system eller LLM-applikationsutveckling - Bakgrund inom ML-teknik, lösningsarkitektur eller teknisk programledning före PM - Erfarenhet av att bygga utvecklarverktyg eller plattformsprodukter - Bekantskap med utvärderingsramverk (t.ex. mänskliga utvärderingspipeliner, automatiserade benchmarks, red-teaming)