Data-alusta-asiantuntija
Julkaistu 4.2. (274 päivää sitten) · Päivitetty 6.11. · Ollut auki 274 päivää, pidempään kuin tällaiset paikat yleensä (26 päivää)
Julkaistu 4.2. (274 päivää sitten)
Tärkeimmät tiedot
Senior-tason data-alustatyö: rakenna pilvipohjaisia lakehouse-ratkaisuja, edellyttää vähintään 8 vuoden kokemusta.
Palkka verrattuna muihin
Arvioitu 5 770 - 6 600 €
Perustuu 3 työpaikkailmoitukseen, joissa palkka kerrotaan. · Datan käyttö
Arvio perustuu 3 vastaavaan ilmoitukseen
- Kielitaito
Englanti- Työkokemus
- vähintään 8 vuoden kokemus
Työpaikkakuvaus
Haemme kokenutta data-alusta-asiantuntijaa suunnittelemaan ja toteuttamaan pilvipohjaista lakehouse-data-alustaa. Se kerää dataa teknisistä ja tietoturvatyökaluista, muuntaa sitä useassa kerroksessa ja tarjoaa sitä analytiikan koontinäyttöihin sekä tekoälyagenteille.
Kokemus:
- Vähintään 8 vuotta data engineering -tehtävissä, joista vähintään 2 vuotta lakehouse-arkkitehtuurien rakentamisessa (Bronze/Silver/Gold tai vastaavat medallion-mallit)
- Näyttöjä tuotantokelpoisten data-alustojen toimittamisesta
- Kokemusta graafitietokannoista (Neo4j, Amazon Neptune, TigerGraph) suhteiden mallintamiseen
- Käytännön kokemusta suoratoistodatan käsittelystä (Kafka, Flink, Spark Streaming, Kinesis)
Keskeiset tekniset taidot:
- Pilvialustat: vahva AWS-osaaminen (S3/Blob, RDS/SQL Database, hallinnoitu Kafka, palvelimeton laskenta)
- SQL ja datamallinnus: SQL:n erinomainen hallinta, dimensionaalinen mallinnus, SCD2 sekä normalisoinnin ja denormalisoinnin kompromissit
- Muunnostyökalut: dbt, Databricks SQL, Dataform tai omat SQL-/Python-kehykset
- Ohjelmointi: Python tai Scala datankäsittelyyn, skriptaukseen ja automaatioon
- Orkestrointi: Airflow, Prefect, Dagster, Step Functions tai Azure Data Factory
- Infrastruktuuri koodina: Terraform, CloudFormation, Pulumi tai ARM-mallit
Eduksi katsottavat tekniset taidot:
- Haku: OpenSearch, Elasticsearch tai Solr tekstin indeksointiin ja hakuun
- Graafit: Neo4j Cypher, SPARQL tai Gremlin graafikyselyihin sekä kokemus graafi-ETL:stä
- Datan laatu: Great Expectations, dbt-testit tai omat validointikehykset
- Reaaliaikainen käsittely: Flink, Spark Streaming tai palvelimeton tapahtumankäsittely (Lambda, Cloud Functions)
- Valvonta: Grafana, Datadog tai CloudWatch dataputkien havainnointiin
Ammatilliset taidot:
- Viestintä: selität teknisten valintojen kustannus-, suorituskyky- ja monimutkaisuusvaikutukset ei-teknisille sidosryhmille
- Ongelmanratkaisu: selvität datan laatuongelmia, optimoit hitaita kyselyitä ja ratkaiset skeemojen ristiriitoja
- Yhteistyö: toimit data scientistien, DevOps-insinöörien ja vaatimustenmukaisuustiimien kanssa
- Itsenäinen työskentely: hallitset epäselviä tilanteita ja ehdotat ratkaisuja, kun vaatimukset ovat puutteellisia
Tehtävästä lyhyesti
JobCrawlsin tiivistys yllä olevasta ilmoituksesta.
Vaatimukset
- Vähintään 8 vuotta data engineering -kokemusta, josta vähintään 2 vuotta lakehouse-arkkitehtuurien rakentamisesta
- Näyttöjä tuotantokelpoisten data-alustojen toimittamisesta
- Kokemusta graafitietokannoista suhteiden mallintamiseen
- Käytännön kokemusta suoratoistodatan käsittelystä
- Vahva AWS-osaaminen ja SQL:n erinomainen hallinta
Näytä 3 lisää
- Kokemusta datamallinnuksesta, Pythonista tai Scalasta, muunnostyökaluista, orkestroinnista ja infrastruktuurista koodina
- Kyky selittää teknisiä kompromisseja ei-teknisille sidosryhmille
- Ongelmanratkaisukyky, yhteistyötaidot ja itsenäinen työote
Tehtävät
- Suunnitella ja toteuttaa pilvipohjainen lakehouse-data-alusta
- Kerätä teknisten ja tietoturvatyökalujen dataa ja muuntaa sitä useassa kerroksessa
- Tarjota alustan dataa analytiikan koontinäyttöihin ja tekoälyagenteille
- Selittää teknisiä kompromisseja ja ratkaista datan laatuun, kyselyiden suorituskykyyn ja skeemoihin liittyviä ongelmia
Osaaminen ja teknologiat
AWSSQLDimensionaalinen mallinnusSCD2DbtDatabricks SQLDataformPython
Näytä 28 lisää
ScalaAirflowPrefectDagsterStep FunctionsAzure Data FactoryTerraformCloudFormationPulumiARM-mallitNeo4jAmazon NeptuneTigerGraphKafkaFlinkSpark StreamingKinesisOpenSearchElasticsearchSolrSPARQLGremlinGreat ExpectationsLambdaCloud FunctionsGrafanaDatadogCloudWatch
Infotree Global Solutions Oy työnantajana
Infotree Global SolutionsOy · 4 avointa työpaikkaa
Yleisimmät paikkakunnat (kaikki ilmoitukset): Suomi · 1
| Paikkakunta | Aktiiviset ilmoitukset |
|---|---|
| Suomi | 1 |
| Tehtävä | Aktiiviset ilmoitukset |
|---|---|
| Tekoäly- ja koneoppimisinsinööri | 1 |
| Vaativuustaso | Aktiiviset ilmoitukset |
|---|---|
| Senior-taso | 1 |