לחברת סקיוריטי בעולם הרכב דרוש/ה Senior data Engineer
תיאור המשרה:
תכנון, בנייה ותחזוקה של פייפלייני נתונים סקיילביליים לטעינה ועיבוד של דאטה בBatch בData Lake, כולל תמיכה באנליטיקה ו-ML, תוך שמירה על איכות נתונים, ממשל (governance), תצפיות (observability) וCI/CD.
בנייה והרחבה של תשתית הנתונים הבסיסית data Lake, מנוע אנליטיקה, ומערכי Batch Processing.
יצירת תשתיות חזקות שיאפשרו פייפליינים אוטומטיים לטעינה ועיבוד נתונים לפלטפורמות האנליטיות, תוך שימוש בכלים וטכנולוגיות קוד פתוח, Cloud-agnostic.
פיתוח ותחזוקת ארכיטקטורות ופריסות הData Lake לגישה יעילה לנתונים ולניתוחים מתקדמים.
בניית פלטפורמת הML ואוטומציה של מחזור חיי הML.
הובלת פרויקטי ML חוצי-ארגון מהיבט הנדסי.
פיתוח וניהול כלי אקטרציה, כלים לממשל נתונים, כלים לגילוי נתונים ועוד.
עבודה בשיתוף פעולה עם אדריכלי נתונים, אנליסטים ומדעני נתונים, לצורך בניית פתרונות מבוססי Use Cases המגדירים זרימות נתונים טכניות.
דרישות:
תואר ראשון במדעי המחשב, הנדסה או תחום רלוונטי
לפחות 5 שנות ניסיון בתכנון ובנייה של פייפלייני נתונים, כלים אנליטיים וData Lakes
לפחות 7 שנות ניסיון בפיתוח בשפת תכנות כללית ( JAVA, Scala, Kotlin, Go וכו)
ניסיון בטכנולוגיות data Engineering: כלים לETL ואורקסטרציה (כמו Airflow, Argo, Prefect) וכלי עיבוד נתונים מבוזרים (כמו Spark, Kafka, Presto)
ניסיון בעבודה עם Python חובה
ניסיון בעבודה עם מוצרים מבוססי קוד פתוח יתרון גדול
ניסיון בעבודה בסביבה מבוססת קונטיינרים (כמו Kubernetes) יתרון המשרה מיועדת לנשים ולגברים כאחד.