תכנון ויישום פלטפורמות דאטה מסוג Lakehouse, עמידות וסקיילביליות, התומכות בצינורות עיבוד batch ו-streaming.
פיתוח ותחזוקת פייפליינים עתירי ביצועים באמצעות Spark, Trino ו-DBT.
אופטימיזציה של ביצועי שאילתות ויעילות עלויות בסביבות AWS S3, Athena ו-Druid.
אחריות על מידול דאטה, ניהול גרסאות סכמות ופרטישינינג, לטובת BI, Machine Learning ושימושים בזמן אמת.
קידום מצוינות הנדסית באמצעות קוד נקי, סקירות קוד, תיעוד והעברת ידע.
שיתוף פעולה עם אנליסטים, מדעני דאטה ומנהלי מוצר לתכנון והטמעת פתרונות דאטה משמעותיים.
ניטור ופתרון בעיות ב-workflows קריטיים בסביבות פרודקשן.
דרישות:
לפחות 5 שנות ניסיון hands-on בהנדסת דאטה, כולל עבודה עם עקרונות ארכיטקטורת Lakehouse.
שליטה מעולה ב-SQL, כולל כתיבת שאילתות מורכבות, קריאות ואופטימליות על דאטה עצום.
ניסיון עם DBT, כולל בניית פרויקטים ברמת production.
ניסיון בפיתוח עם Apache Airflow.
ניסיון מתקדם עם Spark (batch ו-streaming), Trino, Druid ו-Athena.
שליטה גבוהה ב- Python, במיוחד לעיבוד דאטה ותזמור (orchestration).
היכרות עמוקה עם סביבת AWS: כולל S3, Lambda, Glue, EC2 ו-CloudWatch.
הבנה מעמיקה של מידול דאטה, פרטישינינג, טיונינג של ביצועים, ופורמטים עמודיים (Parquet, ORC).
ניסיון בעבודה עם Git ותהליכי CI/CD עבור פייפלייני דאטה. המשרה מיועדת לנשים ולגברים כאחד.
