לארגון ציבורי גדול במרכז הארץ דרוש.ה data Engineer. המשרה כוללת:
פיתוח ותחזוקה של תהליכי ETL מורכבים באמצעות Nifi Apache ו Apache spark
עבודה עם Flink Apache לפיתוח תהליכי עיבוד נתונים בזמן אמת
ניהול, עיבוד וטיוב נתונים באמצעות ElasticSearch
כתיבת שאילתות מורכבות וייעול ביצועים על בסיסי נתונים רלציוניים ולא רלציוני ים
פיתוח פתרונות דאטה וכתיבת קוד ב Python
עבודה צמודה עם צוותי BI, data Science ופיתוח מערכות מידע בארגון.
דרישות:
ניסיון של 4 שנים לפחות כ data Engineer - תוך עבודה משמעותית באחד או יותר מהשירותים
הבאים:
Apache Spark
NiFi Apache
Flink Apache
ניסיון משמעותי בפיתוח בשפת Python לעיבוד נתונים ובניית data Flows
הבנה בארכיטקטורת נתונים ותשתיות Big Data כולל אתגרים ופתרונות
שליטה מלאה ב - SQL
יתרון משמעותי לניסיון בסביבות השפות והכלים:
MongoDB וכתיבת Aggregation Piplines
כתיבת שאילתות SQL מורכבות ואופטימיזציה של ביצועים
שירותי Cloudera בסביבת CDP
Kafka
מודולי AI ותהליך שילובם בפתרונות
הכרות עם פיתוח לעולם ה Micro-Services בכלל ו OpenShift בפרט
עבודה עם כלי ניהול תצורה בפיתוח המשרה מיועדת לנשים ולגברים כאחד.