דרושים » דאטה » Big Data Engineer (Shopper team)

6 ימים
משרה זו סומנה ע"י המעסיק כלא אקטואלית יותר
מיקום המשרה: תל אביב יפו
סוג משרה: משרה מלאה
משרות דומות שיכולות לעניין אותך
דיווח על תוכן לא הולם או מפלה
מה השם שלך?
תיאור
שליחה
תודה על שיתוף הפעולה
מודים לך שלקחת חלק בשיפור התוכן שלנו :)
5 ימים
SimilarWeb
Location: Tel Aviv-Yafo
Job Type: Full Time
Similarweb is the leading digital intelligence platform used by over 3500 global customers. Our wide range of solutions power the digital strategies of companies like Google, eBay, and Adidas.

We help our customers succeed in todays digital world by giving them access to data-driven insights, competitive benchmarks, strategic analysis, and more.

In 2021, we went public on the New York Stock Exchange, and we havent stopped growing since!


Were looking for a Big Data for Shopper Group, to develop and integrate systems that retrieve, process and analyze data from around the digital world, generating customer-facing data.

Why is this role so important at Similarweb?

Similarweb is a data-focused company, and data is the heart of our business.

As a data engineer, you will work at the very core of the shopper solution, designing and implementing complex high scale systems to retrieve and analyze data from millions of digital users.

Your role as a data engineer will give you the opportunity to use the most cutting-edge technologies to solve complex technical problems.



So, what will you be doing all day?

Your role as part of the R&D team means your daily responsibilities may include:

You will work in a heterogeneous team alongside data scientists. Together you will tackle complex data challenges and bring new solutions and algorithms to production.
Develop and maintain data processing jobs using big data technologies
Contribute and improve the existing infrastructure of code and data pipelines, constantly exploring new technologies.
You will experiment with various technologies in the domain of big data processing.
You will monitor our data pipelines to ensure data is ingested correctly from various sources, you will identify and fix bottlenecks and failures.
Assemble large, complex data sets that meet functional / non-functional business requirements.
Identify, design, and implement internal process improvements: automating manual processes, optimizing data delivery, re-designing infrastructure for greater scalability, etc.
Requirements:
This is the perfect job for someone who:

Passionate about data.
Holds a BSc degree in Computer Science from a leading university - MUST.
Has at least 2 years of server-side software development experience in one or more general-purpose programming languages.
Is proficient in one or more general-purpose programming languages, including but not limited to Python, Java, Scala.
Is comfortable taking on challenges and learning new technologies, including new coding languages.
Have excellent communication skills with the ability to provide constant dialog between engineering teams
Can easily prioritize tasks and work independently
Conveys a strong sense of ownership over the products of the team
Is comfortable working in a fast-paced dynamic environment
Has excellent problem-solving and interpersonal communication skills


Nice to have:

Experience with Big Data technologies such as Spark, Hadoop, HDFS, Airflow, etc.
.המשרה מיועדת לנשים ולגברים כאחד
 
Show more...
הגשת מועמדות
עדכון קורות החיים לפני שליחה
69818
שירות זה פתוח ללקוחות VIP בלבד
דיווח על תוכן לא הולם או מפלה
מה השם שלך?
תיאור
שליחה
תודה על שיתוף הפעולה
מודים לך שלקחת חלק בשיפור התוכן שלנו :)
5 ימים
SimilarWeb
Location: Tel Aviv-Yafo
Job Type: Full Time
At Similarweb, we are revolutionizing the way businesses interact with the digital world by revealing to them everything that happens online.

Our unique data and solutions empower over 4,300 customers globally, including industry giants like Google, eBay, and Adidas, to make game-changing decisions that drive their digital strategies. In 2021, we went public on the New York Stock Exchange and continue reaching new heights! Come work alongside Similarwebbers who are bright, curious, practical, and good people.

Were looking for a DATA -BACKEND (DATA EXTRACTION) to take an important part in SimilarWebs data extraction team and play a key role in our growing data acquisition operation.

This role will report to the Team manager- R&D.

Why is this role so important at Similarweb?

Similarweb is a data-focused company, and data is the heart of our business. As a data server engineer, you will work in one of the companys core teams and design and implement complex, high-scale systems that retrieve and analyze data from around the internet.

You will be responsible for:

Scraping - Building and maintaining high scale web-scraping operations.
Processing - Creating complex data pipelines that process and enrich our raw data and serve it to different consumers through various databases and data-lakes.
Engineering - Designing and building large scale, high quality systems to support our data infrastructure and production systems
As a Data-Server Engineer in Data Extraction, you will:

Write complex PySpark applications that process, manipulate and validate large datasets, in high quality and under strict SLA.
Develop dockerized high-performance microservices.
Take a major part in designing and implementing complex high scale systems using a large variety of technologies.
Work in a team with talented and independent engineers with whom youll be able to share knowledge and expertise.
learn new technologies, handle a multitude of systems.
Implement solutions in AWS cloud environment.
Take part in monitoring and debugging data pipelines and high scale services in order to identify and fix bottlenecks and failures.
Requirements:
This is the perfect job for someone who:

Has at least 4 years of server-side software development experience in one or more general purpose programming languages (C#, Java, Python etc.)
Has Experience with Big Data technologies such as Hadoop, Spark, Databricks and Airflow.
Worked in a cloud environment such as AWS or GCP, and is familiar with its different services, as well as docker and Kubernetes
Has experiences with web scraping technologies or familiar with web technologies and the internets internals.
Holds a BSc degree in Computer Science or equivalent practical experience.
Is comfortable taking on challenges and learning new technologies, including new coding languages.
Is a team player and likes giving and receiving constructive feedback
Can effectively prioritize tasks, multitask and work independently
Has good communication skills and enjoys helping and supporting team members as well as people from other groups
.המשרה מיועדת לנשים ולגברים כאחד
 
Show more...
הגשת מועמדות
עדכון קורות החיים לפני שליחה
69804
שירות זה פתוח ללקוחות VIP בלבד
דיווח על תוכן לא הולם או מפלה
מה השם שלך?
תיאור
שליחה
תודה על שיתוף הפעולה
מודים לך שלקחת חלק בשיפור התוכן שלנו :)
5 ימים
SimilarWeb
Location: Tel Aviv-Yafo
Job Type: Full Time
At Similarweb, we are revolutionizing the way businesses interact with the digital world by revealing to them everything that happens online.

Our unique data and solutions empower over 4,300 customers globally, including industry giants like Google, eBay, and Adidas, to make game-changing decisions that drive their digital strategies.

In 2021, we went public on the New York Stock Exchange, and we continue to reach new heights! Come work alongside Similarwebbers across the globe who are bright, curious, practical and good people.

Were looking for a BIG DATA DEVELOPER for the Data Collection, Ingest team to contribute to the design and coding of Similarwebs data ingestion services. This role involves working as part of a team that handles millions of requests per minute across hundreds of servers, processing billions of events each day.

This role will report to the R&D Director of Data Collection.


Why is this role so important at Similarweb?

As the most trusted platform for measuring online behavior, millions of people rely on Similarwebs insights daily as the ground truth for their knowledge of the digital world. Producing these insights requires large scale raw data to be ingested reliably in high scale to provide stable signals for analysis.

You will have the opportunity to perform hands-on work and own Similarwebs raw data ingestion pipeline end-to-end. Your work will directly impact the quality and reliability of our data and the insights our products deliver to our customers.

So, what will you be doing all day?

Your role as part of the Ingest, Data Collection team means your daily responsibilities may include:

Design, code and manage end-to-end Similarwebs data ingestion pipelines, both online and offline.
Run the production environment by monitoring availability and taking a holistic view of system health and data quality.
Own data infrastructure features from design to production using industry best practices with focus on quality and delivery.
Lead designs & decision-making processes of the team.
Solve diverse, complex problems of scale, performance and business logic.
Collaborate with product managers and other team leaders to plan, nurture, and implement an efficient and effective development process.
Continuously learn and evaluate new technologies in the everlasting effort to perfect our products
Perform code reviews, evaluate implementations, and provide feedback about potential improvements.
Improve your skills, learn from and mentor top-notch engineers and enrich other team members.
Have lots of fun!
Requirements:
This is the perfect job for someone who:

5+ years of experience in developing code for big data infrastructure. Actual hands-on programming experience using Scala/Java
2+ years of experience in server-side development with at least one of the languages NodeJs/Python
Proven experience working with high scale on AWS or any other cloud provider. Experience in architecture and design of large-scale and high performance web production systems.
Bsc. in computer science or equivalent experience.
Comfortable taking challenges and learning new technologies.
Excellent communication skills with the ability to provide constant dialog between teams.
Ability to take business requirements and translate them to technical alternatives by performing risk management and evaluating tradeoffs.
.המשרה מיועדת לנשים ולגברים כאחד
 
Show more...
הגשת מועמדות
עדכון קורות החיים לפני שליחה
69810
שירות זה פתוח ללקוחות VIP בלבד
דיווח על תוכן לא הולם או מפלה
מה השם שלך?
תיאור
שליחה
תודה על שיתוף הפעולה
מודים לך שלקחת חלק בשיפור התוכן שלנו :)
3 ימים
Meta
Location: Tel Aviv-Yafo
Job Type: Full Time
As part of Lite Interfaces team, youll be part in creating and improving products used by more than 1 billion users around the world, as well as driving growth for Metas family of apps through platforms such as SEO and paid marketing.

Our data engineers work cross-functionally with software engineering, data science and product management to provide the team with essential data needed for making strategic decisions, finding opportunities and answering crucial questions about our users and products.

As a data engineer, you'll have the opportunity to work with petabyte scale datasets and complex data models and logics, which youll then translate into efficient and scalable pipelines, tables and dashboards.
Data Engineer, Lite-Interfaces Responsibilities
Collaborate with engineers, product managers, and data scientists to understand data needs, representing key data insights in a meaningful way
Design, build, and launch collections of sophisticated data models and visualizations that support multiple use cases across different products or domains
Solve challenging data integration problems, utilizing optimal ETL patterns, frameworks, query techniques, sourcing from structured and unstructured data sources
Determine and implement the security model based on privacy requirements, confirm safeguards are followed, address data quality issues, and evolve governance processes within allocated areas of ownership
Optimize logging, pipelines, dashboards, frameworks, and systems to facilitate easier development of data artifacts
Influence product and cross-functional teams to identify data opportunities to drive impact
Requirements:
Bachelor's degree in Computer Science, Computer Engineering, relevant technical field, or equivalent practical experience
2+ years of work experience in data engineering
Experience with SQL, ETL, data modeling and at least one programming language (e.g., Python, C++, C#, Scala).
Preferred Qualifications
Master's in a STEM field
Experience working with terabyte to petabyte scale data
.המשרה מיועדת לנשים ולגברים כאחד
 
Show more...
הגשת מועמדות
עדכון קורות החיים לפני שליחה
69958
שירות זה פתוח ללקוחות VIP בלבד
דיווח על תוכן לא הולם או מפלה
מה השם שלך?
תיאור
שליחה
תודה על שיתוף הפעולה
מודים לך שלקחת חלק בשיפור התוכן שלנו :)
1 ימים
WIX
Location: Tel Aviv-Yafo
Job Type: Full Time
required Data Engineer - Partners
Job Description
Be responsible for designing, implementing, and maintaining data pipelines from different sources into the organizational data warehouse (DWH)

Design and implement robust, scalable solutions that make it easier to identify gaps and the design processes needed to solve them

Monitor the performance of data pipelines, troubleshoot issues, and ensure high availability of data infrastructure

Work with analysts and product managers to understand business priorities and translate requirements into data models

Collaborate with various stakeholders across the company like data engineers, analysts, data scientists, finance experts, etc.
Requirements:
Youre a highly analytical individual with 1+ years of experience in data-related positions, preferably within an online company working with large data sets

Experience in writing complex SQL queries, developing complex data pipelines, and coding in Python

Education in a field emphasizing quantitative analysis (such as industrial engineering, computer science, statistics, etc.)

Youre an independent, self-learner who is passionate about data, understands business processes, and can translate business needs into data models

English at a professional capacity and great communication skills, both in person and written

Experience with Airflow, Great Expectations, Spark, Google or AWS Cloud Development Data Solutions would be an advantage
.המשרה מיועדת לנשים ולגברים כאחד
 
Show more...
הגשת מועמדות
עדכון קורות החיים לפני שליחה
70169
שירות זה פתוח ללקוחות VIP בלבד
דיווח על תוכן לא הולם או מפלה
מה השם שלך?
תיאור
שליחה
תודה על שיתוף הפעולה
מודים לך שלקחת חלק בשיפור התוכן שלנו :)
1 ימים
WIX
Location: Tel Aviv-Yafo
Job Type: Full Time
required Data Engineer
Be responsible for designing, implementing and maintaining data pipelines from different sources into the organizational data warehouse (DWH)

Design and implement robust, scalable solutions making it easier to identify gaps and the design processes needed to solve them

Work with analysts and product managers to understand business priorities and translate requirements into data models

Collaborate with various stakeholders across the company like data engineers, analysts, data scientists, finance experts, etc.,

Collaborate with a broad forum of stakeholders, including architects and engineers, to create high quality deliverables
Requirements:
You have 1-2 years experience in a data position

You are experienced in writing complex SQL queries

You are experienced in developing complex data pipelines

You are experienced in developing Python code

Youre an independent, self-learner who is passionate about data, understands business processes and can translate business needs into data models

You're detail-oriented with a track record of success in quantitative fields

Experience with Airflow, Great Expectations, Spark, Google or AWS Cloud Development Data Solutions would be an advantage
.המשרה מיועדת לנשים ולגברים כאחד
 
Show more...
הגשת מועמדות
עדכון קורות החיים לפני שליחה
70193
שירות זה פתוח ללקוחות VIP בלבד
דיווח על תוכן לא הולם או מפלה
מה השם שלך?
תיאור
שליחה
תודה על שיתוף הפעולה
מודים לך שלקחת חלק בשיפור התוכן שלנו :)
 

חברת השמה / כח אדם

לפני 6 שעות
Log-On Software
סוג משרה: משרה מלאה ועבודה היברידית
חברה פיננסית במרכז הארץ מגייסת data Engineer מנוסה

במסגרת התפקיד:
פיתוחdata pipeline בסביבת data LAKE מקצה לקצה
פיתוח סקריפטים ב Python (בדגש על PySpark)
פיתוח ותחקור נתונים ב SQL
ביצוע בדיקות (unit/integration)
CI/CD
פיתוח תהליכים ב JENKINS
דרישות:
לפחות שנת ניסיון בפיתוח ב - PySpark
לפחות 4 שנות ניסיון בפיתוח SQL (יתרון לעולמות ה data / BI )
ניסון בכתיבת SQL מורכבים
ידע בעבודה בשפת Python בדגש ע ל ידע בספריות pyspark ו pandas
ידע בניתוח נתונים ותהליכי ETL /ELT
ניסיון עבודה בסביבת data LAKE ו DWH
ידע בתהליכי CI/CD
יכולת למידה עצמית גבוהה המשרה מיועדת לנשים ולגברים כאחד.
 
עוד...
הגשת מועמדות
עדכון קורות החיים לפני שליחה
67783
שירות זה פתוח ללקוחות VIP בלבד
דיווח על תוכן לא הולם או מפלה
מה השם שלך?
תיאור
שליחה
תודה על שיתוף הפעולה
מודים לך שלקחת חלק בשיפור התוכן שלנו :)
 

חברת השמה / כח אדם

3 ימים
Log-On Software
סוג משרה: משרה מלאה
במסגרת התפקיד:
* אבטחת מידע, שדרוגים, תחזוקה, הדרכות למפתחים מהאגפים האחרים, פתרון בעיות, מתן תמיכה בפיתוח מול האגפים השונים ואף בפיתוח נושאים ספציפיים.
* הצוות הינו חלק ממחלקת ה- DBA בענף תשתיות בבנק ונותן שירותים מרכזיים בטכנולוגיות Big Data ו- ETL, בהיבט הארכיטקטוני, האבטחתי והתחזוקתי.
דרישות:
* ניסיון של 3 שנים לפחות בפיתוח תהליכי ETL - חובה.
* היכרות מעמיקה עם טכנולוגיות Big Data - חובה.
* ניסיון בעבודה עם אינפורמטיקה או DATASTAGE - יתרון משמעותי.
* ניסיון בעבודה במתודולוגיית AGILE - יתרון. המשרה מיועדת לנשים ולגברים כאחד.
 
עוד...
הגשת מועמדות
עדכון קורות החיים לפני שליחה
36184
שירות זה פתוח ללקוחות VIP בלבד
דיווח על תוכן לא הולם או מפלה
מה השם שלך?
תיאור
שליחה
תודה על שיתוף הפעולה
מודים לך שלקחת חלק בשיפור התוכן שלנו :)
 

חברת השמה / כח אדם

לפני 8 שעות
TechTalent
סוג משרה: משרה מלאה
לחברת מוצר בתחום ה-B2B שגייסה 45 מיליון דולר דרוש/ה Senior data engineer.
במסגרת התפקיד: עבודת data engineer בצוות data איכותי, כתיבת קוד ב- Python,
שימוש ב-Spark Hive Kafka, שימוש בבסיס נתונים My SQL MongDB וכן נגיעות קלות
מדי פעם בעולמות ה- data sciense.
דרישות:
תואר ראשון בהנדסת מחשבים או הנדסת תכנה - חובה
2-3 שנות ניסיון בתור data engineer - חובה
רקע של 3-4 שנים לפני כן בתור backend Developer
ניסיון רלוונטי בפיתוח Python
מנוסה בעולמות Hive Spark Kafka
רמה אישית מעולה המשרה מיועדת לנשים ולגברים כאחד.
 
עוד...
הגשת מועמדות
עדכון קורות החיים לפני שליחה
67324
שירות זה פתוח ללקוחות VIP בלבד
דיווח על תוכן לא הולם או מפלה
מה השם שלך?
תיאור
שליחה
תודה על שיתוף הפעולה
מודים לך שלקחת חלק בשיפור התוכן שלנו :)
 

חברת השמה / כח אדם

3 ימים
פרולוג'יק
מיקום המשרה: תל אביב יפו וראש העין
סוג משרה: משרה מלאה ועבודה היברידית
לחברתנו דרוש/ה Data stage developer למשרה מלאה ולטווח ארוך
מתכונת היברידית
דרישות:
ניסיון בעבודה ב-Data Stage בסביבת ORACLE- חובה
ידע וניסיון בכתיבת פונקציות ושאילתות מורכבות בשפת PL/SQL- חובה
ניסיון בעבודה עם מערכות BI בתחום פיננסי/ בנקאי /ת - יתרון משמעותי
ניסיון בניתוח מערכת ניהול סיכונים פיננסית- יתרון המשרה מיועדת לנשים ולגברים כאחד.
 
עוד...
הגשת מועמדות
עדכון קורות החיים לפני שליחה
16595
שירות זה פתוח ללקוחות VIP בלבד