ETL

ETL开发人员工作描述模板

今天的提取-转换-加载(ETL)开发人员必须利用来自多个领域的知识和专业知识. ETL开发接近于数据库设计和编程的交叉点,但需要在这两个领域中都具备非常通用的技能. 世界各地的数据都在快速增长, 所有与之一起成长的公司都需要专家来维护它.

Share

今天的提取-转换-加载(ETL)开发人员必须利用来自多个领域的知识和专业知识. ETL开发接近于数据库设计和编程的交叉点,但需要在这两个领域中都具备非常通用的技能. 世界各地的数据都在快速增长, 所有与之一起成长的公司都需要专家来维护它.

On the database side, 候选人可能需要了解数据建模原理,以便为处理后的数据准备最终结构, 了解转换和性能调优算法, 熟悉保存数据(如rdbms)的多种解决方案, NoSQL databases, and other Big Data solutions.

As for programming, ETL developers may need basic shell or Unix scripting skills for managing file/folder structures; they may equally need to know the basic principles of object-oriented programming in various widespread languages like C#, Python, Java, 或者能够从应用程序和web服务中获取和处理数据.

尽管根据所使用的技术栈,ETL开发人员的位置可能会有很大的不同, 有一些常见的技能是绝对需要的, like advanced SQL knowledge. ETL开发人员处理的数据必须符合公司的标准,并应满足最终用户的需求.

ETL开发人员-职位描述和广告模板

复制此模板,并将其修改为自己的模板:

Company Introduction

{{写一段简短而醒目的关于你公司的文字. 一定要提供有关公司文化、津贴和福利的信息. Mention office hours, remote working possibilities, 以及所有你认为能让你的公司有趣的东西. }}

Job Description

我们目前正在寻找ETL开发人员来设计和实现ETL流程. 您将构建ETL管道,将来自异构源的数据摄取到我们的系统中. 你应该有出色的业务和沟通能力, 并能够与企业所有者合作,了解他们的数据需求,并利用您的ETL知识和经验帮助他们做出与数据相关的决策.

这个职位也可能要求你快速学习新的工具和技术, 您应该具有深入的数据库知识以及基本的编程和脚本技能. 您将帮助构建高效和稳定的数据管道,这些管道可以在将来轻松维护. 您应该具有大型数据集的设计、创建、管理和业务使用方面的专业知识.

Responsibilities

  • Design, implement, 并通过抽取不断扩展数据管道, transformation, and loading activities
  • 收集需求和业务流程知识,以便以符合最终用户需求的方式转换数据
  • 维护和改进现有的流程
  • 确保数据架构是可伸缩和可维护的
  • 与业务部门一起设计和交付正确、高质量的数据
  • 调查数据以识别ETL管道中的潜在问题, 通知最终用户并提出适当的解决方案
  • 准备文档以供进一步参考
  • {{在这里添加任何其他相关职责. }}

Skills

  • SQL知识(查询性能调优、索引维护等).)以及对数据库结构的理解
  • 了解数据建模原理
  • 组织能力:时间管理和计划
  • 至少了解一种ETL工具(SSIS, Informatica, Talend等).) {{对于有时间限制的合同, specify the exact tool required; in longer-term positions, 否则,强有力的候选人可以在细节上得到指导。
  • 了解各种SQL/NoSQL数据存储机制和大数据技术
  • High attention to detail
  • 对复杂数据结构和解决问题充满热情
  • 能够快速掌握新的数据工具和概念
  • {{确保提及任何其他框架, libraries, 或者其他与您的项目相关的技术. }}
  • {{列出您可能需要的任何教育水平或证书. }}
See also:Toptal不断增长的社区驱动列表 基本的ETL面试问题

Toptal Engineers最近的ETL文章

找到合适的ETL面试问题

阅读社区驱动的ETL面试问题列表.
阅读它们,评论它们,甚至贡献你自己的.

Read the Questions

Hire a Top ETL Developer Now

Toptal是一个面向顶级ETL开发人员的市场, engineers, programmers, coders, architects, and consultants. 顶级公司和初创公司选择Toptal ETL自由职业者来完成他们的关键任务软件项目.

See Their Profiles

Anish Chakraborty

Freelance ETL Developer
SwedenToptal Member Since August 4, 2020

Anish是一位经验丰富的软件工程师,对后端系统有着非常深入的了解, databases, data warehousing, data engineering, 构建数据驱动的产品和服务. 尽管他自学了SQL, Scala, and Python, Anish以前赢得过国际SQL编码竞赛.

Show More

Alex Baas

Freelance ETL Developer
GermanyToptal Member Since April 15, 2021

Alexander是一名拥有超过十年软件工程经验的全栈开发人员. 他专注于具有可扩展后端的高性能数据驱动应用程序,并具有微服务和无服务器架构方面的专业知识, database architecture, DevOps, cloud architecture, and data engineering. Alexander精通JavaScript, TypeScript, React, Node.js, SQL, and NoSQL. 他拥有强大的项目管理技能,获得Scrum认证,并拥有MBA学位.

Show More

Paul Lysak

Freelance ETL Developer
UkraineToptal Member Since February 18, 2015

Paul是一位经验丰富的软件开发人员,拥有超过十年的经验,专注于Scala, Play, Akka, and Apache Spark. He develops safe, 可维护的软件,对意外的错误是健壮的,对监视和诊断是透明的. 他有效地利用了计算资源, 开发不会阻塞线程的响应式应用程序.

Show More

Jakub Kaczanowski

Freelance ETL Developer
AustraliaToptal Member Since June 18, 2020

近20年前,Jakub开始整理数据,在石油和天然气领域建立Access数据库. Since then, 他为各种澳大利亚金融和政府客户建立了数据解决方案, co-founded a fintech startup, 为美国和欧盟的跨国公司做自由撰稿人. An expert in BI, analytics, 以及数据仓库的架构和开发, Jakub is much more than a technical resource; he has a sound understanding of the role of insightful data and its commercial application.

Show More

Harish Chander Ramesh

Freelance ETL Developer
United Arab EmiratesToptal Member Since April 22, 2022

Harish是一名数据工程师,他一直在消费, engineering, analyzing, exploring, testing, 在过去的十年里,我一直在为个人和职业目的可视化数据. 他对数据的热情使他与多家财富50强企业合作, including Amazon and Verizon. 哈里什喜欢挑战,并相信当他离开自己的舒适区时,他可以学习和表现得最好.

Show More

Renato Pedroso Neto

Freelance ETL Developer
BrazilToptal Member Since April 14, 2022

Renato拥有超过13年的大数据项目经验. 他曾任职于Databricks、Capco和金融机构. Renato已经将数拍字节的数据迁移到本地和云数据湖环境, architected entire lakehouses, 实施机器学习模型,为客户提供智能建议,管理多元文化数据团队,为巴西一流银行提供数据项目. 他拥有大数据硕士学位.

Show More

Fabio Bressler

Freelance ETL Developer
BrazilToptal Member Since June 24, 2020

拥有商业战略领导力MBA学位, Fabio是一名经过认证的区块链专家,拥有专业的开发和架构背景. 他带来了几年的数据库建模经验, data handling, 以及与数据摄取和提取相关的性能调优, 以及最近的区块链设计和实现. Furthermore, Fabio擅长使用云架构来评估和提供数据驱动应用程序的替代方案, mainly AWS, at the moment.

Show More

Hasitha Ranawaka

Freelance ETL Developer
Sri LankaToptal Member Since September 5, 2022

Hasitha立志成为为全球企业架构数据驱动解决方案的领导者. 他是一位具有数据工程专业知识的多技能工程师, cloud-native development, and engineering. 作为一名数据工程师,他在构建高度可扩展的数据平台方面经验丰富. 作为一名认证的云架构师,Hasitha擅长实施最先进的云解决方案. 作为一名工程师,他精通不同制造工艺的技术.

Show More

Naman Jain

Freelance ETL Developer
IndiaToptal Member Since June 24, 2020

Naman是一位经验丰富的云和数据解决方案架构师,拥有超过六年的经验,为多家财富100强客户提供数据工程服务. 他通过Azure云交付了多个pb级数据迁移和大数据基础设施, AWS Cloud, and Snowflake or DBT, 在许多情况下,在他们的用例中创建效率的阶梯顺序. 纳曼从根本上相信过度沟通, establishing trust, 并获得可交付成果的所有权.

Show More

Faisal Malik Widya Prasetya

Freelance ETL Developer
IndonesiaToptal Member Since April 25, 2022

Faisal是一名数据工程师,专门研究谷歌和AWS等云数据技术以及端到端数据工程流程. 从设计体系结构和构建基础设施到开发管道操作, 他对新的云计算适应能力很强, open source, or SaaS technologies. Faisal拥有丰富的经验,通过直接构建端到端数据管道或在其专业领域提供咨询服务,为早期创业公司做出贡献.

Show More

在Toptal网络中发现更多ETL开发人员

Start Hiring

Toptal Connects the Top 3% 世界各地的自由职业人才.

Join the Toptal community.