大数据工程师是做什么的。这份工作要求高吗?大数据开发工程师负责数据仓库建设、ETL开发、数据分析、数据指标统计、大数据实时计算平台及业务开发、平台建设与维护等工作。熟练掌握数据仓库、Hadoop生态系统、计算及二次开发,开发大数据平台工具:开发平台、调度系统、元数据平台等工具,本岗位技术要求高。
数据开发工程师有发展前景吗?
前景非常好。现在我们将进入大数据时代。大数据开发工程师的需求真的很大。一般来说,只要技能过硬,发展前景非常美好。大数据开发是这个时代新兴的行业,数据经常更新。从长远来看,只要大数据产业存在,就需要大数据开发工程师。
大数据开发工程师的工作要求是什么:。
1. 计算机相关专业本科以上学历,对数据处理、数据建模、数据分析等有较深的理解和实践经验;
2. 熟悉HiveSQL语言,shell,python等脚本语言。
3. 有使用hadoop、spark和flink等大数据平台的经验。
4. 有数据仓库建设、业务数据分析和增长项目经验。
5. 熟练使用java/scala中的至少一种。
6.精通Hadoop和Map—Reduce应用开发,精通HBase、Hive、Storm、spark等大数据开发工具。
7.熟悉至少一种实时计算引擎Storm、SparkStreaming、Flink,并对hadoop生态系统的其他组成部分有一定的了解,如HBase、hadoop、Hive、Druid等。
熟悉Hadoop/Spark/Hive/HBase等大数据工具,主导过大型数据平台建设者优先。
9. 精通SQL,熟悉常用的关系型数据库、非关系型数据库和数据仓库,具有SQL性能优化经验。
9.了解微服务开发理念和实现技术,熟悉常用设计模式,精通SSH开发框架,精通Java和Python代码编写,熟悉多线程编程。
10.有Hadoop/Hive/Spark/Storm/Zookeeper等相关开发经验或从事过分布式相关系统的开发;
11. 熟悉Linux/Unix系统,有丰富的Java开发经验。
12. 3年以上企业级数据仓库开发经验,有大型集群应用开发经验者优先。
13. 熟悉数据仓库理论,有能力整理复杂的业务需求。
14. 精通SQL开发,精通关系型数据库如Mysql。
15. 熟悉Linux系统,有shell、python等脚本开发能力者优先。
16.学习能力强,喜欢钻研开源新技术,有团队观念,有独立解决问题的能力,有扎实的计算机理论基础,并有较强的数据结构和算法基础。
看到这些要求,你是不是很惊讶呢?别慌,小编整理了众多大型互联网公司的招聘要求,供大家参考。不同的公司对技术的重视程度不同。