大数据系统的研发,
大数据应用开发人才和大数据分析人才;
而对于大数据系统的研发工程师、大数据应用开发工程师和数据分析师来说,这两种需求最为普遍。
大数据架构工程师:
主要负责Hadoop集群架构的设计、构建、管理、操作、调优;负责数据对接及外部服务的设计、开发和维护;负责大型数据框架和大数据应用程序的设计、开发和维护;负责基于大数据技术的海量数据的自动分析处理和挖掘工作;
大数据开发工程师:
以hadoop、spark等为基础构建数据分析平台,进行设计、开发分布式计算业务;辅助Hadoop集群运行,稳定提供平台服务;基于Spark技术的海量数据的处理、分析、统计和挖掘;以及基于Spark框架的数据仓库的设计、开发和维护。
数据操作工程师:
承担数据基础平台的运行维护,确保平台的稳定可用;负责应用产品的部署、上线和维护;负责大数据平台资源管理、性能优化和故障处理;深入研究大数据业务相关技术,持续优化集群服务架构;参与设计大数据自动化、应用软件开发、维护和维护;
在大数据方面,我写了一篇文章:
Yahoo:大数据的现在和未来“内容原创”