一、概念与应用。

    1、大数据发展。

    ①概念：

    目前有两种大数据开发方向，一种是基于Hadoop和Spark开发大数据平台应用程序，另一种是基于大数据开放源组件开发企业需求的完善的大数据系统平台，大数据开发主要偏向于对计算机编程类知识的使用。

    ②适用：

    大数据开发应用在银行开发一个大数据分析平台，用来分析客户的消费内容和兴趣爱好，方便银行为客户指定优秀的推送服务；在游戏行业负责游戏后端的数据系统开发等；在企业中根据企业的需求开发大数据分析平台，方便银行为客户指定优秀的推送服务；在游戏行业负责开发游戏后端的数据系统开发等；在企业中，根据企业的需求分析企业的发展预测，使企业决策更加智能化和智能化；

    2、大数据分析。

    ①概念：

    大数据分析是指分析大型数据，而大数据分析更倾向于用数学算法方面的知识来分析大数据，一般说来，大数据分析师是在大数据开发工程师完成大数据系统平台之后，利用这个组件对大量数据进行分析。

    ②适用：

    大数据分析应用于能源工业中，通过电网收集数据，分析和预测客户的用电习惯，并推算出未来几个月整个电网需要多少电力；在一个应用的推送服务中，根据用户的留言内容进行分析，并推送用户可能感兴趣的内容。

    二、技术知识。

    大数据开发与大数据分析的学习内容也不相同。

    了解大数据开发的技巧。

    程序设计语言：Java,Scala(更多地使用Java进行大数据开发，而Scala是Spark中主要使用的编程语言)。

    企业Java框架：Spring,Springmvc,SpringBoot,Mybtis。

    资料库：MySQL资料库，SQL语句，HBase,MongoDB,Redis,Hive,ES。

    Linux:Linux系统，CentOS,Maven。

    大数据技术架构：HDFS,MapReduce,Yarn,Flume,Scala,Kafka,Spark,Flink,Oozie。

    2、了解大数据分析技巧。

    程序设计语言：Python、R、java(任何一种学习选项，而Python更多地使用大数据分析技术)。

    资料库：MySQL资料库及SQL语句。

    资料结构与算法：掌握常用的数据结构及运算(线性表、队、列、串、树、图等)，掌握常用的计算机算法(排序算法、查找算法、动态规划、递归等)。

    Linux：熟悉Linux操作系统，会使用ETL工具。

    大数据生态系统：Hadoop,Spark。

    从以上内容我们可以看出，大数据开发和大数据分析所用的编程语言是不一样的，而大数据分析更倾向于算法分析，大数据开发偏重工程开发。

    三、工作的责任。

    下面是小编从几家大型因特网公司中选出的有关大数据开发和大数据分析职位的职责。

    1、大数据开发职责：

    ①负责开发，维护，优化大数据体系结构相关组件。

    ②负责分布式计算平台、查询引擎、中间件的搭建；

    ③确定大数据体系结构的总体技术路线和架构方向、新技术的研究与实施。

    2、大数据分析职责：

    ①建立全面、准确、能够反映产品线业务发展的整体指标体系，并基于业务监控指标体系及时发现和定位业务问题。

    ②通过专题分析，深入分析业务问题，为生产线的操作决策、产品指导、运营及业务策略等提供数据支持和决策依据。

    ③沉淀分析方法和监测框架，改进数据产品需求，与相关团队(产品、运营、解决方案构架团队等)合作并推动数据看板、上级管理和其他系统搭建的落地。

    ④和相关团队合作进行数据建模工作，促进生产线的数据化操作。

    ⑤与相关团队合作，如产品，运营团队，组织与产品有关的数据技术理念、技能、方法、工具的培训和共享。

    通过以上内容可以看出，大数据开发更倾向于工程设计，大数据分析偏向于算法分析，大数据分析师需要在大数据开发工程师开发的大数据分析平台上分析数据，并为企业业务提供数据支持和决策依据。