大数据和编程应该怎样选择？那个前景更好
新闻来源：优漫教育
日期：2021-06-22
在雇佣问题上，大数据和编程并没有任何冲突，而事实上，大数据培训班的工作机会也对编程能力提出了更低的要求。大数据工程师通常被认为是Hadoop生态系统中的一员。
大数据产业也随着时间推移经历了许多变化，如今的热点也已从大数据转向AI，而大数据培训产业也进入了一个相对平稳的发展时期。事实上，很容易理解以前缺少的是数据和处理数据的解决方案，AI现在是一个使用数据输出结果的方向。
一、在工作性质上，大数据职位大致可分为四类：
1、基本结构。
企业因其性质不同，数据也不同，因此数据架构和设计方法、引入的组件也不同，需要进行设计、建立和维护相应的基础设施。
这个部分现在也有很多商用的应用程序，比如CDH，它和以前的其他Hortonworks公司合并了，其实他们两家的合并也说明了一些市场反应。很多体系结构方法使用的Lambda体系结构，这里不再赘述。
2、ETL
ETL是Extract-Transform-Load的缩写，最常见的情况是将数据从某个系统导入另一个系统，而在导入的过程中会对数据进行一些处理，进行一些数据增强，数据清理，数据调整等等。
其实，从事大数据开发的大多数人都在做一件事，那就是区分别人只做这件事，而其他人只做那件事，也许从来就不知道自己的大数据工作都是ETL的工作。由于常见的数据来源主要来自数据库(通常为关系型数据库)和日志数据，所以这部分工作并不容易。
商业数据库，商业数据的设计将遵循OLAP的设计，数据可视化和数据分析将遵循OLTP的数据设计，更多的冗余将被更快的处理时间所取代，包括ETL之间的转换。
对于非结构化数据，日志始终是以一种方式存在的，总是需要转换成结构化数据，而对于与MySQL有关的binlog等数据，则可以归结为日志处理。
总之，这部分的工作虽然枯燥，但却是十分重要和必要的。
3、数据可视化
虽然数据可视化可以归结为数据分析，但是许多公司的数据分析只涉及到这一点，所以要特别列出。
4、资料分析。
使用现有数据，分析上一次汇总的数据，例如支付系统的对账，以及预测未来行为，例如ML/DL系统也是一种数据分析。
二、大数据需要什么样的编程语言？
如想要参与基础设施和ETL类，主要是Java+Scala,Python作为辅助。若想要进行数据可视化，可以根据前端需求，HTML+JS+CSS。对于想要参与分析类，基于现有大数据架构的分析，也可以使用Java+Scala,Python作为辅助。在现阶段，Python占主导地位，C++(如Tensorflow等底层实现)占辅助地位。而且高手也从不问要选什么，他都会！
