大数据的未来十年将如何发展
新闻来源：优漫教育
日期：2021-06-19
现在我们生活在一个大数据时代。今天，机器学习和大数据分析技术已经成为我们生活中不可或缺的一部分。我不打算预测这个博客中关于数据科学的未来是什么样子的，我也不想猜测它的未来是光明的还是绝望的。在这里我只会结合自己，提供一些决定因素来帮助我做出预测。
除了这些之外，我还将对未来10年影响数据科学未来的主要因素做一个大概的描述。但愿它能为您提供一些对工作流程的宝贵见解。别再说了，那只是我个人的预测。如对此感兴趣，请继续阅读！
未来十年的大数据科学，我们该如何看待？
1、大数据科学策略的增加。
资料科学是一门通过数量手段解决问题的学科。以前，由于缺乏数据或数据处理能力，我们只能依靠其他一些东西，如“独裁者们突然的幻想”、“专家们的直觉”、“普遍共识”等等。如今，这一切都已无济于事，而且，10年后，其影响无疑将更加有限。在构建一些能够输出语音、预测、给出预期结果和输出真实结果的系统时，大数据科学家会转向。
资料科技的泡沫不会破灭，相反，引进资料驱动战略将继续成为主流。大多数人都会把注意力放在数据上，从中获取信息。因此，数据科学团队成了任何一个成功的组织机构的重要组成部分，至少在大多数组织中是如此，因此，组织间会相互竞争，并渴望在该领域处于前沿。
2、要进一步明确界定职责。
所以数据科学将会更受欢迎，而且大多数客户将更了解数据科学家的工作。如今，数据科学家是个很广泛的名词。当前领域内的人员在使用相关名称和描述时有些不严谨，因此，外界对该领域内人员的作用存在许多疑惑。通常，我们将数据科学领域的角色分为4类，这些角色在功能上有所不同，但有重叠。
DataSchema——设计数据架构，以便有效地捕获、整合、组织、集中和维护数据。资料分析员-处理并解读资料，为公司提供有意义的预测。一旦数据量和产生速率达到一定水平，就需要复杂的技术，数据科学家们就开始分析数据了。设计、测试和维护数据体系结构，确保数据在任何时候被使用和分析。随着时间的流逝，这些角色将变得更加熟悉，我们也将更加了解他们的不同之处。所以，顾客对于什么是可以得什么是不能得，有了更切合实际的期望，在头脑中就会有更清晰的工作流程，以及从中得到的好处。
3、更多的对软技能的需求。
假以时日，我们将更清楚地看到大量数据科学家将会熟练地使用Python或者R语言。但向管理层推销你的想法、说服他们相信你的洞察力和洞察力的能力是否值得去追求？直观的描述可以承担一半的工作，而另一半则是陈旧的市场营销技巧。因此，我们将看到市场更倾向于那些知道如何为销售产品创建关键会话的人。所以，那些能把软硬技能结合起来的人，永远都会成功。
4、数据会越来越多，处理它们的人工智能也会越来越多。
下面我们来谈谈严肃的问题。按照现在的速度，我们每天产生的数据量达到2.5个10,18个方字节，而这一速度还在加速中，这是无法想象的。看看Raconhur网站提供的每日重要数据信息图表：
1、五亿人口的信息；
2、二百四十亿电子邮件；
3、Facebook四千万亿字节的数据；
4、四万亿字节汽车联网数据；
5、WhatsApp有650亿条信息；
6、五十亿条搜索信息；
预计到2025年，全球每天将有463艾字节的数据(463*10^18字节)，相当于每天212,765,957张DVD。
事实上，单凭数据科学家是无法管理和处理如此庞大数据的。到那时，人工智能将是帮助数据科学家处理数据的一种有效工具。自动数据分析工具和机器学习可以“智能地”替代数据科学家的日常工作，如探索性数据分析、数据清理、统计建模以及建立机器学习模型。
根据特斯拉AI主管A.Karpathy的说法，在不写代码的情况下，我们很快就能。只要找到数据，然后输入机器学习系统就可以了。在这种情况下，软件工程师的作用就变成了“数据管理者”。将来的程序员再也不需要复杂的仓库，也不需要编写复杂的程序。Karpathy说，程序员要做的工作有：收集、清理、操纵、标记、分析数据，并可视化来自神经网络的数据。机器学习正引领着一种新的计算范式，其中关键技能就是训练机器。由于机器学习技术的普及，以及工具上的抽象程度的提高，我们将会看到大部分的编程工作都会消失。最后，在生产一个产品时，大多数步骤都是在屏幕上拖动，刷卡，指向和点击操作。从业人员将从中得到解放，在解决问题时更具进取心和创造性。您看过“迷航”里有人写过电脑程序吗？不是的
难道R语言、Python和Spark之类的工具就不能发挥作用吗？难道大部分数据科学家不需要写统计分析或者训练机器学习模型来编写程序吗？并不那么简单不管怎样，把希望寄托在这些方面都没有什么意义。您还需要了解并熟悉所有这些处理过程，机器学习只是帮助您处理一些日常事务。
6、尽量使用API(应用程序界面)
大多数企业都是先做一件事，积累知名度，然后再开始做一件事，以开放源码API的形式贡献给社区。10年后，大多数软件将以可见的方式进入终端，最大限度地利用所有必要的服务生成解决方案。资料科学家可以快速建立测试模型，一次建立多个算法并进行测试，最后与整个小组进行视觉验证。在未来适时引入深度技术思想之后，科学家就不会再白费力气去重复他们的工作。
