如今，大数据的发展趋势正在迅速转变，但专家预计机器学习、预测分析、物联网、边缘计算将在未来几年对大数据项目产生重大影响。
大数据已不再只是一个流行术语。调研机构forrester公司的研究人员发现，在2016年，将近40%的企业正在实施和扩展大数据技术的应用，另外30%的企业计划在未来一年内采用大数据。同样，来自newvantage partners的“2016年大数据执行调查”发现，62.5%的企业现在至少有一个大数据项目投入使用，只有5.4%的企业没有计划或没有实施大数据项目。
研究人员表示，大数据技术的采用不会很快放缓。根据调研机构idc公司预测，大数据和业务分析市场将从2018年的1301亿美元增长到2020年的2030多亿美元。
“数据的可用性、新一代技术以及向数据驱动型决策的文化转型将继续推动企业对大数据和分析技术和服务的需求。”idc公司分析和信息管理集团副总裁dan vesset说，“2015年的全球大数据市场收入达到1220亿美元，2016年的市场收入增长11.3%，预计到2020年大数据市场收入的复合年均增长率将达到11.7%。”
虽然大数据市场将会增长，但企业对如何使用他们的大数据却不那么清楚。新的大数据技术正在进入市场，而一些老旧技术的使用也在不断增长。
大数据的发展趋势
真正掌握大数据趋势就像试图监控风向的每日变化一样，只要感觉到风向，它就会改变。然而，以下趋势明显地推动了大数据的发展。
1.大数据和开源
apache hadoop、spark和其他开源应用程序已经成为大数据技术空间的主流，而且这种趋势似乎可能会持续下去。一项调查发现，近60%的企业预计到今年年底将采用hadoop集群投入生产。根据调研机构forrester公司的报告，hadoop的使用量每年增长32.9%。
专家表示，到2017年，许多企业将扩大对hadoop和nosql技术的使用，并寻找加快大数据处理的途径。许多人寻求能够让他们实时访问和响应数据的技术。
hadoop就是开源大数据项目的一个很好的例子。
2.内存技术
内存技术是企业正在研究加速大数据处理的技术之一。在传统数据库中，数据存储在配备有硬盘驱动器或固态驱动器(ssd)的存储系统中。而内存技术可以将数据存储在ram中，并且存取速度要快很多倍。forrester 公司的一份报告预测，内存数据结构市场规模每年将增长29.2%。
目前有几家不同的供应商提供内存数据库技术，特别是sap、ibm、pivotal公司。
3.机器学习
随着大数据分析能力的进步，一些企业已经开始投资机器学习(ml)。机器学习是人工智能的一个分支，其重点在于允许计算机在没有明确编程的情况下学习新事物。换句话说，它分析现有的大数据存储库来得出改变应用程序行为的结论。
根据gartner公司的研究，机器学习是2017年十大战略技术趋势之一。报告指出，当今最先进的机器学习和人工智能系统正在超越传统的基于规则的算法，以创建理解、学习、预测，以及潜在地自主操作系统。
机器学习在当前的大数据技术中扮演着重要的角色
4.预测分析
预测分析与机器学习密切相关。实际上，机器学习系统经常为预测分析软件提供引擎。在大数据分析的早期，企业正在回顾他们的数据，看看发生了什么，然后他们开始使用分析工具来调查为什么发生这些事情。而预测分析则更进一步，可以使用大数据分析来预测未来会发生什么。
根据普华永道公司在2016年的研究调查，使用预测分析技术的企业数量很低，只有29%。然而，最近有很多供应商提供了预测分析工具，因此随着企业越来越多地了解这个强大工具，这个数字可能会在未来几年飙升。
5.大数据智能应用程序
企业使用机器学习和人工智能技术的另一种方式是创建智能应用程序。这些应用程序通常包含大数据分析，分析用户以前的行为，以提供个性化和更好的服务。现在人们非常熟悉的一个例子是当前推动许多电子商务和娱乐应用程序的推荐引擎。
在2017年排名前十的战略技术趋势中，名列gartner公司的报告中第二位的技术是智能应用程序。“在接下来的十年中，几乎所有的应用程序和服务都将包含一定程度的人工智能。”gartner研究员副总裁david cearley说，“这将形成一个长期的趋势，将不断发展和扩大人工智能和机器学习应用程序和服务的应用。”
6.智能安全
许多企业也将大数据分析纳入其安全战略中。组织的安全日志数据提供了有关过去的网络攻击的宝贵信息，企业可以使用这些信息来预测、预防和减轻未来的攻击。因此，一些组织正在将其安全信息和事件管理(siem)软件与hadoop等大数据平台进行整合。其他公司正在转向采用安全厂商提供的服务，其产品包含大数据分析功能。
7.物联网
物联网也可能对大数据产生相当大的影响。根据idc 公司2016年9月的一份调查报告，“接受调查的企业中有31.4%推出了物联网解决方案，另外43%的企业希望在未来的一年内进行部署。”
随着所有这些新设备和应用程序的上线运行，企业将会体验到比以往更快的数据增长。许多企业需要新的技术和系统，以便能够处理和理解来自物联网部署的大量数据。
物联网收集的数据洪流将会增加对大数据应用的需求
8.边缘计算
一种可以帮助企业处理物联网大数据的新技术是边缘计算。在边缘计算中，大数据分析与物联网设备和传感器非常接近，而不是在数据中心或云端。对于企业来说，这提供了一些重要的好处。他们的网络数据流量较少，可以提高性能，并节省云计算成本。它允许组织删除只在有限的时间内具有价值的物联网数据，减少存储和基础设施成本。边缘计算还可以加快分析过程，使决策者能够比以前更快地采取行动。
9.高薪
对于it员工来说，大数据分析的增长可能意味着对拥有大数据技能的人员的高需求和高薪酬。根据idc公司的调查，仅在美国，2018年就会有181,000个深层次的分析职位，而在许多需要相关数据管理和解释技能的职位中，这个数字将是其五倍。
由于这种稀缺性，robert half 技术公司调查表明，数据科学家的平均薪酬在2017年提高了6.5%，其年薪为116,000美元到163,500美元。同样，大数据工程师也将增加5.8%的薪酬，其年薪为135,000美元到196,000美元。
10.自助服务
随着聘请行业专家的成本不断上升，许多组织可能正在寻找工具，让普通工作人员能够满足他们自己的大数据分析需求。idc公司此前曾预测，可视化数据发现工具的增长速度将比商业智能(bi)市场的增长速度快2.5倍，到2018年，对推动终端用户自助服务的投资将成为所有企业的需求。
一些供应商已经推出了具有“自助服务”功能的大数据分析工具，专家预计这一趋势将持续到2018年及以后。随着大数据分析越来越融入到企业各个部门的人员工作中，it部门可能会越来越少地参与到这个过程中。