2017年,在重庆政府的大力倡导和企业大力发展的双重推动下,重庆大数据的业务版图不断扩大,越来越多的公司开始部署大数据战略,并且很多公司在大数据业务中的获利颇丰。2018年的重庆大数据将是怎样的发展趋势呢,而大数据中最核心的分析领域又将是怎样的发展趋势?预测2018年重庆大数据分析领域的六大发展趋势:
一、大数据分析工具的竞争将加剧
随着大数据量的不断增长,大数据分析方法也将进一步提高。虽然SQL依然是大数据分析的标准方法,但是大数据计算框架如Spark的发展仍然势不可挡。但Spark作为计算框架,在小数据、中型数据及流数据方面的分析处理有所不足,且应用复杂,这势必为更多的新兴分析工具创造了发展机遇,2018年像FEA之类的新型分析工具,因其操作简单,对用户没有任何编码知识要求而将发展迅速。
二、对实时大数据分析的需求变的强烈而急迫
技术专家预测,2018年很多企业因需要利用大数据进行实时决策,对大数据处理的性能要求更高,离线大数据分析的应用将放缓,而实时性计算的应用需求将增加,对海量大数据的分析处理,响应时间要求为秒级。目前有几款大数据分析工具可以提供实时访问,如Google Analytics和Clicky。而FEA在实时分析方面也将大放异彩。
三、机器学习算法越来越重要
Gartner指出,机器学习是2018年十大战略技术趋势之一。当今最先进的机器学习和人工智能系统正在超越传统的基于规则的算法,创建出能够理解、学习、预测、适应,甚至可以自主操作的系统。而在大数据分析领域,要不断提高分析能力,必将大力研究与支持更多的机器学习算法。
四、预测大数据分析业务激增
在早期大数据分析中,企业通过审查他们的大数据来发现过去发生了什么,后来他们开始使用分析工具来调查这些事情发生的原因。预测大数据分析则更进一步,使用大数据分析预测未来会发生什么。普华永道(PwC)2017年调查显示,目前仅有29%的公司使用预测大数据分析技术,这个数量并不多。随着企业越来越意识到预测分析工具的强大功能,这一数字在未来几年可能会出现激增。
五、内存计算在大数据分析领域的应用更普遍
在传统技术中,大数据存储在配备硬盘驱动器或固态硬盘(SSD)的存储系统中,而加载时,要先从硬盘将大数据读出而后再加载到内存,这一处理机制,极大制约了响应时间,必将被淘汰。而内存技术将大数据存储在内存中,这大大提高了大数据处理速度。弗雷斯特研究公司的一份报告预测,内存大数据架构每年会增长29.2%。而FEA也是基于内存计算的大数据分析工具,且经过一年多的发展在这块的技术已相当成熟。
六、大数据分析师的就业面扩大
毫无疑问,大数据分析技术的发展,意味着拥有大数据技能的人才需求旺盛,薪水优厚。据IDC称:“光在美国,2018年会有181,000个深度分析岗位,是需要大数据管理和解读相关技能的岗位数量的五倍。”由于人才紧缺,Robert Half Technology公司预测,2018年大数据科学家的平均薪资将提高6.5%,年薪在116000美元至163500美元。
大数据分析成为大数据技术的核心,大数据分析在大数据处理过程中占据十分重要的位置,随着时代的发展,大数据分析也会逐渐成为大数据技术的核心。大数据的价值体现在对大规模大数据集合的智能处理方面,进而在大规模的大数据中获取有用的信息。要想逐步实现这个功能,就必须对大数据进行分析和挖掘。而大数据的采集、存储、和管理都是数据分析步骤的基础,通过进行大数据分析得到的结果,将应用于大数据相关的各个领域。未来大数据技术的进一步发展,与大数据分析技是密切相关的