每年，许多大数据公司都会向我发送他们的高管对来年的预测。编译它们，然后通读它们，看看每个人有什么要说的是很有趣的。当一些预测完全相互矛盾时，就会有人提出质疑，当两个或两个以上的预测相互印证时，就有足够的机会进行过度自信的分析。

不过，我更喜欢做的是寻找与预测相关的主题，并为理解它们的全部范围提供某种分类。这样，即使是那些在表面上看起来矛盾的项目，在更深的层次上也能一起发光，并产生一些共识。即使一致的预测最终可能是不正确的，我们仍然可以得到行业领导者的想法和可能的趋势的综合视图。

物联网和大数据的力量

我们将深入探讨物联网将在哪些领域产生最大影响，以及这对大数据分析的未来意味着什么。

今年，这些预测反映了该行业的转型，包括从纯粹的分析转向更多的应用场景，特别是在物联网、人工智能和机器学习用例方面。出现了竖井技能集和技术与集成方法的问题，以及将分析技术应用到分析本身的概念。

让我们从人工智能(AI)说起。MapR Technologies的执行董事长兼创始人约翰•施罗德(John Schroeder)指出，人工智能正在“重新流行起来”。虽然AI是当代力,施罗德正确地指出,“在1960年代,射线Solomonoff奠定了基础数学理论的人工智能”,“1980年第一次全国会议的美国斯坦福大学人工智能(AAAI)举行,标志着软件的应用理论。”

但现在的不同之处在于，数据量实际上要大得多，这意味着模型训练得更好，也更准确;算法也更好了，客户的兴趣比30年前高出了好几个数量级。

也许这就是为什么Splunk的IT市场高级副总裁里克•菲茨(Rick Fitz)表示，2017年将是“分析成为主流”的一年，他补充称，“更多的IT专业人士和工程师(将依赖)机器学习、自动化和预测分析等新兴技术，在幕后进行更高层次的工作。”

自动化和就业这是否意味着机器将夺走人类的工作——这显然是当今政治格局中的一个因素?Workday公司负责用户体验的高级副总裁乔•科恩吉贝尔(Joe Korngiebel)是这么看的:“不，机器没有接管一切，但我们正处于一个关键的转折点。”

这到底是什么意思呢?SAP合作伙伴海豚企业解决方案公司(Dolphin Enterprise Solutions Corporation)首席技术官维萨尔•阿瓦西蒂(Vishal Awasthi)预计，“可以委托给……但Awasthi缓和了这一点，他说，以前专注于这类任务的工人可以“把他们的角色转变成专注于仍只能基于一般智力来完成的任务的知识工人”。

也许这就是为什么互联网求职网站Indeed.com的人告诉我:“在经历了一年多的下滑后，我们现在看到招聘信息有所上升。”此外，对自动化的日益依赖为数据安全专业人员创造了需求。Indeed.com表示:“数据安全仍然是企业最关心的问题，自2013年以来，我们看到了曲棍球杆的增长。”

这一观察似乎印证了Pentaho首席执行官昆廷•加利文(Quentin Gallivan)的预测:“网络安全将成为最突出的大数据用例。”Gallivan也同意机器学习阵营的观点，他说:“2017年人工智能和分析学机器学习的早期采用者将在商业数字化中获得巨大的先发优势。”

Gallivan并不认为这是仅限于一些特定的用例,要么,”就像如此的在线零售商想要向客户提供更好的建议,为大型工业客户想要减少维护成本大,无人驾驶汽车制造商或机场试图阻止下一个恐怖袭击。”

艾，我的问题是，这些聪明的艾会住在哪里?Splunk的工程副总裁Toufic Boubez预见了“机器学习的应用”，他解释说，“机器学习能力将开始渗透到企业应用程序中，高级应用程序将提供建议——如果不是答案——并提供基于数据和实时用户反馈的智能工作流。”Boubez继续说道:“这将使业务专家不必成为机器学习专家，就可以从定制的机器学习中受益。”

Redis实验室产品营销副总裁Leena Joshi进一步阐述了这一思路，她认为“快速学习和定制用户体验的企业应用程序将成为成功的新标准。”同样，Basho的首席执行官Adam Wray认为，“组织将开始将大部分投资转移到实现解决方案上，使数据能够在产生数据的地方和业务流程发生的地方被利用——在边缘。”虽然“优势”可能指的是物理设备，但也可能指的是业务线应用程序。

数据科学家变大还是回家?在主流企业软件中嵌入智能，暗示了今年预测的另一个关键主题:我们是否以及在多大程度上需要数据科学家。

World Programming主管奥利弗•罗宾逊(Oliver Robinson)表示:“面向数据科学职业的教育课程将越来越受欢迎……”他补充称，“这将有助于满足该领域对数据科学家/专家日益增长的需求。”领先的NLP和情感分析提供商Lexalytics的首席执行官杰夫•卡特林(Jeff Catlin)表示:“2017年将是‘数据科学家年’，”但他进一步预测，2018年“人工智能将变得可构建……数据科学家。”

也许更进一步，DataStax的工作人员说，“‘数据科学家’这个术语将变得不那么重要，取而代之的是‘数据工程师’。”甚至连《世界编程》(World Programming)的作者鲁滨逊(Robinson)也放宽了数据科学家的头衔，称“机器学习和人工智能也将增加对新型数据专家的需求。”

Cloudward-bound吗?不管我们是需要专家、科学家，还是只是需要各行各业的员工具备更强的分析能力，分析将在何处完成的问题已经出现。尽管多年来人们一直在炒作云，但似乎大多数大数据活动都是在Hadoop集群上进行的，这些集群已经安装在本地。但是在我们的预测团队中，许多人坚持认为云是事情发展的方向，即使是最保守的组织也至少会采取一种混合的方法。

拆散数据公司首席执行官库纳尔·阿加瓦尔预测，“2017年，我们将看到更多的大数据工作负载转移到云上，而大量传统上在办公场所运营的客户将转移到混合云/办公场所模式。”Qlik市场情报高级总监丹•索莫(Dan Sommer)认为，“由于数据是在哪里生成的、启动的便捷性以及可扩展性，我们现在看到云计算正在加速发展。”雪花计算的首席执行官Bob Muglia说，“几乎所有的公司，包括大多数金融服务，现在都致力于采用公共云。”

全球解决方案工程副总裁埃里克·Mizell Kinetica看到云的受欢迎程度的收敛和机器学习的福音带来的图形处理单元(gpu),声明“云将涡轮增压的gpu的性能,”他指出,“亚马逊已经开始部署gpu,微软和谷歌宣布计划”和预测,“其他云服务提供商也可以预计将在2017年开始部署gpu。”

物联网(IoT)的应用对额外处理能力的需求主要来自为物联网应用设计的设备中嵌入的传感器收集的大量输入数据。

易观梅森集团(Analysys Mason Group)的智囊团认为，“第一个真正商业化的窄带物联网网络将于2017年推出”，“监管机构将考虑加强对物联网的监管”。

StreamSets的首席执行官和创始人吉里什·潘查(Girish Pancha)认为，到2017年，物联网将不再是闪亮的新事物，并将开始成为现实。换句话说，物联网必须与组织中的其他数据生命周期集成。Pancha解释道:“物联网数据需要与其他数据流相关联，与历史数据或主数据相关联，或通过人工智能算法运行，以提供商业驱动价值。”

在这一点上，专注于地理信息系统(GIS)技术的公司infinite的首席执行官安迪·迪林认为，将物联网数据流与基于位置的数据关联起来是至关重要的。迪林预测，“基于位置的分析以及能够处理和检测趋势并提供情报的平台将成为一种流行趋势。”

迪林说:“随着自动驾驶汽车和智能城市计划越来越成为现实，了解如何利用所有的位置信息做出更明智的决定将是当务之急。”

死循环?为了从物联网数据中获得这样的价值，企业需要具备处理流数据的能力。位于推动力科技公司的StreamAnalytix产品主管Anand Venugopal说:“利用实时流媒体分析功能的企业将变得更加敏感、敏捷，并能更好地理解客户的需求和习惯，从而提供更好的整体体验。”

问题是仅仅摄取数据是不够的，因为需要清除数据并以其他方式准备数据。要做到这一点需要大量的工作，这意味着新技术突破的潜力要与旧的技术现实相调和。这是否使分析成为一个零和游戏?

周凌并不这样认为，他认为这些突破可以解决老问题，而不是陷入困境。他的观点是:“物联网与大数据的采用和融合，将使自动数据加载成为一种需求。”换句话说，在用于训练其他机器学习模型之前，需要利用机器学习模型来准备数据。

这是一个非常卓越的分析，事后看来，非常简单明了。毕竟，如果我们不把我们的技术应用于改变我们自己的游戏，我们怎么能板着脸说我们的技术正在改变游戏呢?

2016年，大数据和分析领域陷入了困境。希望2017年能够产生更多的“元”思维。这似乎是一张走出当前困境，进入下一阶段的生产力和真正的价值，为客户。

抱着这种乐观态度，我们可以看到，在基于云的gpu上运行、嵌入企业应用程序、由非数据科学家运行的、由iot驱动的AI/机器学习实际上是如何工作的。让我们期待2017年至少有一大部分的梦想能够实现。