咨询邮箱 咨询邮箱:service@yitianxinda.com 咨询热线 咨询热线:18101296137 微博 微信
北京软件开发公司Apache Spark 2.0技术预览版_北京软件开发公司
发表日期:2016-06-08 10:12:36    文章编辑:yitianxinda    浏览次数:

  北京软件开发公司Apache Spark 2.0技术预览版,Apache Spark第一版发布时隔两年后,Databricks公布了基于上游分支2.0.0-preview的Apache Spark 2.0技术预览版。该预览版在稳定性和API方面均不适合用于生产环境,主要是为了在正式上市前收集来及社区的反馈。

  此次发布的新版主要针对社区反馈进一步完善了各种功能,根据Spark的开发计划,主要改进分为两方面。

  SQL是基于Apache Spark的应用程序较常用的接口之一。Spark 2.0可以支持全部的99个TPC-DS查询,这些查询大部分都基于SQL:2003规范。这些改进有助于在对应用程序堆栈进行较少量重写的情况下将现有数据负载移植至Spark后端。

  第二方面改进主要是编程API,同时在这个新版中也更重视机器学习。spark.mllib程序包已经被全新的spark.ml程序包所取代,后者更加侧重于基于管线的API,这项技术源自DataFrames。机器学习管线和模型现已能够持久保存,Spark所支持的所有语言均支持这一特性。同时R已经可以支持K-Means、Generalized Linear Models(GLM)、朴素贝叶斯和Survival Regression。

  借助新增的Datasets类,DataFrames和Datasets已实现了统一,可支持Scala和Java编程语言,同时也可充当结构流(Structured streaming)的抽象。不支持编译时类型安全(Compile time type safety)的语言暂时还无法做到这一点,此时只能使用DataFrames作为主要抽象。SQLContext和HiveContext已被统一的SparkSession所取代。新增的Accumulator API具有比基本类型更简单的类型层级,可支持对基本类型进行专门化(Specialization)。老的API已被弃用,但为了实现向后兼容性依然包含在新版中。

  新发布的结构化流API主要可用于在不增加复杂性的前提下管理流数据集,借此程序员和现有机器学习算法将可以处理批量加载的数据集。在第二代Tungsten引擎的帮助下,性能也有所增强,执行速度较高可提升10倍。

  该技术预览版已经发布至DataBricks。

相关文章推荐
物联网 ( IoT ) 概念首次出现时,曾有大胆预测称,到 2020 年,物联网连接设备数量将达到 500 亿甚至数万亿。这些极高的估值引发了炒作,但最终被证明...
下一代工业进步被称为工业4.0,旨在将传统行业(如自动化)互联互通并实现计算机化。工业4.0的目标是使工厂变得更加智能,提高适应性和资源效率,以及改善工厂之间供...
企业需要强大且可靠的在线形象才能取得成功。Magento 已成为领先的电子商务平台,为各种规模的企业提供强大的功能和定制选项。对于希望通过基于 Magento ...
近几年最大的发展趋势之一是移动应用程序加密。正如我们最近所写,主要的消息应用程序正在朝着为用户提供端到端加密默认设置的方向发展——这是有充分理由的。随着公众开始...
通过与北京软件公司​合作,企业可以获得所需的熟练开发人员,以加速创新和发展。北京软件公司 可以通过提供成熟的开发人员和定制解决方案来帮助企业弥补开发人员短缺的差距并实现业务增长。...
企业级软件或应用程序已经发展到几乎所有组织和企业都依赖它来保持市场竞争力的程度。无论您是需要跟踪捐赠者的非营利组织还是寻求更好的库存管理的汽车经销商,都没关系。移动企业应用程序为公司提供了前所未有的灵活性和功能。...
MSN:creover antunion@ 软件开荒点击体验 贩卖电话:400-628-- 软件开荒公司采办 采办邮箱:creover antunion@ 11.相比看软件开荒公司这个项目维持周期有多长,还有几何相比看项目没有进账? 1...
北京软件开发公司认为信息和软件技术的重点是研究和经验,...
很多人认为,创建一个新的软件开发解决方案,你需要的是找到一些程序员,并告诉他们该怎么做。这个观点是在小型和中小型企业通常不涉及软件项目中尤为常见。...
北京软件开发公司开发HTML5默认:谷歌的计划让Chrome的Flash点击即可播放...
3程序描绘 2.3条件与限制 2任务概述 1.2项目背景:应包括项目的开头和主管部门等。 3.5设备 测试阐述呈文 ●对启迪环境的影响 ●体例办事负荷量 8数据组织与程序的相关 1.1编写目的:...
我们日益互联的世界面临越来越多软件漏洞和安全缺陷的风险。在钻石项目开发新的安全测试模式导致了几个欧洲的中小企业带来新的产品和服务进入这个快速增长的市场,并继续影响...

Baidu
map