开发数据管理软件以弥合数据库与数据科学之间的鸿沟_北京软件开发公司
发表日期:2020-07-15 18:21:23 文章编辑:宜天信达 浏览次数:
软件开发公司在项目开发实施中关系数据库用于保存信息或数据,从而保留数据之间的关系。此属性使其成为数据科学家的有用工具。但是,关系数据库研究社区与数据科学家之间存在差距。这导致数据科学中数据库的低效使用。北京软件公司试图弥合关系数据库与数据科学之间的鸿沟。
大多数数据科学家使用诸如R,Python和C / C ++之类的分析工具进行研究。这些工具很难与当前的数据库系统集成,从而导致数据分析缓慢而麻烦。北京软件开发公司:“数据科学家选择通过开发一系列数据管理替代方案来重塑数据库系统,这些替代方案可以执行与传统数据库管理系统相似的任务,但是存在许多数十年前在数据库领域解决的问题。”
“数据库研究界在开发功能强大的数据库引擎方面取得了长足的进步,该引擎可进行有效的分析查询处理。” 软件开发公司尝试将数据库科学中的这些创新与数据科学家最常使用的分析工具相结合。北京软件外包公司:“我们研究了如何促进分析工具与关系数据库管理系统的高效,轻松集成。”
大型数据集
在计算机科学中使用标准数据库系统的另一个问题是处理的数据大小。大多数数据库系统并未针对使用远程服务器的大型数据集和大规模数据分析进行优化。要优化数据库系统,可以考虑三种方法。
软件公司:“我们将研究重点放在数据库-客户端集成的三种主要方法上:客户端-服务器连接,数据库内处理以及将数据库嵌入客户端应用程序中。” 对于每种方法,他研究了现有数据库系统中的实现,并评估了它们对于数据科学中常见的大型数据集和工作负载的效率。
鸭数据库
最终结果是一个名为DuckDB的新数据管理系统,该系统专用于与R和Python(及其他分析工具)进行高效且轻松的集成。该管理系统旨在用作成熟的数据库系统,不仅用于研究目的。“在DuckDB中,我们将从研究数据库-客户端集成的所有课程中吸取教训,并创建一个易于使用且高效的嵌入式数据库。” 北京软件外包公司将继续担任CWI的博士后,在那里他将继续开发DuckDB。