欢迎浏览sook云!

网站地图

当前位置:主页 > 数据库 > 海外数据 >

网站建设_绝地求生小说百度云_排行榜

时间:2022-01-14 21:55

人气:

作者:sook云

导读:许多SAP HANA客户正在使用HANA智能数据集成来简化其数据集成环境,以运行以前发布的博客中宣布的实时应用程序。从SAP HANA Rev 122.04开始,HANA smart data integration在流程图编辑器中引入了...

网站建设_绝地求生小说百度云_排行榜

许多SAP HANA客户正在使用HANA智能数据集成来简化其数据集成环境,以运行以前发布的博客中宣布的实时应用程序。从SAP HANA Rev 122.04开始,HANA smart data integration在流程图编辑器中引入了任务分区。任务分区有助于我们的客户更快地加载大型初始数据集,何为大数据,并将来自各种支持源的可用内存利用到SAP HANA中。SAP HANA Rev 122.04在流程图编辑器中引入了完全分区支持,而SAP HANA 122.05版本在复制任务中引入了单级(或单列)分区。SAP HANA Rev 122.06在复制任务中包括多级(或多列)分区。

这些增强的目标是:

使用这个新引入的功能,内部测试团队和早期的客户采用者在并行运行任务时使用任务分区来完成大量初始数据负载,其性能提高了2-10倍。如果初始加载时间不重要,客户可以对数据进行分区并按顺序运行它们。这减少了目标SAP HANA的内存消耗,避免了可用内存不足时出现的内存不足错误。

为了说明这个任务分区特性,让我们使用两个示例内部测试场景。在第一种情况下,我们使用窄表(少列),在第二种情况下使用宽表(多列)。

情况1的详细信息

行数=35亿列数=14源位置的数据大小=500GB分区数=12

在这个场景中,物联网模块,大数据的未来,我们基于范围值将源数据平均地分区到所有分区,并顺序和并行地执行任务。结果显示在这里。

如果没有源代码分配,由于测试HANA服务器内存不足错误,淘客助手怎么用,此方案将失败。

方案2的详细信息

行数=66M列数=227源位置的数据大小=500GB分区数=8

对于这种情况,这里总结了相应的加载吞吐量和最大内存消耗。源数据的分区与场景1类似。

这两个示例结果展示了如何通过使用任务分区特性加载大型源数据来提高性能。第一个场景显示吞吐量从38gb/hr提高到136GB/hr,而第二个场景显示吞吐量从77gb/hr提高到476GB/hr。任务分区允许saphana并行地读取、处理和提交分区的虚拟表输入源。请注意,在第二个场景中,具有相同数据量并按顺序运行复制任务的客户只使用目标中的51gb内存。第二个场景显示,分区和并行执行(而不是不使用任务分区)会返回更高的吞吐量(476 GB/hr vs 76 GB/hr),消耗HANA端的相同内存。

您可以在复制编辑器的分区选项卡中定义任务分区。提供两种分区类型:范围分区和列表分区。

SAP HANA Smart Data Integration和SAP HANA Smart Data Quality最佳实践的第6.1.3和6.1.4节介绍了此功能,通信云,

通过此增强,我们相信我们的所有客户都将受益于优化加载大型初始数据时的HANA内存利用率数据,并将解决HANA分区表的情况下,超过20亿条记录。

温馨提示:以上内容整理于网络,仅供参考,如果对您有帮助,留下您的阅读感言吧!
相关阅读
本类排行
相关标签
本类推荐

关于我们 | 版权声明 | 广告服务 | 友情链接 | 联系我们 | 网站地图

Copyright © 2002-2020 sook云 版权所有 备案号:豫ICP备36548666号
本站资料均来源互联网收集整理,作品版权归作者所有,如果侵犯了您的版权,请跟我们联系。