欢迎浏览sook云!

网站地图

当前位置:主页 > 云虚拟主机 >

腾讯云_阿里云主机价格_免费1年

时间:2021-10-11 10:14

人气:

作者:sook云

标签: 价格  阿里  腾讯  免费  主机  1年 

导读:在这篇博文中,我想介绍我们在SDI-HANA-to-HANA(H2H)实施项目中的一些经验。为了了解上下文,我们将从场景描述和解决方案架构开始。 这些是本博客将涵盖的内容: 您可以期望对H...

腾讯云_阿里云主机价格_免费1年

在这篇博文中,我想介绍我们在SDI-HANA-to-HANA(H2H)实施项目中的一些经验。为了了解上下文,我们将从场景描述和解决方案架构开始。

这些是本博客将涵盖的内容:

您可以期望对HANA到HANA复制场景的实现有实际的见解。描述了任务划分、复制任务设计或监视等方面的细节。您可以在自己的SDI实施项目中采用本博客中描述的方法。

从SDI的角度来看,这个简要概述将描述我们必须处理的一些事实和要求:

使用SDI RTs(带SDI HANAAdapter)将数据从3个不同的HANA源系统实时复制到(合并的)目标模式中复制范围每个源大约550个表(乘以3=>1.600个表)复制具有高记录计数的表(6个生产量超过20亿的表)大型表的SDI任务分区(>200 mio。记录)针对大型表的目标表分区(>200 mio。记录)SDI基础设施/配置–例如DP代理+代理组遵循SDI最佳实践指南(命名约定、实现指南、调优)SDI开发工件维护+跨景观运输至珠三角Dpserver+dpagent监控超出范围:基于IBM DB2的源系统的加载和复制(与架构图比较)

端到端解决方案架构使用多个SAP和非SAP组件

DP代理Linux上的虚拟主机,64 GB2.1.1汉娜2 SP024 TB容量HANA EIM SDI(XSC运行时)DLM公司哈纳沃拉1.4启用Spark的Hadoop群集微策略

下图以一种方便的方式展示了该架构。从SDI的角度来看,有多个实时+批处理输入流:HANA系统上的套件、文件、IBM DB2 DBs的遗留数据(未显示)。

在生产环境(如图所示)中,买服务器云,HANA上的每个套件(如HDB1/2/3所示)通过一个专用DP代理组与HANAAdapter实例连接。因此,可以减轻在源系统级别发生远程源或RepTasks异常时暂停整个复制的风险。右边显示的Hadoop和Vora部分将不再详细说明,也不属于本博客的一部分,官方SDI最佳实践指南中考虑的大多数方面(针对用户+授权)都得到了实施(请参阅参考资料部分以获取bast实践的web链接)。

SDI用户的组织方式如下:

SDI\U ADMIN–监控权限、用户创建***SDI\u DEV–基于Web的开发工作台、存储库权限、模式权限SDI\ U EXEC–执行复制任务SDI_TRANSPORT–传输SDI工件

使用此模式,您可以轻松遵循职责分离方法,避免在开发或部署中出现不必要和不必要的情况。相反,你必须坚持这种方法,并相应地调整你的开发和管理过程。将多个源合并为一个目标它的目标是将所有源数据(sapecs)整合到一个目标模式中。从这个意义上说,相同方式的源表被复制到一个合并的目标表中。翻译成一个具体的例子:

例如,淘客网站,表COEP的复制是为所有三个源系统设置的。所有源的目标都是一个表COEP。此目标表必须符合源中存在的所有结构属性(跨n个源系统的COEP表不一定具有完全相同的结构,至少在给定的情况下是这样)。您可能有特定于系统的附件),这意味着在所有COEP源表中有不同的Z-/Y字段。由于RTs不允许像FGs这样的灵活列映射,因此我们解决了这个需求:

2。复制任务计数范围内有大约550个表,这些表必须以不同的卷和不同的更改/增量频率进行复制。对于最大的表,大量数据,计划引入专用的远程源。这将转化为最大的SoH源的远程源计数为7。由于每个远程源都分配了自己的接收器/应用程序对(在dpserver中),因此从并行化和性能的角度来看这是有意义的。另一方面,您必须创建专用的源系统用户,当然您需要维护和组织您的解决方案,考虑到现有的一组不同的远程源。在下图中,每个红色箭头代表一个自己的远程源。初始负载持续时间和切换时间我们观察到有相当多的表最初消耗了很多时间(每个表超过24小时)。通过在RepTasks中引入任务分区,并结合适当的加载顺序,我们可以实现主要的性能改进。因此,挑战在于找到合适的列和值范围。设想一个表,如MARC(SoH Material Master Plan View),有19亿条记录,您应该为范围划分方法定义适当的范围。你是怎么做到的?解决方案是使用通用SQL过程或使用其他工具来配置数据。可能您手头有专家,他们可能了解这些表中的值分布。这项任务可能很棘手。检查分区候选列的值分布:

在RT中应用分区设置;这里:field STUNR上的范围分区,初始负载为两个平行分区:

4。禁用DDL更改捕获HANAAdapter能够捕获DDL更改:drop/add列。显然,如果您将三个源实时加载到一个目标表中,这将极大地影响DDL更改的行为,即您无法再捕获DDL更改,因为源表之间的(动态)结构差异将导致SDI applier端的插入失败。因此,一个好的选择是将DDL扫描间隔设置为0,这意味着"禁用"。默认值为10,如下图所示:

在整个项目实施过程中,需求发生了一些变化,例如关于转换表达式等RT结构细节的变化(您可能从自己的项目中知道这些变化请求)。

温馨提示:以上内容整理于网络,仅供参考,如果对您有帮助,留下您的阅读感言吧!
相关阅读
本类排行
相关标签
本类推荐

关于我们 | 版权声明 | 广告服务 | 友情链接 | 联系我们 | 网站地图

Copyright © 2002-2020 sook云 版权所有 备案号:豫ICP备36548666号
本站资料均来源互联网收集整理,作品版权归作者所有,如果侵犯了您的版权,请跟我们联系。