Learning ODI – Sybase to Oracle

这几天,在客户处实施Sybase ASE到Oracle 10g的变化数据捕获以及数据转换的前期测试工作,问题此起彼伏,但最终效果圆满,感觉上仿佛遇神杀神,遇鬼杀鬼。不拽了,总结一下遇到的问题以及相应的解决方法。 一. ODI连接数据库阶段 1. JDBC版本 – jConnect 5.5 ODI自带的JDBC驱动无法正常连接Sybase ASE数据库。 解决方法:需要去Sybase站点上下载jConnect 5.5版本,然后将其中的jconn2.jar文件拷贝进ODI安装目录的drivers文件夹中,之后再次选择com.sybase.jdbc2.jdbc.SybDriver,才可以连接。 2. 为什么不选择jConnect 6.05 因为在jConnect 6版本以后,”getColumnName”方法返回的是列的COLUMN Name,而之前的版本都是返回列的ALIAS,而ODI使用的都是列ALIAS,因此如果选用jConnect 6.05,那么在最后执行Interface的时候,将会碰到下面的错误: com.sunopsis.sql.SnpsMissingParametersException: Missing parameter… 解决方法:使用jConnect 5.5,这也是Oracle lab test时推荐的JDBC驱动版本。 3. JDBC连接串的写法 如果写法如下: Driver是:com.sybase.jdbc2.jdbc.SybDriver 连接串是:jdbc:sybase:Tds:172.22.224.106:4100/dbemp1 连接时将碰到JZ00L错误,已经确保用户名和密码一定正确: java.sql.SQLException: JZ00L: Login failed. Examine the SQLWarnings chained to this exception for the reason(s). 解决方法:添加charset属性,修改连接串为 jdbc:sybase:Tds:172.22.224.106:4100/dbemp1?charset=eucgb 最后Physical Schema的设置应该类似如下界面(点击以后放大)。 二. Datastore创建阶段 1….

Learning ODI – Changed Data Capture

Oracle Data Integrator的一个强大功能就是通过CDC(Changed Data Capture)抓取异构数据库之间的数据变化,并将这些数据同步到目标数据库中。比如说从Sybase ASE或者IBM DB2中将大量的产品数据定期通过CDC同步到Oracle数据仓库中,反之亦可以。 以下描述最简单的在ODI中设置CDC复制的步骤,只是一个大体步骤,可能有些细节会遗漏。 1. Designer -> Models -> Datastore,创建一个源表和一个目标表的Datastore,可以通过反向工程完成。当然之前需要在Topology Manager中的相应Technologies里添加Physical Architecture和Logical Architecture。 2. 设置Model的Journalizing属性,选择合适的JKM(Journalizing Knowledge Module),当然之前需要将合适的JKM导入到ODI中来。 3. 将源表的Datastore加入CDC。 4. 启动Journal (将会在源表所在的Schema中自动创建相应的Trigger,假设我们是用Trigger的方式而不是Logminer技术的话),为了能够正常启动Journal,源表必须具有主键。 5. 在目标表的Datastore中添加Subscriber,命名最好是默认的大写SUNOPSIS。 6. Designer -> Projects -> Interfaces,创建一个Interface,在Diagram页面做好源表和目标表字段之间的Mapping关系,注意,在源表属性中勾选“Journalized Data Only”选项。 7. 启动Schedualer Agent,参看我的上一篇文章。 8. 为Interface创建Scenario,再设置Scenario中的Scheduling。注意,设置Scheduling的时候,如果计划运行间隔是一小时以上,那么使用“Defination”页面,如果计划运行时间间隔在一小时以下(比如5分钟或者10秒钟一次),那么应该使用“Execution Cycle”页面,而“Defination”页面中的Execution部分应该设置为“On startup”而不是默认的“Simple”。 9. 运行该Scenario,可以在Operator中监控Scenario的运行情况。 该文章似乎只适用于我自己的备忘,而完全不能作为他人学习的参考文档来使用,如果想从头学习ODI,请去仔细阅读安装ODI时自带的Documentation Library,非常详细,原来SUNOPSIS的文档功力也是一流。

Learning ODI – Start Scheduler Agent

对于设置ODI的定时执行场景,需要启动Scheduler Agent,在一个新的ODI安装完毕之后,默认的odiparams.bat文件中设置的是连接DEMO环境的数据库连接配置,如果我们在自己的数据库里创建了Master Repository和Work Repository,那么需要修改连接参数。 在我的测试环境中,我使用的是自己机器上Oracle 11g数据库,实例名是orcl11g,则需要做如下修改: set ODI_SECU_DRIVER=oracle.jdbc.driver.OracleDriver set ODI_SECU_URL=jdbc:oracle:thin:@localhost:1521:orcl11g set ODI_SECU_USER=snpm set ODI_SECU_ENCODED_PASS=b9yX4CpBkdmaP8Y3mYbaoye2p set ODI_SECU_WORK_REP=WORKREP1 set ODI_USER=SUPERVISOR set ODI_ENCODED_PASS=hZypfAZQf.Yo8VWVI6HZzc 其中: ODI_SECU_USER需要设置为创建Master Repository时候的用户名,在这里是snpm。 ODI_SECU_ENCODED_PASS需要用agent实用程序加密一下,用法是agent encode %PASSWORD%。 ODI_SECU_WORK_REP设置为创建Work Repository时候起的名字。 ODI_USER默认是SUPERVISOR,这是连接ODI的用户名。 ODI_ENCODED_PASS默认是SUNOPSIS,也需要用agent encode加密之后的值。 设置完毕,启动Scheduler Agent,会遇到下面的错误: java.lang.Exception: Agent is not declared in Topology Manager 我们还需要在Topology Manager -> Physical Architecture -> Agents里面创建一个Agent,填写Agent的名字,监听的机器,端口。如果需要设置Schedule,还需要在Topology Manager -> Logical Architecture -> Agents里面再创建一个Agent,将刚才创建的Physical Agent和此Logical…