异构库环境的ETL,oracle VS mssql

1、环境需求描述:用户内网有一台oracle10g库,外网有一台oracle9i。用户通过内网发布人才招聘相关信息,所有的信息在一张表里面,运行一个export/import脚本把

1、环境需求描述:

用户内网有一台oracle 10g库,外网有一台oracle 9i。用户通过内网发布人才招聘相关信息,所有的信息在一张表里面,运行一个export/import脚本把内网该表同步到外网表,内网和外网之间应该 是建立了临时表lb_retain,这张表是作为外网应用使用。该用户开发的新CMS系统(ASP.NET),数据库是采用MSSQL SERVER 2005 X64,该数据库也是位于外网环境中。由于用户发布招聘信息不想在新CMS平台上进行,香港虚拟主机,所以不得不对这一信息进行整合。最终要使该招聘信息能在新网站上显 示给最终用户。

2、解决思路:

分析以上需求,网站空间,即源oracle库同 步到目标mssql 2005,为了达到异构库环境的表与表之间的数据同步,本次解决方案是采用了MSSQL商业智能解决方案,美国服务器,用SQL Server Business Intelligence Development Studio工具创建Integration Services 项目创建DTS包,该包可以处理非常复杂的数据挖掘工作(如果源是mssql,目标是oracle的话,可以使用oracle的透明网关)。其中,我建立 从oracle抽取数据并插入到新网站所对应的MSSQL表招聘里面。这样就达到了整合的效果,只要拿到了数据插入到新应用所在的库里面去,就可以整合到 了新应用的所有功能,而不需要二次开发,也不需要写应用层代码来操作oracle库了。

3、解决过程

(1)新建Integration services项目

clip_image001

(2)SSIS导入导出向导–建立基本的数据库连接串以及基本的SQL,选择源

clip_image002

(3)选择目标

clip_image003

(4)编写SQL语句

clip_image004

(5)建立源列到目标表的列的映射

clip_image005

(6)下一步,警告先不管

clip_image006

(7)分别添加“数据转换”、“派生列”、“脚本组件”

“数据转换”把源ORACLE的varchar2列转换为MSSQL所兼容的列

clip_image007

(8)“派生列”

根据你的业务不同配置也是不太一样的,这里所要添加“派生列”是因为源ORACLE库没有与目标库对应的列,所以要在同步的过程中生成新列并赋初值

clip_image008

(9)“脚本组件”

“脚本组件”是为了处理比较复杂的业务流程,比如本方案有一个字段是要自增的,所以要编写脚本

设置输入列

设计脚本:

ScriptMain:

‘ Microsoft SQL Server Integration Services user script component

‘ This is your new script component in Microsoft Visual Basic .NET

‘ ScriptMain is the entrypoint class for script components

Imports System

Imports System.Data

Imports System.Math

Imports Microsoft.SqlServer.Dts.Pipeline.Wrapper

Imports Microsoft.SqlServer.Dts.Runtime.Wrapper

Public Class ScriptMain

Inherits UserComponent

Dim intCounter As Integer = 1 ‘Set intial value here

Public Overrides Sub 输入0_ProcessInputRow(ByVal Row As 输入0Buffer)

Row.Taxis = intCounter

intCounter = intCounter + 1 ‘ Set the incremental value here

End Sub

End Class

BufferWrapper

‘ THIS IS AUTO-GENERATED CODE THAT WILL BE OVERWRITTEN! DO NOT EDIT!

‘ Microsoft SQL Server Integration Services buffer wrappers

‘ This module defines classes for accessing data flow buffers

‘ THIS IS AUTO-GENERATED CODE THAT WILL BE OVERWRITTEN! DO NOT EDIT!

Imports System

Imports System.Data

Imports Microsoft.SqlServer.Dts.Pipeline

Imports Microsoft.SqlServer.Dts.Pipeline.Wrapper

Public Class 输入0Buffer

Inherits ScriptBuffer

Public Sub New(ByVal Buffer As PipelineBuffer, ByVal BufferColumnIndexes As Integer())

MyBase.New(Buffer, BufferColumnIndexes)

End Sub

Public Property [Taxis]() As Int32

Get

Return CType(Me(0), Int32)

End Get

Set

Me(0) = Value

End Set

End Property

库宝AI 库宝AI

库宝AI是一款功能多样的智能伙伴助手,涵盖AI写作辅助、智能设计、图像生成、智能对话等多个方面。

库宝AI 109 查看详情 库宝AI

Public Property [Taxis_IsNull] As Boolean

Get

Return IsNull(0)

End Get

Set

SetNull(0)

End Set

End Property

Public Function NextRow() As Boolean

NextRow = MyBase.NextRow()

End Function

Public Function EndOfRowset() As Boolean

EndOfRowset = MyBase.EndOfRowset

End Function

End Class

ComponentWrapper

‘ THIS IS AUTO-GENERATED CODE THAT WILL BE OVERWRITTEN! DO NOT EDIT!

‘ Microsoft SQL Server Integration Services component wrapper

‘ This module defines the base class for your component

‘ THIS IS AUTO-GENERATED CODE THAT WILL BE OVERWRITTEN! DO NOT EDIT!

Imports System

Imports System.Data

Imports Microsoft.SqlServer.Dts.Pipeline

Imports Microsoft.SqlServer.Dts.Pipeline.Wrapper

Imports Microsoft.SqlServer.Dts.Runtime.Wrapper

Public Class UserComponent

Inherits ScriptComponent

Public Connections As New Connections(Me)

Public Variables As New Variables(Me)

Public Overrides Sub ProcessInput(ByVal InputID As Integer, ByVal Buffer As PipelineBuffer)

If InputID = 1572 Then

输入0_ProcessInput(New 输入0Buffer(Buffer, GetColumnIndexes(InputID)))

End If

End Sub

Public Overridable Sub 输入0_ProcessInput(ByVal Buffer As 输入0Buffer)

While Buffer.NextRow()

输入0_ProcessInputRow(Buffer)

End While

End Sub

Public Overridable Sub 输入0_ProcessInputRow(ByVal Row As 输入0Buffer)

End Sub

End Class

Public Class Connections

Dim ParentComponent As ScriptComponent

Public Sub New(ByVal Component As ScriptComponent)

ParentComponent = Component

End Sub

End Class

Public Class Variables

Dim ParentComponent As ScriptComponent

Public Sub New(ByVal Component As ScriptComponent)

ParentComponent = Component

End Sub

End Class

(10)打开“目标”的数据流

建立映射关系

clip_image009

(11)设置一下ETL包,不然等下添加JOB的时候有可能出错

“项目属性”-“调试”-“调试选项”-Run64BitRuntime=false(后面讲解释原因)

包的加密方式用-EncryptSensitiveWithPassword

clip_image010

(12)直接执行该包,看结果,没有错误,成功后就开始把它加入到MSSQL的JOB

打开SQL Server Management Studio并开启SQL SERVER代理,新建作业,详细怎么去创建可以做官网去查文档,这里只讲关键步骤:

clip_image011

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/525983.html

赞 (0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
sublime怎么生成html
上一篇 2025年11月9日 08:04:44
英国强索苹果iCloud后门,美国威胁断情报共享
下一篇 2025年11月9日 08:04:49

相关推荐

  • 如何轻松查看Oracle的安装版本

    如何轻松查看Oracle的安装版本如何轻松查看Oracle的安装版本如何轻松查看Oracle的安装版本如何轻松查看Oracle的安装版本

    如何轻松查看Oracle的安装版本,需要具体代码示例 作为一款被广泛应用于企业级数据库管理系统的软件,Oracle数据库具有许多版本和不同的安装方式。在日常工作中,我们经常需要查看Oracle数据库的安装版本,以便进行相应的操作和维护。本文将介绍如何轻松地查看Oracle的安装版本,并给出具体的代码…

    2026年9月26日 • 用户投稿
    000
  • Oracle RAC 简介及核心概念

    Oracle RAC 简介及核心概念Oracle RAC 简介及核心概念Oracle RAC 简介及核心概念Oracle RAC 简介及核心概念

    Oracle RAC(Real Application Clusters)简介及核心概念 随着企业数据量的不断增长和对高可用性、高性能的需求日益突出,数据库集群技术变得越来越重要。Oracle RAC(Real Application Clusters)就是为了解决这一问题而设计的。Oracle R…

    2026年9月26日 • 用户投稿
    000
  • 探究Oracle与Sybase在企业应用中的优势及适用场景

    探究Oracle与Sybase在企业应用中的优势及适用场景探究Oracle与Sybase在企业应用中的优势及适用场景探究Oracle与Sybase在企业应用中的优势及适用场景探究Oracle与Sybase在企业应用中的优势及适用场景

    标题:Oracle与Sybase在企业应用中的优势及适用场景探究 在企业应用领域,数据库管理系统(DBMS)是至关重要的一环,能够为企业提供高效稳定的数据管理和处理服务。Oracle和Sybase作为两个知名的关系型数据库管理系统,在企业应用中备受青睐。本文将从各自的优势和适用场景出发,探究Orac…

    2026年9月26日 • 用户投稿
    000
  • Oracle数据库实例详解

    Oracle数据库实例详解Oracle数据库实例详解Oracle数据库实例详解Oracle数据库实例详解

    Oracle数据库实例详解 Oracle数据库是全球著名的关系型数据库管理系统,被广泛应用于企业级应用程序的数据存储和管理。在Oracle数据库中,数据库实例是一个重要概念,它表示一个Oracle数据库服务器进程和内存结构的集合,用于处理客户端应用程序对数据库的操作请求。在本文中,我们将详细探讨Or…

    2026年9月26日 • 用户投稿
    000
  • Oracle主目录的功能及其在数据库管理中的应用

    Oracle主目录的功能及其在数据库管理中的应用Oracle主目录的功能及其在数据库管理中的应用Oracle主目录的功能及其在数据库管理中的应用Oracle主目录的功能及其在数据库管理中的应用

    Oracle数据库是一款功能强大的关系型数据库管理系统,提供了许多高级功能来管理和操作数据库。其中,Oracle主目录(Oracle Directory)是一个重要的功能模块,用于管理数据库中的文件和目录。本文将介绍Oracle主目录的功能以及在数据库管理中的应用,并提供一些具体的代码示例。 1. …

    2026年9月26日 • 用户投稿
    000
  • Oracle数据库中重复索引对性能的影响

    Oracle数据库中重复索引对性能的影响Oracle数据库中重复索引对性能的影响Oracle数据库中重复索引对性能的影响Oracle数据库中重复索引对性能的影响

    标题:Oracle数据库中重复索引对性能的影响及优化方法 在Oracle数据库中,索引是用于加快数据检索速度的重要工具。然而,当数据库中存在重复的索引时,会对性能造成负面影响。本文将探讨重复索引对性能的影响,并提供具体的代码示例和优化方法。 1. 重复索引对性能的影响 重复索引是指在数据库表中存在两…

    2026年9月26日 • 用户投稿
    000
  • Oracle数据类型大揭秘:你必须了解的知识点

    Oracle数据类型大揭秘:你必须了解的知识点Oracle数据类型大揭秘:你必须了解的知识点Oracle数据类型大揭秘:你必须了解的知识点Oracle数据类型大揭秘:你必须了解的知识点

    Oracle数据类型大揭秘:你必须了解的知识点,需要具体代码示例 Oracle作为世界领先的数据库管理系统之一,在数据存储和处理中扮演着重要的角色。在Oracle中,数据类型是非常重要的概念,它定义了数据在数据库中的存储格式、范围和操作方式。本文将揭示Oracle数据类型的各种知识点,并且通过具体的…

    2026年9月26日 • 用户投稿
    000
  • Oracle数据库中索引重复情况分析

    Oracle数据库中索引重复情况分析Oracle数据库中索引重复情况分析Oracle数据库中索引重复情况分析Oracle数据库中索引重复情况分析

    Oracle数据库中索引重复情况分析 索引在数据库中起着至关重要的作用,它可以提高查询的效率,加快数据检索的速度。然而,在实际应用中,有时候会出现索引重复的情况,这会影响到数据库的性能和查询效率。本文将介绍如何分析Oracle数据库中索引重复的情况,并通过具体的代码示例来演示。 索引重复的影响 索引…

    2026年9月26日 • 用户投稿
    300
  • 解读 Oracle RAC 对企业业务的重要意义

    解读 Oracle RAC 对企业业务的重要意义解读 Oracle RAC 对企业业务的重要意义解读 Oracle RAC 对企业业务的重要意义解读 Oracle RAC 对企业业务的重要意义

    标题:Oracle RAC对企业业务的重要意义与具体代码示例解读 在当今数字化时代,数据管理变得至关重要,对于大型企业而言,数据库系统的高可用性和可伸缩性是保证业务稳定运行的关键。Oracle Real Application Clusters(RAC)作为一种多节点集群数据库架构,在企业中发挥着重…

    2026年9月26日 • 用户投稿
    100
  • Oracle主目录的设置与管理策略分享

    Oracle主目录的设置与管理策略分享Oracle主目录的设置与管理策略分享Oracle主目录的设置与管理策略分享Oracle主目录的设置与管理策略分享

    Oracle主目录的设置与管理策略分享 Oracle数据库作为业界领先的数据库管理系统,在企业级应用中被广泛应用。为了确保数据库的安全性和高效性,在Oracle中设置和管理主目录是至关重要的一项工作。本文将分享一些关于Oracle主目录的设置与管理策略,同时提供具体的代码示例,帮助管理员更好地进行主…

    2026年9月26日 • 用户投稿
    000
  • Oracle Ora文件的默认存储位置是什么?

    Oracle Ora文件的默认存储位置是什么?Oracle Ora文件的默认存储位置是什么?Oracle Ora文件的默认存储位置是什么?Oracle Ora文件的默认存储位置是什么?

    Oracle数据库中的Ora文件是用来存储数据库实例的相关配置信息的文件。其中,Oracle Ora文件的默认存储位置是在ORACLE_HOME目录下的networkdmin文件夹内。在Windows系统中,一般路径为C:ppOracle_Homeetworkdmin,而在Linux系统中一般路径为…

    2026年9月26日 • 用户投稿
    000
  • 解决SAS连接Oracle数据库时出现引擎问题

    解决SAS连接Oracle数据库时出现引擎问题解决SAS连接Oracle数据库时出现引擎问题解决SAS连接Oracle数据库时出现引擎问题解决SAS连接Oracle数据库时出现引擎问题

    解决SAS连接Oracle数据库时出现引擎问题,需要具体代码示例 在使用SAS软件进行数据分析时,经常需要连接数据库来获取数据进行分析处理。而其中连接Oracle数据库是比较常见的操作。然而,有时候在连接Oracle数据库时会出现引擎问题,导致连接失败或者无法正常操作。本文将介绍如何解决在SAS软件…

    2026年9月26日 • 用户投稿
    100
  • Oracle存储过程批量更新在数据处理中的应用案例

    Oracle存储过程批量更新在数据处理中的应用案例Oracle存储过程批量更新在数据处理中的应用案例Oracle存储过程批量更新在数据处理中的应用案例Oracle存储过程批量更新在数据处理中的应用案例

    Oracle存储过程批量更新在数据处理中的应用案例 在实际的数据处理中,我们经常需要对数据库中的大量数据进行更新操作。Oracle数据库提供了存储过程的功能,可以有效地处理这些大批量数据更新的操作,提高数据处理效率和性能。在本文中,我们将介绍Oracle存储过程批量更新的应用案例,并且提供具体的代码…

    2026年9月26日 • 用户投稿
    000
  • 构建健壮的Java用户输入:Scanner整数解析与异常捕获

    构建健壮的Java用户输入:Scanner整数解析与异常捕获构建健壮的Java用户输入:Scanner整数解析与异常捕获构建健壮的Java用户输入:Scanner整数解析与异常捕获构建健壮的Java用户输入:Scanner整数解析与异常捕获

    本文深入探讨了Java Scanner在获取整数输入时,当用户输入非整数数据可能引发的InputMismatchException。我们将解释此异常的产生机制,并提供一种健壮的解决方案:通过结合try-catch语句有效捕获并处理该异常,从而避免程序崩溃,提升用户交互的稳定性与友好性。 1. Jav…

    2026年9月26日 • 用户投稿
    100
  • Oracle LPAD函数详细介绍:掌握字符串填充的高效方式

    Oracle LPAD函数详细介绍:掌握字符串填充的高效方式Oracle LPAD函数详细介绍:掌握字符串填充的高效方式Oracle LPAD函数详细介绍:掌握字符串填充的高效方式Oracle LPAD函数详细介绍:掌握字符串填充的高效方式

    Oracle数据库中的LPAD函数是用来在字符串左侧填充指定字符使字符串达到指定的长度,从而实现字符串对齐的功能。在日常的数据库查询中,经常会遇到需要对字符串进行填充的情况,LPAD函数就可以很好地应对这种需求。本文将详细介绍Oracle LPAD函数的用法,包括函数语法、参数含义以及具体代码示例,…

    2026年9月26日 • 用户投稿
    000
  • Oracle数据库优化:灵活修改分区名称的方法介绍

    Oracle数据库优化:灵活修改分区名称的方法介绍Oracle数据库优化:灵活修改分区名称的方法介绍Oracle数据库优化:灵活修改分区名称的方法介绍Oracle数据库优化:灵活修改分区名称的方法介绍

    Oracle数据库是一种常用的关系型数据库管理系统,用于存储和管理企业数据。在日常使用中,对数据库的优化是非常重要的,可以提高数据库的性能和效率。其中一个重要的优化技巧是对数据库进行分区,能够提高查询性能和维护效率。 Oracle数据库中的分区允许将表中的数据根据指定的规则分成不同的区域进行存储,这…

    2026年9月26日 • 用户投稿
    000
  • 解决SAS无法找到Oracle引擎的问题

    解决SAS无法找到Oracle引擎的问题解决SAS无法找到Oracle引擎的问题解决SAS无法找到Oracle引擎的问题解决SAS无法找到Oracle引擎的问题

    解决SAS无法找到Oracle引擎的问题,需要具体代码示例 在使用SAS软件进行数据处理和分析时,我们经常会遇到需要连接到外部数据库的情况,其中Oracle数据库是一个常见的选择。然而,有时候当我们尝试连接Oracle数据库时,SAS却提示找不到Oracle引擎的问题,这给我们的工作带来了困扰。本文…

    2026年9月26日 • 用户投稿
    000
  • Oracle存储过程批量更新实现方法

    Oracle存储过程批量更新实现方法Oracle存储过程批量更新实现方法Oracle存储过程批量更新实现方法Oracle存储过程批量更新实现方法

    标题:Oracle存储过程批量更新实现方法 在Oracle数据库中,使用存储过程批量更新数据是一种常见的操作。通过批量更新可以提高数据处理的效率,减少对数据库的频繁访问,同时也能减少代码的复杂性。本文将介绍如何在Oracle数据库中使用存储过程实现批量更新数据的方法,并给出具体的代码示例。 首先,我…

    2026年9月26日 • 用户投稿
    100
  • 处理Oracle用户登录问题的有效措施

    处理Oracle用户登录问题的有效措施处理Oracle用户登录问题的有效措施处理Oracle用户登录问题的有效措施处理Oracle用户登录问题的有效措施

    处理Oracle用户登录问题的有效措施 随着数据安全意识的提高,数据库用户登录问题变得尤为重要。Oracle作为一款常用的关系型数据库管理系统,其用户登录问题对数据安全具有至关重要的影响。为了保障数据库的安全性和稳定性,我们需要采取一系列有效的措施来处理Oracle用户登录问题。 一、创建和管理Or…

    2026年9月26日 • 用户投稿
    100
  • 解读Oracle错误3114:原因及解决方法

    解读Oracle错误3114:原因及解决方法解读Oracle错误3114:原因及解决方法解读Oracle错误3114:原因及解决方法解读Oracle错误3114:原因及解决方法

    标题:分析Oracle错误3114:原因及解决方法 在使用Oracle数据库时,常常会遇到各种错误代码,其中错误3114是比较常见的一个。该错误一般涉及到数据库链接的问题,可能导致访问数据库时出现异常情况。本文将对Oracle错误3114进行解读,探讨其引起的原因,并给出解决该错误的具体方法以及相关…

    2026年9月26日 • 用户投稿
    100

发表回复

登录后才能评论
关注微信