异构库环境的ETL,oracle VS mssql

1、环境需求描述:用户内网有一台oracle10g库,外网有一台oracle9i。用户通过内网发布人才招聘相关信息,所有的信息在一张表里面,运行一个export/import脚本把

1、环境需求描述:

用户内网有一台oracle 10g库,外网有一台oracle 9i。用户通过内网发布人才招聘相关信息,所有的信息在一张表里面,运行一个export/import脚本把内网该表同步到外网表,内网和外网之间应该 是建立了临时表lb_retain,这张表是作为外网应用使用。该用户开发的新CMS系统(ASP.NET),数据库是采用MSSQL SERVER 2005 X64,该数据库也是位于外网环境中。由于用户发布招聘信息不想在新CMS平台上进行,香港虚拟主机,所以不得不对这一信息进行整合。最终要使该招聘信息能在新网站上显 示给最终用户。

2、解决思路:

分析以上需求,网站空间,即源oracle库同 步到目标mssql 2005,为了达到异构库环境的表与表之间的数据同步,本次解决方案是采用了MSSQL商业智能解决方案,美国服务器,用SQL Server Business Intelligence Development Studio工具创建Integration Services 项目创建DTS包,该包可以处理非常复杂的数据挖掘工作(如果源是mssql,目标是oracle的话,可以使用oracle的透明网关)。其中,我建立 从oracle抽取数据并插入到新网站所对应的MSSQL表招聘里面。这样就达到了整合的效果,只要拿到了数据插入到新应用所在的库里面去,就可以整合到 了新应用的所有功能,而不需要二次开发,也不需要写应用层代码来操作oracle库了。

3、解决过程

(1)新建Integration services项目

clip_image001

(2)SSIS导入导出向导–建立基本的数据库连接串以及基本的SQL,选择源

clip_image002

(3)选择目标

clip_image003

(4)编写SQL语句

clip_image004

(5)建立源列到目标表的列的映射

clip_image005

(6)下一步,警告先不管

clip_image006

(7)分别添加“数据转换”、“派生列”、“脚本组件”

“数据转换”把源ORACLE的varchar2列转换为MSSQL所兼容的列

clip_image007

(8)“派生列”

根据你的业务不同配置也是不太一样的,这里所要添加“派生列”是因为源ORACLE库没有与目标库对应的列,所以要在同步的过程中生成新列并赋初值

clip_image008

(9)“脚本组件”

“脚本组件”是为了处理比较复杂的业务流程,比如本方案有一个字段是要自增的,所以要编写脚本

设置输入列

设计脚本:

ScriptMain:

‘ Microsoft SQL Server Integration Services user script component

‘ This is your new script component in Microsoft Visual Basic .NET

‘ ScriptMain is the entrypoint class for script components

Imports System

Imports System.Data

Imports System.Math

Imports Microsoft.SqlServer.Dts.Pipeline.Wrapper

Imports Microsoft.SqlServer.Dts.Runtime.Wrapper

Public Class ScriptMain

Inherits UserComponent

Dim intCounter As Integer = 1 ‘Set intial value here

Public Overrides Sub 输入0_ProcessInputRow(ByVal Row As 输入0Buffer)

Row.Taxis = intCounter

intCounter = intCounter + 1 ‘ Set the incremental value here

End Sub

End Class

BufferWrapper

‘ THIS IS AUTO-GENERATED CODE THAT WILL BE OVERWRITTEN! DO NOT EDIT!

‘ Microsoft SQL Server Integration Services buffer wrappers

‘ This module defines classes for accessing data flow buffers

‘ THIS IS AUTO-GENERATED CODE THAT WILL BE OVERWRITTEN! DO NOT EDIT!

Imports System

Imports System.Data

Imports Microsoft.SqlServer.Dts.Pipeline

Imports Microsoft.SqlServer.Dts.Pipeline.Wrapper

Public Class 输入0Buffer

Inherits ScriptBuffer

Public Sub New(ByVal Buffer As PipelineBuffer, ByVal BufferColumnIndexes As Integer())

MyBase.New(Buffer, BufferColumnIndexes)

End Sub

Public Property [Taxis]() As Int32

Get

Return CType(Me(0), Int32)

End Get

Set

Me(0) = Value

End Set

End Property

库宝AI 库宝AI

库宝AI是一款功能多样的智能伙伴助手,涵盖AI写作辅助、智能设计、图像生成、智能对话等多个方面。

库宝AI 109 查看详情 库宝AI

Public Property [Taxis_IsNull] As Boolean

Get

Return IsNull(0)

End Get

Set

SetNull(0)

End Set

End Property

Public Function NextRow() As Boolean

NextRow = MyBase.NextRow()

End Function

Public Function EndOfRowset() As Boolean

EndOfRowset = MyBase.EndOfRowset

End Function

End Class

ComponentWrapper

‘ THIS IS AUTO-GENERATED CODE THAT WILL BE OVERWRITTEN! DO NOT EDIT!

‘ Microsoft SQL Server Integration Services component wrapper

‘ This module defines the base class for your component

‘ THIS IS AUTO-GENERATED CODE THAT WILL BE OVERWRITTEN! DO NOT EDIT!

Imports System

Imports System.Data

Imports Microsoft.SqlServer.Dts.Pipeline

Imports Microsoft.SqlServer.Dts.Pipeline.Wrapper

Imports Microsoft.SqlServer.Dts.Runtime.Wrapper

Public Class UserComponent

Inherits ScriptComponent

Public Connections As New Connections(Me)

Public Variables As New Variables(Me)

Public Overrides Sub ProcessInput(ByVal InputID As Integer, ByVal Buffer As PipelineBuffer)

If InputID = 1572 Then

输入0_ProcessInput(New 输入0Buffer(Buffer, GetColumnIndexes(InputID)))

End If

End Sub

Public Overridable Sub 输入0_ProcessInput(ByVal Buffer As 输入0Buffer)

While Buffer.NextRow()

输入0_ProcessInputRow(Buffer)

End While

End Sub

Public Overridable Sub 输入0_ProcessInputRow(ByVal Row As 输入0Buffer)

End Sub

End Class

Public Class Connections

Dim ParentComponent As ScriptComponent

Public Sub New(ByVal Component As ScriptComponent)

ParentComponent = Component

End Sub

End Class

Public Class Variables

Dim ParentComponent As ScriptComponent

Public Sub New(ByVal Component As ScriptComponent)

ParentComponent = Component

End Sub

End Class

(10)打开“目标”的数据流

建立映射关系

clip_image009

(11)设置一下ETL包,不然等下添加JOB的时候有可能出错

“项目属性”-“调试”-“调试选项”-Run64BitRuntime=false(后面讲解释原因)

包的加密方式用-EncryptSensitiveWithPassword

clip_image010

(12)直接执行该包,看结果,没有错误,成功后就开始把它加入到MSSQL的JOB

打开SQL Server Management Studio并开启SQL SERVER代理,新建作业,详细怎么去创建可以做官网去查文档,这里只讲关键步骤:

clip_image011

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/525983.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2025年11月9日 08:04:07
下一篇 2025年11月9日 08:06:31

相关推荐

  • java怎么编译运行.html_java编译运行.html方法【教程】

    Java程序的编译运行与HTML无关,需使用JDK。1. 编写HelloWorld.java文件;2. 命令行执行javac HelloWorld.java生成.class文件;3. 执行java HelloWorld运行程序。注意:HTML是网页标记语言,不能直接运行Java代码,勿将二者混淆。确…

    2025年12月23日
    000
  • html文档中含有java怎么运行_html含java运行方法【教程】

    现代浏览器不支持Java Applet,推荐通过JavaScript调用Java后端服务或使用WebAssembly运行Java代码。 如果您在HTML文档中嵌入了Java代码,但发现无法正常运行,这通常是因为现代浏览器不再支持Java小程序(Applet)或相关插件。以下是几种实现HTML中Jav…

    2025年12月23日
    000
  • 怎么运行html的applet小程序_运行html applet小程序步骤【指南】

    现代浏览器已不再默认支持Java Applet,需通过安装JRE、启用插件、使用支持NPAPI的旧版浏览器(如Firefox 52.9 ESR)、调整Java安全级别至中,并将网站添加到例外站点列表方可运行。 如果您在尝试运行HTML中的Applet小程序时遇到问题,可能是因为现代浏览器已不再默认支…

    2025年12月23日
    000
  • 使用BeautifulSoup和JSON有效抓取动态加载的网页表格数据

    本教程旨在解决使用BeautifulSoup抓取网页表格时,因数据动态加载导致部分内容缺失的问题。通过分析网页背后的API请求,直接获取并解析JSON数据源,再结合BeautifulSoup提取的HTML结构信息,最终实现完整且准确的数据抓取。文章将提供详细的代码示例和实现步骤。 理解网页动态内容与…

    2025年12月23日
    400
  • 解决BeautifulSoup爬取网页表格中动态内容缺失问题

    本文旨在解决使用BeautifulSoup爬取网页表格时,因部分数据通过JavaScript动态加载导致内容缺失的问题。通过详细分析Oracle云定价页面的案例,教程将指导读者如何识别并获取隐藏在JSON API中的动态数据,并将其与BeautifulSoup解析的静态HTML内容有效整合,最终构建…

    2025年12月23日
    000
  • Selenium获取输入框“计算属性”值的实战教程

    本文旨在解决使用selenium自动化测试时,无法通过常规方法(如`get_attribute(“value”)`、`.text`)获取到输入框实际显示值的问题,特别是当该值仅在浏览器开发者工具的“计算属性”中可见时。我们将探讨问题成因,并提供一种通过javascript操作…

    2025年12月23日
    000
  • Java GUI在Web部署中的挑战与现代解决方案

    本文旨在澄清Java Web Start(JWS)在Web页面内运行GUI的常见误解,指出JWS用于本地应用启动而非嵌入式Web GUI。文章将探讨JWS的局限性及其被Oracle弃用的原因,介绍OpenWebStart作为其开源替代方案,并重点推荐Vaadin Flow作为使用纯Java构建真正W…

    2025年12月22日
    000
  • Java GUI Web部署策略与现代替代方案

    本文旨在澄清Java GUI应用在Web页面中直接运行的常见误区,特别是关于Java Web Start (JWS) 的作用与局限性。我们将探讨JWS的实际工作机制、其被Oracle废弃的原因,并介绍OpenWebStart作为现有JWS应用的替代方案。此外,文章将重点推荐Vaadin Flow等现…

    2025年12月22日
    300
  • HTML表单如何实现白名单功能?怎样只允许授权用户?

    要实现%ignore_a_1%的白名单功能并确保只有授权用户操作,核心答案是必须依赖后端服务器进行严格的身份认证、会话管理、授权检查和数据验证,前端仅能提供用户体验层面的初步提示而不能保障安全;具体而言,首先通过用户身份认证(如用户名/密码或oauth)确认用户身份,服务器创建会话并返回标识符,后续…

    2025年12月22日
    000
  • 表单中的ERP怎么连接?如何对接企业资源计划系统?

    将表单数据连接到erp系统的核心是打通数据流,确保信息能从前端无缝流入企业核心系统,主要通过api接口集成、中间件/ipaas、文件导入导出和rpa四种方式实现;其中api集成因其实时性高、安全性好、可扩展性强,成为现代系统的首选方案,尤其适用于支持开放api的erp系统;当业务涉及多系统复杂集成时…

    2025年12月22日
    100
  • HTML如何实现文本加密?怎么隐藏敏感内容?

    纯前端技术无法真正加密或安全隐藏敏感内容,因为html、css和javascript均在客户端运行,源代码和数据可被用户通过开发者工具轻易查看;2. 所谓“隐藏”如display: none、hidden属性或javascript移除dom,仅是视觉上的屏蔽,数据仍存在于页面中;3. 真正的安全必须…

    2025年12月22日
    000
  • 表单中的智能合约怎么集成?如何自动执行表单条款?

    要实现表单数据与智能合约的精准匹配及条款的自动执行,核心在于通过后端服务进行数据类型转换、多层校验并严格遵循abi规范调用合约;智能合约通过内置条件逻辑或借助chainlink keepers等自动化服务实现触发执行;需应对gas成本、安全风险、异步体验和预言机依赖等挑战,采用layer 2、元交易…

    2025年12月22日
    000
  • 想提升IT技能?哪些含金量高的认证值得考?

    it职业发展:高含金量认证助您成功 想在IT领域提升竞争力?选择合适的认证至关重要。本文推荐几项国内外认可度高的IT认证,助您在职业道路上更进一步。 热门认证推荐: 1. 高级软件设计师(软考高级): 国内IT领域含金量最高的认证之一。涵盖软件工程、项目管理及计算机基础知识。证明您在软件设计和开发方…

    2025年12月22日
    000
  • Html实现歌曲歌词同步

    这篇文章主要介绍了关于Html实现歌曲歌词同步,有着一定的参考价值,现在分享给大家,有需要的朋友可以参考一下 歌词同步 body { background:url(“Img/起风了.jpg”) center no-repeat ; background-size:60% 100%; } * { ma…

    好文分享 2025年12月21日
    000
  • 解决node-oracledb Thin模式下不支持0x939密码验证器错误

    本文旨在解决使用node-oracledb在thin模式下连接oracle数据库时遇到的“密码验证器类型0x939不受支持”错误。该问题通常源于数据库使用了较旧的密码哈希算法。教程将详细介绍针对不同oracle数据库版本的解决方案,包括启用thick模式、调整数据库参数以及重置用户密码等,以确保no…

    2025年12月21日
    100
  • 数据持久化方案比较

    文件存储适合轻量级需求,实现简单但并发和查询能力弱;2. 关系型数据库保障一致性与复杂查询,适用于强一致性系统;3. NoSQL 数据库高扩展高性能,适合动态结构与海量数据;4. 对象存储用于海量非结构化文件,具备高持久性但不支持随机更新;5. 方案选择需综合数据类型、访问模式与规模,最合适组合优于…

    2025年12月21日
    000
  • 解决 node-oracledb 6.0 Thin 模式脚本结束延迟问题

    node-oracledb 6.0 Thin 模式下,若不显式关闭数据库连接,Node.js 脚本在执行完毕后会出现数秒的延迟才终止。这是因为 Thin 模式直接管理网络套接字,这些套接字会保持 Node.js 事件循环活跃,直到被垃圾回收器处理。为避免此延迟,务必通过 connection.clo…

    2025年12月20日
    000
  • 深入理解node-oracledb 6 Thin模式下的连接管理与脚本终止行为

    在使用node-oracledb 6的Thin模式时,若不显式关闭数据库连接,Node.js脚本可能出现意外的延迟终止。这是因为Thin模式下的内部套接字会被Node.js事件循环感知,从而阻止进程立即退出,直至连接被垃圾回收或显式关闭。本文将深入探讨这一机制,并强调在Thin模式下显式调用conn…

    2025年12月20日
    000
  • 如何在APEX自动完成文本字段中实现多条件代码触发(选择值或离开字段)

    针对APEX 22.2.4中自动完成文本字段的事件触发限制,本文提供了一种解决方案。通过结合“Change”和“Key Down”两种动态操作,并利用“Debounce”机制优化按键事件,开发者可以实现在用户选择列表值或离开字段时,以及在用户输入过程中按需触发自定义代码,从而提升应用交互的灵活性和用…

    2025年12月20日
    000
  • Oracle APEX:掌握通过JavaScript正确调用应用程序级进程的方法

    本教程详细阐述了在Oracle APEX中通过JavaScript动态调用应用程序级进程的正确方法。它澄清了apex.submit()与apex.server.process()之间的关键区别,指出前者仅用于页面提交,而后者才是执行命名服务器端进程的AJAX首选。文章提供了示例代码和配置指导,帮助开…

    2025年12月20日
    000

发表回复

登录后才能评论
关注微信