DataMagic技術コラム Vol.24
〈お客様要望を解決!:不正データがあってもデータ加工できる共通コンポーネント編〉
Introduction
DataMagicの技術コラムにアクセス頂き有難うございます。
先日、DataMagicをご利用いただいているお客様より「不正なデータがあってもデータ加工処理を継続したい」というご要望を頂きました。
お客様要望
「項目タイプ」が“P”(内部10進数)のデータが不正な場合に、空データに置換えてデータ変換したい
ご要望いただいたお客様の入力データは、お客様が手を加えることが出来ない外部システムで作成されたもので、誤ったデータが混入している場合があるとのことでした。
DataMagicではエラーデータのスキップ機能がありますが、この機能では問題があるレコードは読み飛ばす仕様となっており、残念ながら要望を満たすことができません。
しかし、このような要望に対して、共通コンポーネントで解決することが可能となります!
Vol.22, Vol.23では共通コンポーネントについて紹介させて頂きましたが、今回のTIPSでは、この要望を実現する共通コンポーネントを紹介します。
この機能は、DataMagic Ver.3.1.9にも同梱されます。
本TIPSを利用の際はDataMagicのインストールが必要です。DataMagicの入手先やインストール方法については、別稿の「DataMagicをインストールする」を参照してください。
本TIPSで紹介するSAISON_PACK2NUMSTR共通コンポーネントはDataMagic Ver.3.0.0以上であれば、現在使用中のDataMagicをアップデートせずに追加出来ます。
共通コンポーネントを用いたデータ変換
お客様要望を解決する共通コンポーネントの実装例を以下に説明します。
入出力データのイメージ
内部10進数の符号部は以下の設定を使用。
入力データと期待する出力データのイメージは以下。
Operation check using sample data
サンプルデータを使って実際に動作させてみましょう。
»Download the source data and script files
(Note: The sample file is in zip format. Please unzip it before use.)
Step 1 - Prepare the data to be converted and the script file
最初に入力データ(”in” ファイル)とデータ変換処理のスクリプトファイル(”sample24.igen” ファイル)を用意します。下記からsample24.zipをダウンロードし、DataMagicが導入されているPCの下記のフォルダに保存します。
C:\work\sample24\(“in”と”sample24.igen”を保存)
今回のTIPSでは内部10進数の入力データを使用します。
入力データは一部不正な値を含みます。
入力データ(内部10進数)
内部10進数の符号部は以下の設定を使用。
Step 2 – Perform data processing
手順1で取得したスクリプトファイル(”sample24.igen” ファイル)をインポートし、追加されたデータ加工処理SAMPLE24を実行します。
For the procedures for importing and executing common components, please refer to the separate article "DataMagic Technical Column Vol. 22 Appendix: Procedures for Importing and Executing Common Components."
Step 3 – Check the results
実行が完了すると、出力設定において指定されたC:\work\sample24\に“out.txt”というファイルが出来ているのでテキストエディタで内容を確認して下さい。
入出力データ
SAISON_PACK2NUMSTRの使用方法
本TIPで紹介したSAISON_PACK2NUMSTRはDataMagic Ver.3.0.0以上であればデータ加工に使用出来ます。
SAISON_PACK2NUMSTRの利用方法については、共通コンポーネントのインポート後、共通コンポーネント情報一覧からSAISON_PACK2NUMSTRをダブルクリックすることで確認できます。
When using common components, please check the explanation in the red box below.
Common components can be set in [Mapping Information Settings] under [Data Processing Information Settings].
設定方法については「共通コンポーネントを用いたデータ変換」の説明をご確認ください。
利用時の注意点
SAISON_PACK2NUMSTR共通コンポーネントのコメントに記載しているとおり、入力項目(サイン付内部10進数のデータ)の項目タイプはイメージタイプ(無変換)を指定する必要がありますのでご注意下さい。
lastly
今回紹介したSAISON_PACK2NUMSTR共通コンポーネントのエクスポートファイルは下記のリンクよりダウンロードできます。「サンプルデータを用いた動作確認」のsample24.zipを使用せずに共通コンポーネントのみの追加をしたい場合は以下をご利用ください。
» 共通コンポーネント「SAISON_PACK2NUMSTR」のエクスポートファイルダウンロード
(注:エクスポートファイルはzip形式となります。解凍してからご利用ください。)
If you do not have DataMagic
If you are interested in this product, please download DataMagic evaluation version and try it out.
- The trial version is free to use for 60 days.
- After you sign up for the trial version, you will receive 90 days of free technical support.
DataMagic Column List
- DataMagic Manager Installation
- "DataMagic" is recommended for its "fast, cheap, and easy" features.
- Vol.1 Character code conversion: EBCDIC⇔Shift_JIS
- Vol.2 Character Code Conversion: External Character Codes
- Vol.3 Character Code Conversion: Unicode (UTF-8)
- Vol.4 Data Conversion: Pack⇔Zone Edition
- Vol.5 (Fixed length ⇒ CSV data conversion)
- Vol.6 (Special Edition) HUB+ DataMagic Collaboration Case Study
- Vol.7 <Distribution BMS ⇒ CSV Conversion>
- Vol.8 <Matching Processing>
- Vol.9 (Full-width⇔Half-width Conversion)
- Vol.10 (DB table data extraction)
- Vol.11 Data Correction
- Vol.12 〈String Replacement〉
- Vol.13 (Special Edition) DataMagic Implementation Case Studies
- Vol.14 (Data sorting and file division)
- Vol.15 Data Collection
- Vol.16 File Merging
- Vol.17 HULFT Definition Bulk Registration
- Vol.18 (Special Edition) HULFT-WebFiletransfer + DataMagic Integration Case Study
- Vol.19 (Introduction Case Studies) Our company's use cases
- Vol.20 Data Masking
- Vol.21 (DB Migration Edition)
- Vol.22 <Common Components: EBCDIC Code Replacement>
- Vol.22 Appendix <Common Component Import and Execution Procedures>
- Vol.23 <Common Components: Date Conversion Function Extension>
- Vol.24 〈お客様要望を解決!:不正データがあってもデータ加工できる共通コンポーネント編〉