XML,TSV等のデータ変換バッチを一元的に開発できる

改善してほしいポイント

現状、基本的に1CPUコアによるシリアルな変換処理のためマルチコアの恩恵を受けられない。巨大なデータの変換において、自動的に分割しパラレルに実行する機能が欲しい。
また、NFSなどに巨大なデータを置く場合に、DataSpiderとして NFSキャッシュ機能を設け、処理実行速度を向上していただきたい。

どのような課題解決に貢献しましたか？どのようなメリットが得られましたか？

固定長やTSVデータから、日本語全文検索のためのXMLデータを作成する定期的バッチを開発するにあたり、開発工数の効率化とバッチ処理速度の高速化を実現できた。

検討者へお勧めするポイント

複数のデータ変換バッチPGを作成・運用している場合、このDataSpiderへの一元管理への移行をおすすめします。