非公開ユーザー
鉄・金属|生産管理・工程管理|1000人以上|ユーザー(利用者)|契約タイプ 有償利用
ETLツールで利用
良いポイント
優れている点・好きな機能:
サーバーレスで稼働するフルマネージドのETL機能と、クローラーによる自動的なスキーマ定義(データカタログ化)機能です。
その理由:
インフラの構築や運用管理(サーバーのプロビジョニングなど)を一切気にせず、データの抽出・変換・ロード処理に集中できるからです。S3やRedshiftなど他のAWSサービスとの連携が極めてスムーズで、クローラーを使えば未加工のデータから自動的にテーブル定義を作成してくれるため、分析基盤の構築スピードが格段に上がります。
改善してほしいポイント
欲しい機能・分かりづらい点:
エラー時のデバッグの難しさとジョブ起動時のオーバーヘッド(コールドスタート)です。
その理由:
GUIベースの「AWS Glue Studio」で視覚的にジョブを作成できる反面、裏側はApache Sparkで動いているため、エラー発生時のログが非常に読み解きにくく、Sparkの知識がないと原因究明に時間がかかることが多いです。また、小さなデータ処理であってもジョブの起動に数分かかる場合があり、細かい処理を頻繁に実行する用途には向いていないと感じるからです。
どのような課題解決に貢献しましたか?どのようなメリットが得られましたか?
解決できた課題・具体的な効果:
以前は自前で構築したETLサーバー上でバッチ処理を組んでいましたが、データ量の増大に伴うスケールアップ作業や保守の手間が大きな課題でした。AWS Glueの導入により、インフラの保守工数が実質ゼロになり、エンジニアの作業時間を大幅に削減できました。
課題解決に貢献した機能・ポイント:
フルマネージドのサーバーレスアーキテクチャと、自動でリソースをスケーリングする機能です。データ量に応じて自動でリソースが調整されるため、運用負荷が激減しました。
検討者へお勧めするポイント
AWSエコシステム上でデータレイクやデータ分析基盤を構築したい企業にとって、インフラ管理が不要で拡張性の高い、最強のETLツールとして間違いなくおすすめします。