<h2 id="h5f105fe07e">今回やったこと構成図</h2><figure><img src="https://images.microcms-assets.io/assets/98d8c718adf64538816e963db9259779/beae6ba350e04afca9afcc51008f0245/image.png" alt="" width="1404" height="910"></figure><h2 id="h3170f331b8">Athenaとは</h2><ul><li>Amazon Athenaは、標準的なSQLを使用してS3のデータを直接分析することができるサーバレスで従量課金のクエリサービス(GCPのBigQueryと似た感じ)</li><li>AthenaではS3に保存したCSVデータを紐付けて、Athena上にデータベース・テーブルを作成すれば、そこにSQLを実行してデータを参照・抽出できる</li><li>S3上のデータにはCSVファイルやJSONファイル、parquet形式のデータといった「整形済み」のデータであることが前提</li><li>スクショのようにデータソースからテーブルを作成を選択すると、データベースとテーブルをセットで作成でき、実際にS3に保存されている CSVデータなどのカラムに合わせて手動でデータベースと、テーブルを作成できる。（今回は手動で作成せずにGlueのクローラでスキャンして生成する）</li></ul><p></p><figure><img src="https://images.microcms-assets.io/assets/98d8c718adf64538816e963db9259779/bdcc079fc8614419a1ac1283a0cb4889/image.png" alt="" width="1340" height="1456"></figure><figure><img src="https://images.microcms-assets.io/assets/98d8c718adf64538816e963db9259779/82dcc402b1024007901f2217a1c2dd16/image.png" alt="" width="1456" height="1058"></figure><figure><img src="https://images.microcms-assets.io/assets/98d8c718adf64538816e963db9259779/07a40973389a428d98a37009f809209a/image.png" alt="" width="1478" height="1104"></figure><h2 id="h4116a5394d">Glueとは</h2><p><a href="https://aws.amazon.com/jp/glue/">https://aws.amazon.com/jp/glue/</a></p><p><a href="https://www.fenet.jp/aws/column/aws-beginner/307/">https://www.fenet.jp/aws/column/aws-beginner/307/</a></p><ul><li>AWS Glue の機能概要は以下<ul><li>データの検出と整理</li><li>分析用データの変換、準備、クリーニング</li><li>データパイプラインの構築とモニタリング</li></ul></li></ul><p>今回触れる部分は、主に</p><p>「データの検出と整理」</p><ul><li>簡単にいうと、S3に入っている構造化データ（今回はCSVデータ）をクローラーでスクリーニングして自動的にスキーマ情報を推測し、AWS Glue Data Catalog のスキーマ情報に統合(Athenaのデータベースにテーブルを自動作成)</li><li>自動作成されたテーブルをAthenaでSQLクエリでデータ取得</li></ul><h2 id="h8aebb90f0f">AWS Glue とAthenaの連携</h2><p><a href="https://dev.classmethod.jp/articles/athena-table-datacatalog-etc-summary/">https://dev.classmethod.jp/articles/athena-table-datacatalog-etc-summary/</a></p><ul><li>Glueのクローラーを実行して指定したS3バケット内のCSVデータをスキャンして、Athena上に作成しているDatabase内に、Athenaでクエリを叩ける形に正規化したテーブルを作成させる<ul><li>クローラーを実行すればクローラーを紐付けたデータベース内にテーブルを自動で作成してくれる</li><li>クローラーはS3バケットのデータの構造に変更があれば、データのスキーマ情報を自動で変更したりしてくれる</li><li>クローラは定期実行しても良いし、都度手動でコンソールから実行するでも良い</li></ul></li><li>S3にあるCSVデータをAthenaでSQLクエリを叩いてデータを参照・抽出できるようにする</li></ul><h3 id="h37eee1d834">AWS Glueで表示されるデータベースやテーブルはAthenaで作ったものと同じ</h3><p>厳密にいうと、AWS Glueデータカタログで作ったものは連動する（デフォルトでAWS GlueデータカタログがAWSアカウント毎に用意されているので、デフォルトで勝手に連動している）</p><ul><li>AWS Glue上</li></ul><p></p><figure><img src="https://images.microcms-assets.io/assets/98d8c718adf64538816e963db9259779/bfcb80b5dcb644269ed4be4c00cb5bdb/image.png" alt="" width="1398" height="984"></figure><ul><li>Athena上</li></ul><p></p><figure><img src="https://images.microcms-assets.io/assets/98d8c718adf64538816e963db9259779/15f0cc9d275943abaf288a78f68d125e/image.png" alt="" width="1284" height="1410"></figure><h3 id="hff0e2d46a5">AthenaからSQLを実行できるようにする</h3><h4 id="h9e1c6eedd4">Glueでクローラーを作成</h4><p></p><figure><img src="https://images.microcms-assets.io/assets/98d8c718adf64538816e963db9259779/08b1cee9a7174512b1aeb0f12ec93ca2/image.png" alt="" width="1462" height="960"></figure><ul><li>data source の追加<ul><li>CSVデータが格納されているS3バケットを選択<figure><img src="https://images.microcms-assets.io/assets/98d8c718adf64538816e963db9259779/2ebe4904fca040d4826ac7e2409345cd/image.png" alt="" width="1102" height="1394"></figure></li></ul></li></ul><p></p><figure><img src="https://images.microcms-assets.io/assets/98d8c718adf64538816e963db9259779/e8f5b7c10d814adb91ca19d91523199b/image.png" alt="" width="1106" height="256"></figure><ul><li>Glue上からAthenaにDatabase/tableを追加</li></ul><p></p><figure><img src="https://images.microcms-assets.io/assets/98d8c718adf64538816e963db9259779/488b1fafa1b84607a2859c231e57a24c/image.png" alt="" width="1066" height="452"></figure><p></p><figure><img src="https://images.microcms-assets.io/assets/98d8c718adf64538816e963db9259779/a23ec2482c5a48369cb054cfb3ab531c/image.png" alt="" width="1128" height="1054"></figure><ul><li>今回はクローラーを回すタイミングについて必要なときに手動実行する設定にする<ul><li>S3のデータ構造に変更あれば都度実行する<p></p></li></ul></li></ul><figure><img src="https://images.microcms-assets.io/assets/98d8c718adf64538816e963db9259779/ea33a993a7734f87af601bb86b94f812/image.png" alt="" width="1016" height="268"></figure><h4 id="hcc62dbc6d3">クローラーの実行</h4><ul><li>クローラー実行時の料金体系は以下。</li></ul><p> <a href="https://aws.amazon.com/jp/glue/pricing/">https://aws.amazon.com/jp/glue/pricing/</a></p><p>最小課金単位の10分で、</p><p>10(分) / 60 × 1(DPU) × 0.44ドル = 0.073ドル程度</p><ul><li>実行<figure><img src="https://images.microcms-assets.io/assets/98d8c718adf64538816e963db9259779/422e2fc370d84b208f9de8621a7abb8c/image.png" alt="" width="1048" height="358"></figure></li><li>完了</li></ul><figure><img src="https://images.microcms-assets.io/assets/98d8c718adf64538816e963db9259779/0238f48b78284f73b20d475008bbc930/image.png" alt="" width="1064" height="236"></figure><h4 id="h56bd4c9135">Athenaでクエリ実行</h4><ul><li>databaseを指定して実行</li></ul><pre><code class="language-sql">SELECT * FROM データベース名;</code></pre>

Amazon Athenaは、標準的なSQLを使用してS3のデータを直接分析することができるサーバレスで従量課金のクエリサービス(GCPのBigQueryと似た感じ)

S3に保存した最新のCSVデータをAthenaとGlueを連携してSQLで取得する

<p>RubyWorldConference2023の登壇資料のリンクをこちらに貼っておきます。</p><p><a href="https://2022.rubyworld-conf.org/files/a-5.pdf#view=FitH&amp;zoom=Fit">https://2022.rubyworld-conf.org/files/a-5.pdf#view=FitH&amp;zoom=Fit</a></p>

RubyWorldConference2023の登壇資料のリンクをこちらに貼っておきます。  https://2022.rubyworld-conf.org/files/a-5.pdf#view=FitH&zoom=Fit

RubyWorldConference2022登壇資料

今回は、FirebaseAnalyticsからBigQueryにエクスポートしたデータをQuickSight上で、表形式で閲覧したいという要件を実現するための過程を記事にしました。

おすすめ記事