CloudFormationとterraformの比較
tech
背景
弊社ではAWSとGCP両方のご提案をさせていただく機会が多いため、 CICDとしては両方対応可能なterraformを利用する機会が多かったのですが、 今回AWS CloudFormationに関するご支援もさせていただける機会があり、 使う中で感じた違いをブログとしてまとめようと思います。
利用して感じた主な違い
実際に利用していて感じた主な違いについて以下にまとめています。 （網羅性はなく個人的に感じた点だけをまとめているので、あくまで参考程度にみていただければと思います）
参照できる値の種類
まず一番大きく感じた違いは参照できる値の種類でした。
terraformは「リソースタイプ名.リソース名.参照値名」と言った変数指定の方法で値を参照し、
CloudFormationではRefを利用してリソースIDなどの値を参照するのですが、
terrraformがほぼリソースに関するほぼ全ての値を参照できるのに対し、
CloudFormationはリソースIDなど限られた値しか参照することができませんでした。
例えばCloudFrontであれば、
IDかドメイン名しか参照することができません。
個人的にこの点は完全にCloudFrontの方が使いにくいと思っており、
例えば値を指定しなかった際にデフォルト値が割り振られる値があったとしても、
その値を参照することができなければデフォルトではなくわざわざ値を指定する必要が出てきます。
導入ハードル
次に感じたものが導入ハードルです。 terraformだと実行までに最低限ローカル環境構築などが必要になるのに対し、 CloudFormationだとコンソールから操作することができるので、 yamlさえあればコンソール上から簡単にデプロイすることができます。 また記載言語もterraformが独自言語であるHCLであるのに対して、 yamlやjsonを使うことができるので扱いやすくなっています。
柔軟性
３つ目に感じた違いが柔軟性の違いです。 例えばterraformが「loop処理を噛ませる」「shellを実行させる」「hash値をパラメーターで持たせる」 と言った様々なことができるののに対し、CloudFormationには特にそう言った機能がありません。 そのため例えばloop処理をCloudFormationでやろうとした場合は、 Jinjaなどを使って複数リソースが記述されたyamlを作る必要があります。 必要不可欠な機能ではないもののterraformで運用を行っていた際そういった機能に何度か助けられたので、 要件が複雑になった際にCloudFormationで対応できるかどうかは不安が残ります。
比較結果
今回感じた違いをまとめると以下表のような結果となりました。 これを見るとちょっとしたものはCloudFormationで作っても問題ないが、 ちゃんと管理を行う場合はterraformを利用した方が良いのではないかと感じています。
| 項目 | CloudFormation | terraform |
|---|---|---|
| 参照できる値の種類 | △ | ○ |
| 導入ハードル | ○ | × |
| 柔軟性 | × | ○ |
感想
結果として組めるのであればterraformを利用した方が良さそうという結果になったのですが、
「導入ハードル」はユースケースによってはかなり重要な項目になってくると思っており、
例えば「AWSで動くアプリケーションを配布したい」と言った場合では間違いなくCloudFormationの方がメリットが大きいと思っています。
そのため今後はterraformだけではなく各特性を考慮したご提案をしていければと思っています。
またどちらもアップデートが進んでいるので、
そちらについても逐一追っていきたいと思います。
クラウドでのデータ基盤の運用をしていくにあたってterraformやCloudFormationの知識は必要不可欠なものです。
弊社では、これらの技術を使い多くのクライアント様のデータ基盤の運用の実績があります。
お困りの際は是非こちらよりお問い合わせください。
参考リンク
SinkCapitalではデータに関する支援を行っています
弊社はスペシャリスト人材が多く在籍するデータ組織です。 データ分析や分析基盤の設計などでお困りの方がいらっしゃれば、 まずは無料で、こちらから各分野のスペシャリストに直接相談出来ます。
Azure DevOps上でterraformを用いたAzureのIaC管理方法
tech
企業内データを参照するChatGPTによる社内Q&Aシステムを構築または利用する際のデータ管理について特に注意すべき観点を整理します。特にAzureを利用することを前提にシステムを構築する際のポイントも併せて紹介します。
ChatGPTを用いた企業内システム構築におけるデータ管理の心得
tech
企業内データを参照するChatGPTによる社内Q&Aシステムを構築または利用する際のデータ管理について特に注意すべき観点を整理します。特にAzureを利用することを前提にシステムを構築する際のポイントも併せて紹介します。
BIツール機能比較〜Tableau VS Looker Studio〜
tech
近年ではBIツールの需要が高まると同時に様々なBIツールが増えていますが、その中でもTableauとLooker Studioは利用者の多い主要ツールとなっています。そこで今回はTableauとLooker Studioを機能別に比較します。
Terraform Cloudを利用した、CI/CD戦略と最適なterraformディレクトリについて考えてみた。
tech
terraformリソースとクラウドへの適応は様々な手段がある。Actionsでクラウドにapplyされるなど、その中でも管理しやすいと考える、Terraform Cloudを利用したCI/CD及びterraformのディレクトリ設計及び、ブランチ戦略について紹介する。
TerraformとGitHub Actions(CI/CD)を用いたGitHub repositoryの管理
tech
今回は、TerraformのCI/CDをGitHub Actionsを利用して構築する方法についてご紹介します。Terraformを使ってGitHubのリポジトリを作成し、GitHub Actionsを使ってCI/CDを自動化する方法を実際の手順とともに解説します。この記事を読むことで、TerraformとGitHub Actionsを使った開発の流れを学習することができます．最終的には、以下の画像のように、GitHub上で管理されるリポジトリを作成することができます。
GitHub Actionsを用いてReactのサイトをGitHub Pagesに公開する方法
tech
今回はReactを使用したWebサイトの構築から、GitHub Actionsを利用した自動化ビルドやデプロイ、そしてGitHub Pagesでの公開方法まで、一連の流れを紹介します。この記事を読むことで、Reactを使用してWebサイトを作成する方法や、GitHub ActionsによるCI/CDの構築方法を学ぶことができます。最終的には、以下のようなWebサイトをGitHub Pages上で公開することができます。
【事例紹介】クックビズ株式会社様の分析環境の新規構築をお手伝いさせていただきました
tech case
フード関連業に特化した有料職業紹介事業などを提供するクックビズ株式会社様は、15周年を迎え、新コーポレートアイデンティティを制定など大きな変革を行っていました。本体機能とともに力をいれたのが分析環境の刷新であり、今後会社をデータから支える分析環境づくりの方法を模索されており、弊社ではデータ分析環境構築のお手伝いをさせていただきました。今回、弊社はこれらの課題に対してSinkCapitalのサポートを依頼してくださったデータチームの上岡さん・角田さん・宮川さんに導入結果や使用感について伺いました。
Pythonの因果分析ライブラリCausalNexの紹介
tech
ベイジアンネットワークは、ディープラーニング(深層学習)等とは違い変数間の因果関係を捉える事が出来るため、病気の原因分析、気象予測、マーケティングなどで活用されています。今回は、Pythonでのベイジアンネットワークを用いた因果分析について紹介します。
GCP上のWebログデータ処理パイプライン：生データ処理から機械学習まで
tech
不定期でGoogleCloudStorageにアップロードされているWebログデータに対し、毎日0時にComposer内ではDataprocがデータを前処理しBigqueryにアウトプットします。その後VertexAIにモデルのトレーニングを行い、処理完了後slackに結果を投げます。
世界各国で利用されるCRMツール、Hubspotを既存の自社サイトに対して導入してみました。
tech
世界各国で利用されるマーケティングプラットフォームツールであるHubspotを弊社の自社サイトに導入してみました。マーケティング、営業、カスタマーサービスなど様々なサービスがありますが、今回は主にサイト上でのリード獲得部分の導入について説明ささせていただければと思います。
海外で有名なデータ統合Saasプロダクトであるfivetranを利用してみました
tech
海外で有名なデータ統合Saasプロダクトであるfivetranを利用してデータ連携をしてみました。日本では類似のサービスとしてtroccoがありますが、troccoとの違いも整理していければと思っています。
【事例紹介】freee株式会社のデータ分析業務をお手伝いさせていただきました
tech case
人事労務・会計などを含むクラウドERPを提供するfreee株式会社（以下、freee）は、既存事業の伸びに加えて受発注やタスク管理など新規領域開拓も加わり成長を続けています。それに伴いデータ分析環境の保守管理や、データ利用者からの問い合わせ対応に取られる時間が増えてしまい、分析業務に当てる時間が圧迫されていました。今回、これらの課題に対してSinkCapitalのサポートを依頼してくださったAnalyticsチームの鎌田さん・福田さん・鈴木さんに導入結果や今後の見通しについて伺いました。
Pipedrive Web Formsでutmを取得する方法
tech
Pipedrive には、ウェブフォーム（Pipedrive Web Forms） という機能があります。今回はこの Pipedrive Web Forms の送信時に、utmを取得する方法についてまとめました。
データ周りで話題のdbt(data build tool)をBigQueryを使ってみました
tech
ETL・ELTのLoad部分を担うオープンソースサービスであるdbtを使ってみて、既存のサービスとの比較を行いました。既存のサービスにない多くの特徴を持っていますので、もし気になった方はぜひ見ていただければと思います。
【事例紹介】IVRy様の分析基盤データパイプラインの設計・開発をお手伝いさせていただきました
tech case
電話自動応答サービスを展開されているIVRy様に対し、弊社でデータパイプライン構築のお手伝いさせていただきました。その中で重視した考え方や設計思想、また構築後の使用感などを記事にまとめさせていただきましたので、データパイプラインをご検討中の方は是非ご参考にしていただけますと幸いです。
Snowflakeにterraformを導入する方法
tech
0からSnowflakeにterraformを導入した際の方法をご紹介します。Snowflake独自の注意点なども記載させていただきましたので、そちらもご参考いただけると幸いです。
BQにおけるSQL検算を効率化する無料chrome拡張機能をリリースいたしました
tech
BigQueryのjoin句を含むstandardSQLを入力することで、join前後でのレコード数の変化を返すSQLを自動でクリップボードにコピーする無料chrome拡張機能をリリースいたしました。
社内ドキュメントにNotionを導入して感じた事
tech
社内ドキュメントをNotionに寄せることで見えてきたメリット・デメリットをまとめていきたいと思います。また使う中で感じたいくつかの要望もまとめていこうと思います。
「BIツール」活用 超入門 Google Data Portalではじめるデータ集計・分析・可視化 第3章 BIツールに関する知識をつける
techinternlearning
【「BIツール」活用 超入門 Google Data Portalではじめるデータ集計・分析・可視化 第3章】現在長期インターンをさせてもらっているSinkCapitalさんの方で、データ系の業務に携わることになりそうなのですが、それの準備期間として紹介していただいた本をまとめていきたいと思います。
「BIツール」活用 超入門 Google Data Portalではじめるデータ集計・分析・可視化 第2章 さまざまな分析をしてみよう
techinternlearning
【「BIツール」活用 超入門 Google Data Portalではじめるデータ集計・分析・可視化 第2章】現在長期インターンをさせてもらっているSinkCapitalさんの方で、データ系の業務に携わることになりそうなのですが、それの準備期間として紹介していただいた本をまとめていきたいと思います。
「BIツール」活用 超入門 Google Data Portalではじめるデータ集計・分析・可視化 第1章 分析ダッシュボードを作ってみよう
techinternlearning
【「BIツール」活用 超入門 Google Data Portalではじめるデータ集計・分析・可視化 第1章】現在長期インターンをさせてもらっているSinkCapitalさんの方で、データ系の業務に携わることになりそうなのですが、それの準備期間として紹介していただいた本をまとめていきたいと思います。
Ruby on Rails チュートリアル第14章をやってみて & まとめ
techinternlearning
【Ruby on rails 第14章】インターン先の方から、「これやっとけば、だいぶいい感じだよ！」と言われたので、Ruby on railsのチュートリアルをやってみたいと思います。
Ruby on Rails チュートリアル第13章をやってみて
techinternlearning
【Ruby on rails 第13章】インターン先の方から、「これやっとけば、だいぶいい感じだよ！」と言われたので、Ruby on railsのチュートリアルをやってみたいと思います。
Ruby on Rails チュートリアル第12章をやってみて
techinternlearning
【Ruby on rails 第12章】インターン先の方から、「これやっとけば、だいぶいい感じだよ！」と言われたので、Ruby on railsのチュートリアルをやってみたいと思います。
Ruby on Rails チュートリアル第11章をやってみて
techinternlearning
【Ruby on rails 第11章】インターン先の方から、「これやっとけば、だいぶいい感じだよ！」と言われたので、Ruby on railsのチュートリアルをやってみたいと思います。
Ruby on Rails チュートリアル第10章をやってみて
techinternlearning
【Ruby on rails 第10章】インターン先の方から、「これやっとけば、だいぶいい感じだよ！」と言われたので、Ruby on railsのチュートリアルをやってみたいと思います。
Ruby on Rails チュートリアル第9章をやってみて
techinternlearning
【Ruby on rails 第9章】インターン先の方から、「これやっとけば、だいぶいい感じだよ！」と言われたので、Ruby on railsのチュートリアルをやってみたいと思います。
Ruby on Rails チュートリアル第8章をやってみて
techinternlearning
【Ruby on rails 第8章】インターン先の方から、「これやっとけば、だいぶいい感じだよ！」と言われたので、Ruby on railsのチュートリアルをやってみたいと思います。
Ruby on Rails チュートリアル第7章をやってみて
techinternlearning
【Ruby on rails 第7章】インターン先の方から、「これやっとけば、だいぶいい感じだよ！」と言われたので、Ruby on railsのチュートリアルをやってみたいと思います。
Ruby on Rails チュートリアル第6章をやってみて
techinternlearning
【Ruby on rails 第6章】インターン先の方から、「これやっとけば、だいぶいい感じだよ！」と言われたので、Ruby on railsのチュートリアルをやってみたいと思います。
Ruby on Rails チュートリアル第5章をやってみて
techinternlearning
【Ruby on rails 第5章】インターン先の方から、「これやっとけば、だいぶいい感じだよ！」と言われたので、Ruby on railsのチュートリアルをやってみたいと思います。
Ruby on Rails チュートリアル第4章をやってみて
techinternlearning
【Ruby on rails 第4章】インターン先の方から、「これやっとけば、だいぶいい感じだよ！」と言われたので、Ruby on railsのチュートリアルをやってみたいと思います。
Ruby on Rails チュートリアル第3章をやってみて
techinternlearning
【Ruby on rails 第3章】インターン先の方から、「これやっとけば、だいぶいい感じだよ！」と言われたので、Ruby on railsのチュートリアルをやってみたいと思います。
Ruby on Rails チュートリアル第2章をやってみて
techinternlearning
【Ruby on rails 第2章】インターン先の方から、「これやっとけば、だいぶいい感じだよ！」と言われたので、Ruby on railsのチュートリアルをやってみたいと思います。
Ruby on Rails チュートリアル第1章をやってみて & 自己紹介
techinternlearning
【Ruby on rails 第1章】インターン先の方から、「これやっとけば、だいぶいい感じだよ！」と言われたので、Ruby on railsのチュートリアルをやってみたいと思います。
Nuxt上でのd3を利用した散布図の作成方法
techdataAnalytics
クリック可能な散布図をNuxtjs上で作成する場合にd3.jsが汎用性が高く便利でした。利用するにあたって難しかった点などを備考録としてまとめています。
アクセスログを可視化しGAのデータを直感的に理解できる型態にする試み（ネットワーク型）
techdataAnalytics
ビジネスに活きる分析を進める上で弊社では「理解できる」ことを重要と考えており、特に直感的理解は可視化を進める上で特に重要だと考える内容の一つです。弊社では様々なお客様のデータ分析を進める上で常により示唆の大きい可視化を追求しており、今回はその中で最近試みているネットワーク側の可視化についてまとめたいと思います。
代表櫻井による特別講演会が白陵高等学校で開かれました
eventpersonal
2021年の夏に兵庫県の私立白陵高等学校において、代表櫻井による特別講演会を開催いたしました。今振り返って高校の頃の自分に伝えたいことについてお話しました。
Nuxtで動的ページを随時追加する場合にNot Foundとなる
tech
Nuxtで動的ページを登録する方法はありますが、登録後に随時コンテンツが追加される際はNot Foundとなってしまうので、そう言った際の対処方法について
GKEをやめてCloud Runを始めてみました
tech
firebaseで構築したシステムの裏で動かすバッチの負荷が大きく、cloud functionsで終わらなかったためCloud Runを利用してみました。動作確認までの知見等を雑多にまとめてみました。
AWSをやめてfirebaseを使い始めて感じたメリットやデメリットとそれの対応策(LT登壇内容)
techeventpersonal
みそかつウェブ・GDG Nagoya主催の「around firebase」とCloud Native Nagoya主演の「Cloud Native Nagoya」にてfirebaseのLTをさせていただきました。そこで会話させていただいたfirebaseを使い始めて感じたメリット・デメリットについてまとめています。
PWA+SPAのwebアプリ作成にnuxtjs+firebaseがめちゃ便利だった
tech
PWA＋SPAのwebアプリを作る際にnuxt.js＋firebaseを合わせて利用すると便利だったので知見を書き留めています
s3のhostingでPWAを導入する方法
tech
アプリ作成時にpwaが比較されることが多かったですが、実際にpwaを実装した経験がなかったため今回自社サイトをPWA化してみました。
dockerでseleniumを動かしてみる(chrome_headless)
tech
seleniumの相談をいただくことが増えたため、seleniumの勉強もかねてdockerでの実行テストを行いました
THE DECKのイベントにお邪魔させていただきました
eventpersonal
大学コンソーシアム大阪のイベント@The DECK にお邪魔してきました
flutter(dart)を触ってみた感想
tech
android向けアプリへの対応も考慮してflutter(dart)を触ってみたので、感想をまとめておこうと思います。理解が深まっていく中で定期的にまとめていければと思います。
代表本林による特別講演会が滝高校で開かれました
eventpersonal
2020年11月7日(土)愛知県の私立滝高校において、代表本林による特別講演会を開催いたしました。IT業界やデータサイエンスについてお話しました。
AWS・GCPを選ぶ際の観点
tech
AWSかGCPを選ぶ際の観点について書き留めておこうと思います
iosのcallkit周りでできること
tech
新規事業を検討する上でios(swift)の電話周りでできることを調査したため、調査結果をブログとして残しています。
総務省特定サービス産業実態調査のデータ分析
techdataAnalytics
総務省がAPIで市場データを公開しており、分析技術向上と市場感を養うことを目的に定期的に分析を行なっていこうと思います。今回は「特定サービス産業実態調査」について見ていこうと思います。
「お絵かきつみ木バトル」をリリースしました
techapp
タスク管理を二次元的に行うアプリ「お絵かきつみ木バトル」をリリースしました。SinkCapitalはデータコンサルですが、知見蓄積のため様々な媒体での実験的開発を行っています
総務省工業統計調査のデータ分析
techdataAnalytics
総務省がAPIで市場データを公開しており、分析技術向上と市場感を養うことを目的に定期的に分析を行なっていこうと思います。今回は「工業統計調査」について見ていこうと思います。
総務省サービス産業動向調査のデータ分析
techdataAnalytics
総務省がAPIで市場データを公開しており、分析技術向上と市場感を養うことを目的に定期的に分析を行なっていこうと思います。初回は「サービス産業動向調査」について見ていこうと思います。
タスク管理アプリ「タスククロス」をリリースしました
techapp
タスク管理を二次元的に行うアプリ「タスククロス」をリリースしました。SinkCapitalはデータコンサルですが、知見蓄積のため様々な媒体での実験的開発を行っています
【terraform】gcpでcicd環境を構築する方法
tech
企業サイトはAWSを利用しているのですが、要件によってはGCPの方が適している場合もあるため、GCPでのcicd構築も行いました。AWSと比較しつつ説明しているため是非ご参考にしてみてください。
【合格体験記】GCP_Cloud_Archtectに受かりました
personalqualification
Google Professional Cloud Architectに合格したので、勉強法別のコスパをまとめてみました。
AWSでサブドメインなし（wwwなし）からサブドメインあり（wwwあり）へのリダイレクト設定
tech
もともと企業サイトがサブドメインありで公開していたが、サブドメインなしでもエラーなく接続できるように設計。terraformで作成しているので是非ご参考ください。
マークダウンで記事を書けるようにしてみた
tech
ホームページのブログをマークダウンを使用してかけるようにしました。gatsbyなどもありますが、今回はお手製cicd＋pythonを使用してライトに作成しました。