Container builderでコンテナイメージをBuildしてSlackで結果を受け取る開発スタイルが捗る

2018/03/31
このエントリーをはてなブックマークに追加

はい、ドーモ。自称Container builder普及委員会の吉海です。Container BuilderはGCPが提供しているクラウドなコンテナイメージのビルド環境です。フルマネージドサービスなので、導入コストも運用コストも低いのが嬉しいポイントです。

今回はそんなContainer builderを使った捗る開発スタイルをご紹介したいと思います。

本記事はこんな読者がターゲットです。

  • ローカルでひたすらDocker buildとpushを繰り返す日々に疲れた方
  • 開発効率を上げたい方

それでは、本題に入りたいと思います。今回紹介する開発スタイルは図にすると下記になります。

これは、開発者がgcloud container builds submitコマンドを開発マシンで叩くことで、クラウドのContainer builder上でDockerコンテナイメージのビルドとプッシュが自動で行われる仕組みです。ビルドとプッシュが終わると結果をslackに通知してくれるようになっています。

メリットとしてはbuildが行われるのがクラウドなので、開発マシンに負荷がかからないのと、buildとpushがワンコマンドで済む点があります。
デメリットとしては、ローカルのファイルをtarに圧縮して転送するための時間がかかるのとCloud builderの利用料金が発生することです。ただ、料金に関しては$0.003/ビルド分※1で、1日あたり120ビルド分は無料になるので、気にする必要はあまりなさそうです。

手順

  • Slackへ通知
  • Container builderのcloudbuild.yamlの作成

まず最初に、Google Cloud Functions使ってContainer biulderの結果をSlackに通知する仕組みを作ります。次にdocker buildに指定したい様々オプションをcloudbuild.yamlで定義していきます。
最後に使い方の説明としてgcloud container builds submitのコマンドをご紹介します。

Slackへ通知

Slackへ通知は、Container builderのステータスが変更されると、その内容がCloud Pub/Subのトピックにメッセージが公開され、それをトリガーにCloud functionsが実行される流れになります。
Cloud Pub/SubはGoogleが提供しているリアルタイム メッセージング サービスになります。本来はPub/Subを使う上でトピックというものを作る必要がありますが、Container builderのトピックは自動的に作成されるため、Cloud Pub/Subのセットアップに関してはCloud Pub/Subを有効にするのみで他に必要な手順はないはずです。
ちなみにトリガーとなるビルドのステータスは下記の通りです。

  • STATUS_UNKNOWN
  • QUEUED
  • WORKING
  • SUCCESS
  • FAILURE
  • INTERNAL_ERROR
  • TIMEOUT
  • CANCELLED

詳細は公式ドキュメントをご覧下さい。ビルドステータス

今回は、このステータスがSUCCESSかそうでないかで、Slackへの通知内容を変化させたいと思います。

Cloud Functionsのセットアップを含めた具体的な手順に関しては、GCPの公式ドキュメントで解説されているので、ここでは全ての手順は解説せずに、Cloud functionsにデプロイするコードの内容にフォーカスして説明していきます。

デプロイするコードは下記になります。

const IncomingWebhook = require('@slack/client').IncomingWebhook; const SLACK_WEBHOOK_URL = "[YOUR_SLACK_WEBHOOK]" const webhook = new IncomingWebhook(SLACK_WEBHOOK_URL); // subscribe is the main function called by Cloud Functions. module.exports.subscribe = (event, callback) => { const build = eventToBuild(event.data.data); // Skip if the current status is not in the status list. // Add additional statuses to list if you'd like: // QUEUED, WORKING, SUCCESS, FAILURE, // INTERNAL_ERROR, TIMEOUT, CANCELLED const status = ['SUCCESS', 'FAILURE', 'INTERNAL_ERROR', 'TIMEOUT']; if (status.indexOf(build.status) === -1) { return callback(); } // Send message to Slack. const message = createSlackMessage(build); webhook.send(message, (err, res) => { if (err) console.log('Error:', err); callback(err); }); }; // eventToBuild transforms pubsub event message to a build object. const eventToBuild = (data) => { return JSON.parse(new Buffer(data, 'base64').toString()); } // createSlackMessage creates a message from a build object. const createSlackMessage = (build) => { let color = ""; let text; if (build.status === "SUCCESS") { color = "good"; text = "<@user> 終ったで"; } else { color ="danger"; text = "<@user> 何気ないsubmitがContainer Builderをきずつけた"; } let message = { mrkdwn: true, username:`Container builder ${build.id}`, text: text, attachments: [ { title: `Build Status: ${build.status}`, title_link: build.logUrl, color: color, } ] }; return message }

これはcreateSlackMessageの関数以外は公式ドキュメントにあるコードと同じ内容になります。このコードはビルドのステータスが’SUCCESS’, ‘FAILURE’, ‘INTERNAL_ERROR’, ‘TIMEOUT’の場合のみに通知するようになっています。なのでビルドの結果だけが通知される形です。
createSlackMessageに関しては下記の機能を実現したいので一部変更しています。

  • 投稿されるメッセージを2行に圧縮(修正前は4行)。行数が少ないほうが視認性が高いので好きです。
  • Successの時はメッセージの色を緑に、それ以外の場合は、特定のユーザー@userにリプライをするように

    createSlackMessageは、主にSlackのAPIを叩いてメッセージをポストしているだけです。もし投稿されるメッセージのフォーマットを変更したい場合は、Slack APIのchat.postMessageのドキュメントページをご覧下さい。ちなみに僕は、ユーザーにリプライを飛ばしたい場合は<>でユーザー名を囲う必要があることを知らず少しハマりました。@userだけだとリプライになりません。

cloudbuild.yamlの作成

cloudbuild.yamlはContainer Builderのビルドリクエストを定義するためのものです。ビルドリクエストには、Container BuilderがDockerコンテナイメージを作成するために必要な指示が盛り込まれています。今回はDocker buildのオプションを色々と設定したいために作成します。
buildのオプションを特に設定しないのであれば、cloudbuild.yamlを定義することなく、Container Builderのコマンドを使うことも出来ます。

今回、サンプルとして紹介するcloudbuild.yamlは下記になります。

timeout: 3600s steps: - name: 'gcr.io/cloud-builders/docker' args: ["build", "-t", "gcr.io/bobunemimimmi/eisaiharamasu:${_VERSION}", "--build-arg", "FROM_TAG=latest", "-f", "test.dockerfile", "."] images: - 'gcr.io/bobunemimimmi/eisaiharamasu:${_VERSION}'

上から解説していきます。
まずtimeoutというオプションですが、これは名前の通りContainer builderのタイムアウトの設定です。設定している理由としては、Container Builderのデフォルトのタイムアウトの時間が10分と短くタイムアウトによるビルドの失敗が多発したので設定してあります。

次にstepsですが、ここにはCloud Builderで実行したいDockerイメージを指定します。今回行いたいのはbuildだけなので、Dockerコマンド実行用の’gcr.io/cloud-builders/docker’というイメージを指定して、argsにbuildコマンドとその引数を指定しています。ちなみに${_VERSION}というのは、独自に定義した変数で、この変数をgcloud container builds submitに指定することで変数の値を設定することが出来るようになります。今回は、gcloud container builds submit時に任意のバージョンを変数として渡し、そのバージョンと同じタグをイメージのタグに設定したいために使っています。

imagesではpushしたいイメージを指定します。今回は上のstepでビルドしたイメージをpushしたいので、buildの-tオプションで指定したイメージを指定しています。そのため、このcloudbuild.yamlを実行してデプロイされるイメージはgcr.io/bobunemimimmi/eisaiharamasu:${_VERSION}になります。

余談ですが、Container builderで使える様々な用途のDockerコンテナイメージがオフィシャルで公開されています。これらを使うことで簡単に、gcloudやkubectlなどのコマンドを実行することが出来るようになっています。何かContainer builderでやりたいことがあれば、まずはこちらのレポジトリを確認してみるのがオススメです。
cloud-builders

使い方

次に使い方として、コマンドについて解説しています。
下記のコマンドを一発叩くだけで、Dockerイメージのビルド及びプッシュ、完了後のSlack通知が行われます。

gcloud container builds submit --config=cloudbuild.yaml --substitutions _VERSION=v16 .

–configでcloudbuild.yamlを指定して、 –substitutionsで_VERSIONの変数にv16を設定しています。コマンド最後の.はDocker buildのコンテキストの指定で、これはコマンドを実行したディレクトリのファイル群が、buildのコンテキストとして、Container builderに送信されます。

まとめ

これで捗る開発スタイルの解説は終わりになります。一見すると地味なのですが、こういうちょい便利なのを使っていくと幸せになるのでおすすめです。Container Builderはコマンドを叩く以外にもGit レポジトリのPushをトリガーにすることも出来るので、皆さんで色々と試して見て下さい。

最後になりますが、弊社ではGCPが大好きで考えるだけで、ヨダレが出てしまう(出なくても可)エンジニアを大募集しています。ビビッと来た方はまずは、弊社のWantedlyのページを御覧ください。気に入って貰えたら「話を聞きに行きたい」のボタンを押して貰えると嬉しいです。

※1 Container Builderのマシンタイプがn1-standard-1の場合 料金

その他の記事

Other Articles

2019/09/20
Kabuku Connect 即時見積機能のバックエンド開発

2019/08/14
Maker Faire Tokyo 2019でARゲームを出展しました

2019/07/25
夏休みだョ!WebAssembly Proposal全員集合!!

2019/07/08
鵜呑みにしないで! —— 書籍『クリーンアーキテクチャ』所感 ≪null 篇≫

2019/07/03
W3C Workshop on Web Games参加レポート

2019/06/28
TypeScriptでObject.assign()に正しい型をつける

2019/06/25
カブクエンジニア開発合宿に行ってきました 2019夏

2019/06/21
Hola! KubeCon Europe 2019の参加レポート

2019/06/19
Clean Resume きれいな環境できれいな履歴書を作成する

2019/05/20
[Web フロントエンド] 状態更新ロジックをフレームワークから独立させる

2019/04/16
C++のenable_shared_from_thisを使う

2019/04/12
OpenAPI 3 ファーストな Web アプリケーション開発(Python で API 編)

2019/04/08
WebGLでレイマーチングを使ったCSGを実現する

2019/04/02
『エンジニア採用最前線』に感化されて2週間でエンジニア主導の求人票更新フローを構築した話

2019/03/29
その1 Jetson TX2でk3s(枯山水)を動かしてみた

2019/03/27
任意のブラウザ上でJestで書いたテストを実行する

2019/02/08
TypeScript で “radian” と “degree” を間違えないようにする

2019/02/05
Python3でGoogle Cloud ML Engineをローカルで動作する方法

2019/01/18
SIGGRAPH Asia 2018 参加レポート

2019/01/08
お正月だョ!ECMAScript Proposal全員集合!!

2019/01/08
カブクエンジニア開発合宿に行ってきました 2018秋

2018/12/25
OpenAPI 3 ファーストな Web アプリケーション開発(環境編)

2018/12/23
いまMLKitカスタムモデル(TF Lite)は使えるのか

2018/12/21
[IoT] Docker on JetsonでMQTTを使ってCloud IoT Coreと通信する

2018/12/11
TypeScriptで実現する型安全な多言語対応(Angularを例に)

2018/12/05
GASでCompute Engineの時間に応じた自動停止/起動ツールを作成する 〜GASで簡単に好きなGoogle APIを叩く方法〜

2018/12/02
single quotes な Black を vendoring して packaging

2018/11/14
3次元データに2次元データの深層学習の技術(Inception V3, ResNet)を適用

2018/11/04
Node Knockout 2018 に参戦しました

2018/10/24
SIGGRAPH 2018参加レポート-後編(VR/AR)

2018/10/11
Angular 4アプリケーションをAngular 6に移行する

2018/10/05
SIGGRAPH 2018参加レポート-特別編(VR@50)

2018/10/03
Three.jsでVRしたい

2018/10/02
SIGGRAPH 2018参加レポート-前編

2018/09/27
ズーム可能なSVGを実装する方法の解説

2018/09/25
Kerasを用いた複数入力モデル精度向上のためのTips

2018/09/21
競技プログラミングの勉強会を開催している話

2018/09/19
Ladder Netwoksによる半教師あり学習

2018/08/10
「Maker Faire Tokyo 2018」に出展しました

2018/08/02
Kerasを用いた複数時系列データを1つの深層学習モデルで学習させる方法

2018/07/26
Apollo GraphQLでWebサービスを開発してわかったこと

2018/07/19
【深層学習】時系列データに対する1次元畳み込み層の出力を可視化

2018/07/11
きたない requirements.txt から Pipenv への移行

2018/06/26
CSS Houdiniを味見する

2018/06/25
不確実性を考慮した時系列データ予測

2018/06/20
Google Colaboratory を自分のマシンで走らせる

2018/06/18
Go言語でWebAssembly

2018/06/15
カブクエンジニア開発合宿に行ってきました 2018春

2018/06/08
2018 年の tree shaking

2018/06/07
隠れマルコフモデル 入門

2018/05/30
DASKによる探索的データ分析(EDA)

2018/05/10
TensorFlowをソースからビルドする方法とその効果

2018/04/23
EGLとOpenGLを使用するコードのビルド方法〜libGLからlibOpenGLへ

2018/04/23
技術書典4にサークル参加してきました

2018/04/13
Python で Cura をバッチ実行するためには

2018/04/04
ARCoreで3Dプリント風エフェクトを実現する〜呪文による積層造形映像制作の舞台裏〜

2018/04/02
深層学習を用いた時系列データにおける異常検知

2018/04/01
音声ユーザーインターフェースを用いた新方式積層造形装置の提案

2018/03/23
ngUpgrade を使って AngularJS から Angular に移行

2018/03/14
Three.jsのパフォーマンスTips

2018/02/14
C++17の新機能を試す〜その1「3次元版hypot」

2018/01/17
時系列データにおける異常検知

2018/01/11
異常検知の基礎

2018/01/09
three.ar.jsを使ったスマホAR入門

2017/12/17
Python OpenAPIライブラリ bravado-core の発展的な使い方

2017/12/15
WebAssembly(wat)を手書きする

2017/12/14
AngularJS を Angular に移行: ng-annotate 相当の機能を TypeScrpt ファイルに適用

2017/12/08
Android Thingsで4足ロボットを作る ~ Android ThingsとPCA9685でサーボ制御)

2017/12/06
Raspberry PIとDialogflow & Google Cloud Platformを利用した、3Dプリンターボット(仮)の開発 (概要編)

2017/11/20
カブクエンジニア開発合宿に行ってきました 2017秋

2017/10/19
Android Thingsを使って3Dプリント戦車を作ろう ① ハードウェア準備編

2017/10/13
第2回 魁!! GPUクラスタ on GKE ~PodからGPUを使う編~

2017/10/05
第1回 魁!! GPUクラスタ on GKE ~GPUクラスタ構築編~

2017/09/13
「Maker Faire Tokyo 2017」に出展しました。

2017/09/11
PyConJP2017に参加しました

2017/09/08
bravado-coreによるOpenAPIを利用したPythonアプリケーション開発

2017/08/23
OpenAPIのご紹介

2017/08/18
EuroPython2017で2名登壇しました。

2017/07/26
3DプリンターでLチカ

2017/07/03
Three.js r86で何が変わったのか

2017/06/21
3次元データへの深層学習の適用

2017/06/01
カブクエンジニア開発合宿に行ってきました 2017春

2017/05/08
Three.js r85で何が変わったのか

2017/04/10
GCPのGPUインスタンスでレンダリングを高速化

2017/02/07
Three.js r84で何が変わったのか

2017/01/27
Google App EngineのFlexible EnvironmentにTmpfsを導入する

2016/12/21
Three.js r83で何が変わったのか

2016/12/02
Three.jsでのクリッピング平面の利用

2016/11/08
Three.js r82で何が変わったのか

2016/12/17
SIGGRAPH 2016 レポート

2016/11/02
カブクエンジニア開発合宿に行ってきました 2016秋

2016/10/28
PyConJP2016 行きました

2016/10/17
EuroPython2016で登壇しました

2016/10/13
Angular 2.0.0ファイナルへのアップグレード

2016/10/04
Three.js r81で何が変わったのか

2016/09/14
カブクのエンジニアインターンシッププログラムについての詩

2016/09/05
カブクのエンジニアインターンとして3ヶ月でやった事 〜高橋知成の場合〜

2016/08/30
Three.js r80で何が変わったのか

2016/07/15
Three.js r79で何が変わったのか

2016/06/02
Vulkanを試してみた

2016/05/20
MakerGoの作り方

2016/05/08
TensorFlow on DockerでGPUを使えるようにする方法

2016/04/27
Blenderの3DデータをMinecraftに送りこむ

2016/04/20
Tensorflowを使ったDeep LearningにおけるGPU性能調査

→
←

関連職種

Recruit

フロントエンドエンジニア(TypeScript)

業務内容

当ポジションは弊社Webサービスのフロントエンド機能設計及び実装を担当します。 サービス毎の開発チームで2週間スプリントのスクラム開発を実施しています。 週次で開発チームミーティングを実施し、実装設計の相談や工数見積もりを行います。 全ての開発コードはレビューと自動テストによって品質を保っています。 また、リファクタリングやフレームワークのバージョンアップも開発フローに組込み、技術的負債を放置しない開発を目指しています。

インターン(Webエンジニア)

業務内容

業務から独立した、調査・研究系のタスクをおまかせしています。コードレビュー、 社内での報告会、 ブログ記事執筆を通して着実にスキルアップしていただくことを目指しています。 (希望があれば、プロダクトの開発業務もおまかせします。)

→
←

お客様のご要望に「Kabuku」はお応えいたします。
ぜひお気軽にご相談ください。

お電話でも受け付けております
03-6380-2750
営業時間:09:30~18:00
※土日祝は除く