GASでCompute Engineの時間に応じた自動停止/起動ツールを作成する 〜GASで簡単に好きなGoogle APIを叩く方法〜

2018/12/05
このエントリーをはてなブックマークに追加

Compute Engineの自動起動と自動停止

カブクで机に物が多いランキングのトップ争いをしている大橋です。

普段は早く帰ったり、GAE/Go、GAE/Pythonでサーバサイドを書いたり、TypeScriptでAngularJSやAngular(+ngrx)を書いたり、Apache Beamのジョブを書いたり、ComposerのDAGを書いたり、Jenkinsおじさんしたり、JIRAの整理したり、スケジュール考えたり、早く帰ったりしてます。フルスタックエンジニアではありません。

GCPでCompute Engineを利用して、開発サーバなどを運用していると、特定時刻にインスタンスを停止、再開したいことがあります。

例えば定時退社後にはCIサーバを止め、朝になったらサーバを再開するなどが考えられます。
特に弊社の場合CIサーバはかなりいいインスタンスを利用しているため、夜間停止ができると運用費が抑えられて幸せです。

しかし、2018/12/05現在のところGCPには自動起動/停止の機能はありません。
Cloud Schedulerや、AppEngineなどを併用することで作成できますが、正直めんどくさいです。

今回はGAS(Apps Script)とCompute Engine APIを利用して、手軽に自動起動/停止スケジューラを作成してみたいと思います。

なおこの記事は 「Google Cloud Platform その2 Advent Calendar 2018」5日目の記事でもあります。

先にまとめ

  • GASで手軽にGoogle APIを認証・認可するには、appsscript.jsonoauthScopesにスコープを追加して、 ScriptApp.getOAuthToken()でトークンを取得すると幸せになれる
  • あとは頑張る

GASとGoogle API

こういったAPIを叩くツールを作る際、もっとも気を重くさせるのはAPIとの認証部分です。
今どきはOAuth2.0などを利用して作るのでしょうが、認可フローを実装したり、アクセストークンやリフレッシュトークンの保存方法はどうするかなど、ちょっとしたツールを作るには面倒な話が多数存在します。
もちろんGoogle APIの場合サービスアカウントを利用した認証も可能ですが、JWTの作成など面倒なことが多いです。

GASの場合、SpreadsheetAppなどのGASの定義済みのサービス群については、コードを書いておけば実行時に認証・認可画面が表示され、アクセストークンやリクエストトークンの管理をGASのプラットフォーム側で行ってくれます。

実はこの「自動認証・認可」機能ですが、 GASに定義済みで無いGoogle API についても、アクセストークンを取得することができます。

GASに未定義なGoogle APIを認可する (GASのアクセストークンに任意のScopeを追加する)

GASに未定義なGoogle APIを認可するには、正確な言葉で言うならば「GASのアクセストークンに任意のScopeを追加する」には、
GASのマニフェストファイル appsscript.json を編集します。

GASのマニフェストファイルは2017年10月頃に追加されたGASの機能で、GASプロジェクトの設定を定義することができるJSONファイルです。
マニフェストファイルを参照するには、Script Editor上のメニューで「表示」→「マニフェストファイルを表示」を選択します。

マニフェストファイルを表示すると、Script Editor内の左にあるファイル一覧中に「appsscript.json」が表示されます。

任意のGoogle APIのスコープを追加するには、このJSONに oauthScopesというプロパティを追加し、スコープを記述します。
今回はCompute Engine APIの instances.getinstances.startinstances.stop を行いたいので、 https://www.googleapis.com/auth/cloud-platformhttps://www.googleapis.com/auth/computeを追加します。

appsscript.json

{
  "timeZone": "Asia/Tokyo",
  "exceptionLogging": "STACKDRIVER",
  "oauthScopes": [
    "https://www.googleapis.com/auth/script.external_request",
    "https://www.googleapis.com/auth/spreadsheets.currentonly", 
    "https://www.googleapis.com/auth/userinfo.email",
    "https://www.googleapis.com/auth/cloud-platform", 
    "https://www.googleapis.com/auth/compute"
  ]
}

マニフェストファイルを保存後、適当なスクリプトを実行すると、認可画面が表示され、対象のAPIスコープが追加されているのが確認できます。

このまま認可を行えばGASに対して、任意のScopeを認可できます。

トークンを取得する

GASで認可済みのアクセストークンを取得するには ScriptApp.getOAuthToken()を呼び出します。

function getAccessToken() {
    var token = ScriptApp.getOAuthToken();
    Logger.log(token);
}

とても簡単にCompute Engine APIを起動するためのアクセストークンが取得できました。

スケジューラを作る

スプレッドシートを作成する

認証・認可部分が解決したので、スプレッドシートの作成と、コードを書いていきます。
まずスプレッドシートを作成します。
Compute Engine APIを呼び出すのに必要な、プロジェクト名、ゾーン、インスタンス名と、停止・起動時間を設定できるようにします。

※無駄なセルは消しています。 微妙に表示速度が速くなります。

コードを書く

上記appscript.jsonを作成・認可しておき、下のコードをScript Editorに作成します。

function test() {
  instanceScheduler({
    year: 2018,
    month: 12,
    'day-of-month': 5,
    hour: 22,
    minute: 59,
    second: 00,
    timezone: 'JST'
  });
}

var GET_INSTANCES_URL_FORMAT = "https://www.googleapis.com/compute/v1/projects/%s/zones/%s/instances/%s";
var STOP_INSTANCES_URL_FORMAT = "https://www.googleapis.com/compute/v1/projects/%s/zones/%s/instances/%s/stop";
var START_INSTANCES_URL_FORMAT = "https://www.googleapis.com/compute/v1/projects/%s/zones/%s/instances/%s/start";


function instanceScheduler(e) {
  var token = ScriptApp.getOAuthToken();
  var rows = SpreadsheetApp.getActive().getSheetByName("schedule").getDataRange().getValues();
  rows.splice(0, 1);
  var now = new Date(e.year, e.month - 1, e['day-of-month'], e.hour, e.minute, e.second); //maybe UTC
  if (e.tiezone === 'UTC' && now.getTimezoneOffset() !== 0) {
    now.setTime(now.getTime() + now.getTimezoneOffset() * 60 * 1000); // JST
  }
  var nowTime = getTodayTime(now, now);

  // 重複を除いて、Compute Engine APIのinstances.getのURLを作成
  var urls = rows
  .filter(function(row) {
    return !!row[0];
  })
  .map(function(row) {
    return Utilities.formatString(GET_INSTANCES_URL_FORMAT, row[0], row[1], row[2]);
  })
  .filter(function(v, i, a) {
    return a.indexOf(v) === i;
  });

  // 一気にリクエスト投げるためにRequestオブジェクトの配列を作成
  var requests = urls.map(function(url) {
    return {url: url, muteHttpExceptions: true, method: "get", headers: {'Authorization': 'Bearer ' + token}};
  });

  // 一旦エラー処理は書いてないです。
  var instancesRequest = UrlFetchApp.fetchAll(requests);

  // selfLinkごとのインスタンス状況を作成
  var instanceMap = instancesRequest.map(function(res) {
    return JSON.parse(res.getContentText());
  }).reduce(function(map, resJson) {
    map[resJson.selfLink] = resJson;
    return map;
  }, {});

  // 一括で処理するためにRequestオブジェクトの配列を準備
  var requests = [];
  for (var i = 0; i < rows.length; i++) {
    var row = rows[i];
    var instanceUrl = Utilities.formatString(GET_INSTANCES_URL_FORMAT, row[0], row[1], row[2]);

    // インスタンスの状況を取得
    var instance = instanceMap[instanceUrl];

    if (!instance) {
      continue;
    }

    var setting = {
      project: row[0],
      zone: row[1],
      instance: row[2],
      stop: row[3],
      start: row[4]
    };

    // 設定されてない場合はスキップ
    if (!setting.stop || setting.stop == "" || !setting.start || setting.start == "") {
      continue;
    }

    // STOP: 23:00 START: 1:00 みたいな場合に 12/24 23:00 12/25 1:00 のようにする
    if (setting.stop.getTime() > setting.start.getTime()) {
      var stopTime = getTodayTime(now, setting.stop).getTime();
      var startTime = getTodayTime(now, setting.start).getTime() + 24 * 60 * 60 * 1000;
    } else {
      var stopTime = getTodayTime(now, setting.stop).getTime();
      var startTime = getTodayTime(now, setting.start).getTime();
    }

    // RUNNINGの場合は停止時間に入っているかをチェック
    if (instance.status === "RUNNING" && stopTime <= nowTime && nowTime < startTime) {
      console.log("%s will be stop", instanceUrl);
      requests.push({
        url: Utilities.formatString(STOP_INSTANCES_URL_FORMAT, setting.project, setting.zone, setting.instance),
        muteHttpExceptions: true, 
        method: "post", 
        headers: {'Authorization': 'Bearer ' + token}
      });
    } else if ((instance.status === "STOPPED" || instance.status === "TERMINATED") && (stopTime < nowTime || startTime >= nowTime)){
      // 停止中の場合は停止時間に入っているかをチェック
      console.log("%s will be start", instanceUrl);
      requests.push({
        url: Utilities.formatString(START_INSTANCES_URL_FORMAT, setting.project, setting.zone, setting.instance),
        muteHttpExceptions: true,
        method: "post",
        headers: {'Authorization': 'Bearer ' + token}
      });
    }
  }

  // 依頼を投げる 重複した時刻、矛盾した時刻は考慮してないのでもう少し詰めたほうがいいはず
  var results = UrlFetchApp.fetchAll(requests);

}

function getTodayTime(now, date) {
  return new Date(now.getFullYear(), now.getMonth(), now.getDate(), date.getHours(), date.getMinutes(), date.getSeconds());
}

時間トリガーを設定する

Script Editorツールバーにある「現在のプロジェクトのトリガー」ボタンを押下して、「G Suite Developer Hub(旧: Apps Script Dashboard)」のトリガー画面を表示します。

今回は5分に一回程度スクリプトが起動するように設定します。 (もっと間隔が短くてもいいと思います。)

まとめ

今回はGCEの自動起動、停止スケジューラを作成しました。
様々なタスクを自動化できると1秒でも早く帰れて嬉しいですね。

なお今回のスクリプトはまだ十分にテストがされていないため、利用する場合は自己責任でお願いいたします。

その他の記事

Other Articles

2019/06/25
カブクエンジニア開発合宿に行ってきました 2019夏


Hola! KubeCon Europe 2019の参加レポート

2019/06/19
Clean Resume きれいな環境できれいな履歴書を作成する

2019/05/20
[Web フロントエンド] 状態更新ロジックをフレームワークから独立させる

2019/04/16
C++のenable_shared_from_thisを使う

2019/04/12
OpenAPI 3 ファーストな Web アプリケーション開発(Python で API 編)

2019/04/08
WebGLでレイマーチングを使ったCSGを実現する

2019/04/02
『エンジニア採用最前線』に感化されて2週間でエンジニア主導の求人票更新フローを構築した話

2019/03/29
その1 Jetson TX2でk3s(枯山水)を動かしてみた

2019/03/27
任意のブラウザ上でJestで書いたテストを実行する

2019/02/08
TypeScript で “radian” と “degree” を間違えないようにする

2019/02/05
Python3でGoogle Cloud ML Engineをローカルで動作する方法

2019/01/18
SIGGRAPH Asia 2018 参加レポート

2019/01/08
お正月だョ!ECMAScript Proposal全員集合!!

2019/01/08
カブクエンジニア開発合宿に行ってきました 2018秋

2018/12/25
OpenAPI 3 ファーストな Web アプリケーション開発(環境編)

2018/12/23
いまMLKitカスタムモデル(TF Lite)は使えるのか

2018/12/21
[IoT] Docker on JetsonでMQTTを使ってCloud IoT Coreと通信する

2018/12/11
TypeScriptで実現する型安全な多言語対応(Angularを例に)

2018/12/02
single quotes な Black を vendoring して packaging

2018/11/14
3次元データに2次元データの深層学習の技術(Inception V3, ResNet)を適用

2018/11/04
Node Knockout 2018 に参戦しました

2018/10/24
SIGGRAPH 2018参加レポート-後編(VR/AR)

2018/10/11
Angular 4アプリケーションをAngular 6に移行する

2018/10/05
SIGGRAPH 2018参加レポート-特別編(VR@50)

2018/10/03
Three.jsでVRしたい

2018/10/02
SIGGRAPH 2018参加レポート-前編

2018/09/27
ズーム可能なSVGを実装する方法の解説

2018/09/25
Kerasを用いた複数入力モデル精度向上のためのTips

2018/09/21
競技プログラミングの勉強会を開催している話

2018/09/19
Ladder Netwoksによる半教師あり学習

2018/08/10
「Maker Faire Tokyo 2018」に出展しました

2018/08/02
Kerasを用いた複数時系列データを1つの深層学習モデルで学習させる方法

2018/07/26
Apollo GraphQLでWebサービスを開発してわかったこと

2018/07/19
【深層学習】時系列データに対する1次元畳み込み層の出力を可視化

2018/07/11
きたない requirements.txt から Pipenv への移行

2018/06/26
CSS Houdiniを味見する

2018/06/25
不確実性を考慮した時系列データ予測

2018/06/20
Google Colaboratory を自分のマシンで走らせる

2018/06/18
Go言語でWebAssembly

2018/06/15
カブクエンジニア開発合宿に行ってきました 2018春

2018/06/08
2018 年の tree shaking

2018/06/07
隠れマルコフモデル 入門

2018/05/30
DASKによる探索的データ分析(EDA)

2018/05/10
TensorFlowをソースからビルドする方法とその効果

2018/04/23
EGLとOpenGLを使用するコードのビルド方法〜libGLからlibOpenGLへ

2018/04/23
技術書典4にサークル参加してきました

2018/04/13
Python で Cura をバッチ実行するためには

2018/04/04
ARCoreで3Dプリント風エフェクトを実現する〜呪文による積層造形映像制作の舞台裏〜

2018/04/02
深層学習を用いた時系列データにおける異常検知

2018/04/01
音声ユーザーインターフェースを用いた新方式積層造形装置の提案

2018/03/31
Container builderでコンテナイメージをBuildしてSlackで結果を受け取る開発スタイルが捗る

2018/03/23
ngUpgrade を使って AngularJS から Angular に移行

2018/03/14
Three.jsのパフォーマンスTips

2018/02/14
C++17の新機能を試す〜その1「3次元版hypot」

2018/01/17
時系列データにおける異常検知

2018/01/11
異常検知の基礎

2018/01/09
three.ar.jsを使ったスマホAR入門

2017/12/17
Python OpenAPIライブラリ bravado-core の発展的な使い方

2017/12/15
WebAssembly(wat)を手書きする

2017/12/14
AngularJS を Angular に移行: ng-annotate 相当の機能を TypeScrpt ファイルに適用

2017/12/08
Android Thingsで4足ロボットを作る ~ Android ThingsとPCA9685でサーボ制御)

2017/12/06
Raspberry PIとDialogflow & Google Cloud Platformを利用した、3Dプリンターボット(仮)の開発 (概要編)

2017/11/20
カブクエンジニア開発合宿に行ってきました 2017秋

2017/10/19
Android Thingsを使って3Dプリント戦車を作ろう ① ハードウェア準備編

2017/10/13
第2回 魁!! GPUクラスタ on GKE ~PodからGPUを使う編~

2017/10/05
第1回 魁!! GPUクラスタ on GKE ~GPUクラスタ構築編~

2017/09/13
「Maker Faire Tokyo 2017」に出展しました。

2017/09/11
PyConJP2017に参加しました

2017/09/08
bravado-coreによるOpenAPIを利用したPythonアプリケーション開発

2017/08/23
OpenAPIのご紹介

2017/08/18
EuroPython2017で2名登壇しました。

2017/07/26
3DプリンターでLチカ

2017/07/03
Three.js r86で何が変わったのか

2017/06/21
3次元データへの深層学習の適用

2017/06/01
カブクエンジニア開発合宿に行ってきました 2017春

2017/05/08
Three.js r85で何が変わったのか

2017/04/10
GCPのGPUインスタンスでレンダリングを高速化

2017/02/07
Three.js r84で何が変わったのか

2017/01/27
Google App EngineのFlexible EnvironmentにTmpfsを導入する

2016/12/21
Three.js r83で何が変わったのか

2016/12/02
Three.jsでのクリッピング平面の利用

2016/11/08
Three.js r82で何が変わったのか

2016/12/17
SIGGRAPH 2016 レポート

2016/11/02
カブクエンジニア開発合宿に行ってきました 2016秋

2016/10/28
PyConJP2016 行きました

2016/10/17
EuroPython2016で登壇しました

2016/10/13
Angular 2.0.0ファイナルへのアップグレード

2016/10/04
Three.js r81で何が変わったのか

2016/09/14
カブクのエンジニアインターンシッププログラムについての詩

2016/09/05
カブクのエンジニアインターンとして3ヶ月でやった事 〜高橋知成の場合〜

2016/08/30
Three.js r80で何が変わったのか

2016/07/15
Three.js r79で何が変わったのか

2016/06/02
Vulkanを試してみた

2016/05/20
MakerGoの作り方

2016/05/08
TensorFlow on DockerでGPUを使えるようにする方法

2016/04/27
Blenderの3DデータをMinecraftに送りこむ

2016/04/20
Tensorflowを使ったDeep LearningにおけるGPU性能調査

→
←

関連職種

Recruit

バックエンドエンジニア(Python・Go)

業務内容

当ポジションは弊社Webサービスのバックエンド機能設計及び実装を担当します。 サービス毎の開発チームで2週間スプリントのスクラム開発を実施しています。 週次で開発チームミーティングを実施し、実装設計の相談や工数見積もりを行います。 全ての開発コードはレビューと自動テストによって品質を保っています。 また、リファクタリングやフレームワークのバージョンアップも開発フローに組込み、技術的負債を放置しない開発を目指しています。

フロントエンドエンジニア(TypeScript)

業務内容

当ポジションは弊社Webサービスのフロントエンド機能設計及び実装を担当します。 サービス毎の開発チームで2週間スプリントのスクラム開発を実施しています。 週次で開発チームミーティングを実施し、実装設計の相談や工数見積もりを行います。 全ての開発コードはレビューと自動テストによって品質を保っています。 また、リファクタリングやフレームワークのバージョンアップも開発フローに組込み、技術的負債を放置しない開発を目指しています。

機械学習エンジニア

業務内容

センサーデータの分析モデルの調査・研究・開発。 Kabuku Connectの製造データ(3D、2D)から情報を抽出するモデルの構築。 データの前処理や学習、ハイパーパラメータチューニング、獲得モデルの評価、プロダクションのデータパイプラインとの連携をお願いします。

インターン(Webエンジニア)

業務内容

業務から独立した、調査・研究系のタスクをおまかせしています。コードレビュー、 社内での報告会、 ブログ記事執筆を通して着実にスキルアップしていただくことを目指しています。 (希望があれば、プロダクトの開発業務もおまかせします。)

→
←

お客様のご要望に「Kabuku」はお応えいたします。
ぜひお気軽にご相談ください。

お電話でも受け付けております
03-6380-2750
営業時間:09:30~18:00
※土日祝は除く