Python3でGoogle Cloud ML Engineをローカルで動作する方法

2019/02/05
このエントリーをはてなブックマークに追加

はじめに

カブクで機械学習エンジニアをしている大串正矢です。今回はPython3でGoogle Cloud Machine Learning Engine(以下:ML Engineと略称)をローカルで動作する方法について書きます。

背景

機械学習モデルをサービスとして運用する場合、モデルが必要なタイミングに毎回、人手で環境を構築してモデルを作成するのは時間、人的リソースの観点もあり適切ではありません。

Googleから提供されているサービスであるML Engineを使用すれば環境構築の自動化、モデル作成に必要な時間だけインスタンス確保まで行ってくれます。

またクラウドで動作する前にローカルで動作を確認する機能もあるため、手元で確認してから動作確認も可能です。

ただしローカルで実行する場合は標準ではPython2で動作します。
Python3でローカル動作する方法は下記の公式ドキュメントに記載はありません。

gcloud ml-engine local train

Python3系の機能を利用したコードを書いておりML Engineを使用したい方に向けた記事になります。

手法

環境構築

今回は参考のためにシンプルなプロジェクトで動作確認をします。
Docker上でubuntu16.04の環境を構築して動作確認をします。

https://github.com/SnowMasaya/keras-cloud-ml-engine

下記で必要なファイルを取得し、docker環境をビルドし、docker環境の中に入ります。

git clone https://github.com/SnowMasaya/keras-cloud-ml-engine
cd keras-cloud-ml-engine/docker
make bash

Docker上での手順

Google Cloudのサービスを利用するためSDKを導入します。
Docker内ではGoogle Cloud SDKはダウンロード済みです。
Docker以外の環境で試される方は下記からインストールしてください。Macを使用されている場合はMacでの動作方法も後述しています。

https://cloud.google.com/sdk/

  1. 初期設定をします。
    gcloud init
    

    下記でログインするか尋ねられるのでYにします。

    You must log in to continue. Would you like to log in (Y/n)? 
    

    アクセス用のリンクが表示されます。

    Go to the following link in your browser:
    

    リンクにアクセスしてクラウドsdkにアクセスを許可します。
    認証コードが表示されるのでコピーして、下記に貼ります。

    Enter verification code:
    

    プロジェクト選択画面になるのでプロジェクトを選択します。

    Pick cloud project to use: 
    

    リージョン設定をするか聞かれるので設定する場合はYにします。

    Do you want to configure a default Compute Region and Zone?
    

    リージョン番号を選択します。

    Please enter numeric choice or text value (must exactly match list item): 
    

    これで初期設定完了です。

  2. 認証処理をします。

    gcloud auth application-default login
    

    Google Auth Libraryへアクセスを許可するためのリンクが表示されます。

    Go to the following link in your browser:
    

    リンクにアクセスし認証コードが表示されるのでコピーして、下記に貼ります。

    Enter verification code:
    
  3. ML Engineをローカルで動作する前の設定をします。

    run_ml_engine_local.shの下記の該当箇所を修正します。

    export BUCKET_NAME={読者のGCSのパス}
    

動作コマンド

下記コマンドで動作確認をします。

bash run_ml_engine_local.sh

shellスクリプトの内部の下記コマンドでML Engineをローカルで動作しています。--package-path ./trainerで動作させるコードのディレクトリパスを指定しています。

gcloud ml-engine local train \
  --job-dir $JOB_DIR \
  --module-name trainer.mnist_mlp \
  --package-path ./trainer \
  -- \
  --train-file ./data/mnist.pkl

動作結果

コード内にPythonのバージョンを表示するようにしています。Python3で動作していることが確認できます。

Using TensorFlow backend.
Python version
3.6.2 |Continuum Analytics, Inc.| (default, Jul 20 2017, 13:51:32)
[GCC 4.4.7 20120313 (Red Hat 4.4.7-1)]
Version info.
sys.version_info(major=3, minor=6, micro=2, releaselevel='final', serial=0)
Using logs_path located at gs://{your backey path}/mnist_mlp_train_20190204_085027/logs/2019-02-04T08:50:29.295357
60000 train samples
10000 test samples
Model: "sequential_1"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
dense_1 (Dense)              (None, 512)               401920    
_________________________________________________________________
dropout_1 (Dropout)          (None, 512)               0         
_________________________________________________________________
dense_2 (Dense)              (None, 512)               262656    
_________________________________________________________________
dropout_2 (Dropout)          (None, 512)               0         
_________________________________________________________________
dense_3 (Dense)              (None, 10)                5130      
=================================================================
Total params: 669,706
Trainable params: 669,706
Non-trainable params: 0
_________________________________________________________________
Train on 60000 samples, validate on 10000 samples
Epoch 1/2
2019-02-04 08:50:31.075674: I tensorflow/core/platform/cpu_feature_guard.cc:141] Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX2 FMA
60000/60000 [==============================] - 5s 92us/step - loss: 0.2487 - acc: 0.9235 - val_loss: 0.1047 - val_acc: 0.9667
Epoch 2/2
60000/60000 [==============================] - 5s 84us/step - loss: 0.1041 - acc: 0.9686 - val_loss: 0.0895 - val_acc: 0.9727
Test loss: 0.0895320583968889
Test accuracy: 0.9727

Python3系で動作させる方法

Docker環境でPython3系がpythonコマンドで動作する仮想環境を構築すれば動作します。

今回はdocker内にcondaで仮想環境を構築しました。

Mac上で動作する場合

pyenvとvirtualenvで仮想環境を構築して動作確認を行いました。

pyenv install 3.6.0
virtualenv -p ~/.pyenv/versions/3.6.0/bin/python my_env
source my_env/bin/activate

レポジトリにライブラリをインストールするためのrequirements.txtを用意しているのでそちらを使用して必要なライブラリをインストールします。

https://github.com/SnowMasaya/keras-cloud-ml-engine

pip install -r requirements.txt

現状はgcloudコマンドは2.7系しか公式サポートしていないのでPython2.7のパスをCLOUDSDK_PYTHONに設定します。(3系は実験的な提供のみ)

Currently gcloud requires Python version 2.7.x and there is experimental support for 3.4 and up.

export CLOUDSDK_PYTHON=/usr/bin/python

これで同様のコマンドで動作可能になります。

bash run_ml_engine_local.sh

動作結果

Using TensorFlow backend.
Python version
3.6.0 (default, Feb  8 2017, 10:42:00) 
[GCC 4.2.1 Compatible Apple LLVM 8.0.0 (clang-800.0.42.1)]
Version info.
sys.version_info(major=3, minor=6, micro=0, releaselevel='final', serial=0)
:

Mac環境に関する考察

なぜ2.7系のPythonをCLOUDSDK_PYTHONに設定するかですがgcloudコマンドは2.7系のコマンドでしか公式サポートしていないためです。

2.7系のPythonをCLOUDSDK_PYTHON設定しているのになぜ3.6の仮想環境で設定したpythonが動作するかについてですがソースコードを見れば分かります。

下記が該当の部分になりますがML Engineのコード内で指定したディレクトリ内のコードを実行するPython Interpreterを探して設定しています。ここでpythonコマンドで呼ばれるPython Interpreterが3系になっているとそちらを参照して動作します。

  python_executable = exe_override or files.FindExecutableOnPath('python')
  if not python_executable:
    raise RuntimeError('No python interpreter found on local machine')
  cmd = [python_executable, '-m', module_name] + args

結論としてはgoogle cloud sdkを動作するには2.7系が公式サポートなのでそちらを使用。内部で指定したディレクトリ内のコードを実行するPython Interpreterが呼ばれるのでそれを3系に変更すれば動作することになります。

最後に

クラウドサービスを使いこなして開発速度を向上したり運用負荷を減らすようなことが得意だというエンジニアの方がいましたら、是非カブクに応募してください。

参考

https://github.com/clintonreece/keras-cloud-ml-engine
https://cloud.google.com/sdk/gcloud/reference/ml-engine/local/train
https://cloud.google.com/icons/
https://cloud.google.com/sdk/gcloud/reference/topic/startup

その他の記事

Other Articles

2019/06/25
カブクエンジニア開発合宿に行ってきました 2019夏


Hola! KubeCon Europe 2019の参加レポート

2019/06/19
Clean Resume きれいな環境できれいな履歴書を作成する

2019/05/20
[Web フロントエンド] 状態更新ロジックをフレームワークから独立させる

2019/04/16
C++のenable_shared_from_thisを使う

2019/04/12
OpenAPI 3 ファーストな Web アプリケーション開発(Python で API 編)

2019/04/08
WebGLでレイマーチングを使ったCSGを実現する

2019/04/02
『エンジニア採用最前線』に感化されて2週間でエンジニア主導の求人票更新フローを構築した話

2019/03/29
その1 Jetson TX2でk3s(枯山水)を動かしてみた

2019/03/27
任意のブラウザ上でJestで書いたテストを実行する

2019/02/08
TypeScript で “radian” と “degree” を間違えないようにする

2019/01/18
SIGGRAPH Asia 2018 参加レポート

2019/01/08
お正月だョ!ECMAScript Proposal全員集合!!

2019/01/08
カブクエンジニア開発合宿に行ってきました 2018秋

2018/12/25
OpenAPI 3 ファーストな Web アプリケーション開発(環境編)

2018/12/23
いまMLKitカスタムモデル(TF Lite)は使えるのか

2018/12/21
[IoT] Docker on JetsonでMQTTを使ってCloud IoT Coreと通信する

2018/12/11
TypeScriptで実現する型安全な多言語対応(Angularを例に)

2018/12/05
GASでCompute Engineの時間に応じた自動停止/起動ツールを作成する 〜GASで簡単に好きなGoogle APIを叩く方法〜

2018/12/02
single quotes な Black を vendoring して packaging

2018/11/14
3次元データに2次元データの深層学習の技術(Inception V3, ResNet)を適用

2018/11/04
Node Knockout 2018 に参戦しました

2018/10/24
SIGGRAPH 2018参加レポート-後編(VR/AR)

2018/10/11
Angular 4アプリケーションをAngular 6に移行する

2018/10/05
SIGGRAPH 2018参加レポート-特別編(VR@50)

2018/10/03
Three.jsでVRしたい

2018/10/02
SIGGRAPH 2018参加レポート-前編

2018/09/27
ズーム可能なSVGを実装する方法の解説

2018/09/25
Kerasを用いた複数入力モデル精度向上のためのTips

2018/09/21
競技プログラミングの勉強会を開催している話

2018/09/19
Ladder Netwoksによる半教師あり学習

2018/08/10
「Maker Faire Tokyo 2018」に出展しました

2018/08/02
Kerasを用いた複数時系列データを1つの深層学習モデルで学習させる方法

2018/07/26
Apollo GraphQLでWebサービスを開発してわかったこと

2018/07/19
【深層学習】時系列データに対する1次元畳み込み層の出力を可視化

2018/07/11
きたない requirements.txt から Pipenv への移行

2018/06/26
CSS Houdiniを味見する

2018/06/25
不確実性を考慮した時系列データ予測

2018/06/20
Google Colaboratory を自分のマシンで走らせる

2018/06/18
Go言語でWebAssembly

2018/06/15
カブクエンジニア開発合宿に行ってきました 2018春

2018/06/08
2018 年の tree shaking

2018/06/07
隠れマルコフモデル 入門

2018/05/30
DASKによる探索的データ分析(EDA)

2018/05/10
TensorFlowをソースからビルドする方法とその効果

2018/04/23
EGLとOpenGLを使用するコードのビルド方法〜libGLからlibOpenGLへ

2018/04/23
技術書典4にサークル参加してきました

2018/04/13
Python で Cura をバッチ実行するためには

2018/04/04
ARCoreで3Dプリント風エフェクトを実現する〜呪文による積層造形映像制作の舞台裏〜

2018/04/02
深層学習を用いた時系列データにおける異常検知

2018/04/01
音声ユーザーインターフェースを用いた新方式積層造形装置の提案

2018/03/31
Container builderでコンテナイメージをBuildしてSlackで結果を受け取る開発スタイルが捗る

2018/03/23
ngUpgrade を使って AngularJS から Angular に移行

2018/03/14
Three.jsのパフォーマンスTips

2018/02/14
C++17の新機能を試す〜その1「3次元版hypot」

2018/01/17
時系列データにおける異常検知

2018/01/11
異常検知の基礎

2018/01/09
three.ar.jsを使ったスマホAR入門

2017/12/17
Python OpenAPIライブラリ bravado-core の発展的な使い方

2017/12/15
WebAssembly(wat)を手書きする

2017/12/14
AngularJS を Angular に移行: ng-annotate 相当の機能を TypeScrpt ファイルに適用

2017/12/08
Android Thingsで4足ロボットを作る ~ Android ThingsとPCA9685でサーボ制御)

2017/12/06
Raspberry PIとDialogflow & Google Cloud Platformを利用した、3Dプリンターボット(仮)の開発 (概要編)

2017/11/20
カブクエンジニア開発合宿に行ってきました 2017秋

2017/10/19
Android Thingsを使って3Dプリント戦車を作ろう ① ハードウェア準備編

2017/10/13
第2回 魁!! GPUクラスタ on GKE ~PodからGPUを使う編~

2017/10/05
第1回 魁!! GPUクラスタ on GKE ~GPUクラスタ構築編~

2017/09/13
「Maker Faire Tokyo 2017」に出展しました。

2017/09/11
PyConJP2017に参加しました

2017/09/08
bravado-coreによるOpenAPIを利用したPythonアプリケーション開発

2017/08/23
OpenAPIのご紹介

2017/08/18
EuroPython2017で2名登壇しました。

2017/07/26
3DプリンターでLチカ

2017/07/03
Three.js r86で何が変わったのか

2017/06/21
3次元データへの深層学習の適用

2017/06/01
カブクエンジニア開発合宿に行ってきました 2017春

2017/05/08
Three.js r85で何が変わったのか

2017/04/10
GCPのGPUインスタンスでレンダリングを高速化

2017/02/07
Three.js r84で何が変わったのか

2017/01/27
Google App EngineのFlexible EnvironmentにTmpfsを導入する

2016/12/21
Three.js r83で何が変わったのか

2016/12/02
Three.jsでのクリッピング平面の利用

2016/11/08
Three.js r82で何が変わったのか

2016/12/17
SIGGRAPH 2016 レポート

2016/11/02
カブクエンジニア開発合宿に行ってきました 2016秋

2016/10/28
PyConJP2016 行きました

2016/10/17
EuroPython2016で登壇しました

2016/10/13
Angular 2.0.0ファイナルへのアップグレード

2016/10/04
Three.js r81で何が変わったのか

2016/09/14
カブクのエンジニアインターンシッププログラムについての詩

2016/09/05
カブクのエンジニアインターンとして3ヶ月でやった事 〜高橋知成の場合〜

2016/08/30
Three.js r80で何が変わったのか

2016/07/15
Three.js r79で何が変わったのか

2016/06/02
Vulkanを試してみた

2016/05/20
MakerGoの作り方

2016/05/08
TensorFlow on DockerでGPUを使えるようにする方法

2016/04/27
Blenderの3DデータをMinecraftに送りこむ

2016/04/20
Tensorflowを使ったDeep LearningにおけるGPU性能調査

→
←

関連職種

Recruit

バックエンドエンジニア(Python・Go)

業務内容

当ポジションは弊社Webサービスのバックエンド機能設計及び実装を担当します。 サービス毎の開発チームで2週間スプリントのスクラム開発を実施しています。 週次で開発チームミーティングを実施し、実装設計の相談や工数見積もりを行います。 全ての開発コードはレビューと自動テストによって品質を保っています。 また、リファクタリングやフレームワークのバージョンアップも開発フローに組込み、技術的負債を放置しない開発を目指しています。

フロントエンドエンジニア(TypeScript)

業務内容

当ポジションは弊社Webサービスのフロントエンド機能設計及び実装を担当します。 サービス毎の開発チームで2週間スプリントのスクラム開発を実施しています。 週次で開発チームミーティングを実施し、実装設計の相談や工数見積もりを行います。 全ての開発コードはレビューと自動テストによって品質を保っています。 また、リファクタリングやフレームワークのバージョンアップも開発フローに組込み、技術的負債を放置しない開発を目指しています。

機械学習エンジニア

業務内容

センサーデータの分析モデルの調査・研究・開発。 Kabuku Connectの製造データ(3D、2D)から情報を抽出するモデルの構築。 データの前処理や学習、ハイパーパラメータチューニング、獲得モデルの評価、プロダクションのデータパイプラインとの連携をお願いします。

インターン(Webエンジニア)

業務内容

業務から独立した、調査・研究系のタスクをおまかせしています。コードレビュー、 社内での報告会、 ブログ記事執筆を通して着実にスキルアップしていただくことを目指しています。 (希望があれば、プロダクトの開発業務もおまかせします。)

→
←

お客様のご要望に「Kabuku」はお応えいたします。
ぜひお気軽にご相談ください。

お電話でも受け付けております
03-6380-2750
営業時間:09:30~18:00
※土日祝は除く