Raspberry PIとDialogflow & Google Cloud Platformを利用した、3Dプリンターボット(仮)の開発 (概要編)

2017/12/06
このエントリーをはてなブックマークに追加

Raspberry PIとDialogflow & Google Cloud Platformを利用した、3Dプリンターボット(仮)の開発 (概要編)

最近あまりに業務に関係ないことを書きすぎて、本当に働いているのか自分でもわからなくなってきた大橋です。

3Dプリンターを利用して様々な物を作っていると、退社間際に造形を開始し、夜間で作り上げることがしばしばあります。
また造形に失敗することもあるので、時々3Dプリンターが置いてある場所まで、直接様子を見に行くこともよくあります。
ただ正直めんどくさいです。

今回はこれらのめんどくささを解決するために作成した「3Dプリンターボット(仮)」について書いていきたいと思います。
なお、細かい部分まで話すと長くなりそうなので、何回かに分けて書こうと思っています。
今回は概要のみの説明となります。

なお、この初回はGCPアドベントカレンダー2017の6日目の記事でもあり、Dialogflow、Cloud Functions、Cloud Pub/Sub、Raspberry Piという連携のサンプルとしても見ていただけると幸いです。

3Dプリンターボット

概要

3Dプリンターボット(仮)はSlack上で動くボットで、3Dプリンターの状態を返答したり、造形中のタイムラプスムービーを作ったりしてくれます。
ボットを呼び出すには Slackで利用できる 「/」コマンドではなく、「状態を教えて」「いまどう?」「どんな感じ?」「動画みたい」「動画作って」などの会話の文章をボットが理解して、それにあった適切なアクションを返してくれます。
また常に3Dプリンターの状態を監視しており、造形の残り時間に応じて通知なども行うようになっています。



これによりSlackにさえ投稿できれば、自席や家にいながら3Dプリンターの状態を確認することが出来ます。
また現在は1台の3Dプリンターのみに接続されていますが、複数箇所複数台の監視をすることも可能です。

なお名前が(仮)なのは、まだ音声認識に対応しておらず、そのうち音声認識&音声の認識ができるようになったら初めて名前をつけてあげたいなと思っているからです。
やっぱり音声で会話して初めてAI感とかありますよね そしたら名前とか付けたくなりますよね

全体像

3Dプリンターボットの全体像は以下です。




特徴としては多くのクラウドサービスの連携により実現している点です。

各々の説明は以下になります。

  • Dialogflow
    • Dialogflowは自然言語処理を容易に行うことができるWebサービスでSlackやLINE、Facebook Messageなど数多くのチャットサービスと接続して利用することができます。
    • 3DプリンターボットではSlackに投稿された内容の解釈と、中間サーバ(Cloud Functions)への命令(コマンド)を通知する部分を担っています。
    • 3Dプリンターボットをボットらしくしている根幹の部分です。
  • Cloud Functions
    • Cloud FunctionsはGoogle Cloud Platform上にあるサーバレスアプリケーション実行環境です。
    • 3Dプリンターボットでは大きく2つの役目を持っています。
    • 1つめはHTTP Triggerを使ったDialogflowからのWebHookにより、Dialogflowによって解釈された命令(コマンド)をCloud Pub/Subへの通知(Publish)する API.AIとCloud Pub/Subのつなぎ役の役目
    • 2つめはCloud Pub/SubのSubscriberとして社内にあるRaspberry PiよりCloud Pub/Subへ送られた情報の処理(Slackへの返信)とffmpegを利用したタイムラプスムービーの作成を行っています。
  • Cloud Pub/Sub
    • Cloud Pub/SubはGoogle Cloud Platform上のメッセージングサービスです。 Publisherから送られたメッセージ(情報)をSubscriberへ配信します。
      配信方法は2種類あり、Cloud Pub/Sub自体がHTTPコールを行うPush配信とSubscriber自体がメッセージを取得しに行くPull配信があります。
    • 3Dプリンターボット上ではCloud FunctionsとRaspberry Pi、要はクラウドと実機のつなぎ役として利用しています。
    • Cloud Functionsへの配信はPush配信を利用し、Raspberry Piへの配信はPull配信を利用しています。 Raspberry Pi側をPull配信にすることで、Raspberry Pi自体は静的IPをもつ必要がなく、またFirewallも外向けのHTTPSの通信のみを開けておけばいいだけなので比較的セキュアです。
  • Raspberry Pi & Golang
    • 社内にあるRaspberry Piです。 Ultimaker(3Dプリンター)と同じネットワークに繋がっており、Ultimaker3のAPIが呼び出せます。 またUltimaker3に最初から付属されているカメラのみだととり一の問題で情報が足りないため、追加でUSBカメラを付けてあります。 ちなみにModel 2です….
    • Raspberry Pi上ではGolangで書かれたコマンドラインアプリケーションが動作しています。 こちらについては後々別の記事で詳細を書きます。
    • 3Dプリンターボット上ではAPI経由でのUltimaker(3Dプリンター)の監視、Cloud Pub/Subに送られてきたメッセージ(=API.AIで解釈されたコマンド)のSubscribeとそれに伴った各種処理を実施しています。

処理の流れ

上記のサービス群が連携して一つのBotを作成しているのですが、上の構成図だけだとよくわかりにくいですね。
実際の処理の流れは以下のようになっています。



  1. カブク社員がSlackの特定チャンネルに「状態を教えて」と発言する
  2. API.AIがその発言を解析し「status.nofity」というコマンドであると解釈、また「どの3Dプリンターか」という情報がないため、それを発言者に対してSlackにて「どのプリンター」聞き返す
  3. カブク社員が「Ultimaker」と返答
  4. API.AIがその発言を自身のデータベースと比較し「ultimaker」という3Dプリンターであることを特定、事前に登録されたCloud FunctionsのURLにコマンド(status.notify)と3Dプリンター(Ultimaker)とともに通知
  5. Cloud FunctionsがAPI.AIにより呼び出され、渡された情報(コマンド、3Dプリンター)をCloud Pub/SubへPublish(通知)します。 またAPI.AIに処理が正常に処理が正常に処理が正常に終了したことを伝える。
  6. API.AIがSlackへ処理を受け付けた旨「Ultimakerかー ちょっとみてくる」を返信
  7. Raspberry PiのGolangアプリケーションがCloud Pub/Subに登録されたコマンドと3DプリンターをPull
  8. Raspberry PiのGolangアプリケーションがUltimaker3のAPIを呼び出して、稼働状況や画像を取得
  9. Raspberry PiのGolangアプリケーションが取得したデータをCloud Pub/Subに登録
  10. Cloud Pub/SubがCloud Functionsへ登録されたデータをPush配信
  11. Cloud FunctionsがCloud Pub/Subから渡されたデータをもとにメッセージを組み立てSlack APIを呼び出し
  12. Slackがカブク社員へ結果を表示する

概要のまとめ

今回は弊社で使っている3Dプリンターボットの概要について書きました。

見た目上複数のサービスを利用していますが、役割分担がはっきりしているため、修正や置き換えが簡単になっており、クラウドと実機をつなぐ構成としては良い構成になっているのではと思います。

次回からは細かい各々のサービスの利用方法について書きたいと思います。

その他の記事

Other Articles

2019/01/18
SIGGRAPH Asia 2018 参加レポート

2019/01/08
お正月だョ!ECMAScript Proposal全員集合!!

2019/01/08
カブクエンジニア開発合宿に行ってきました 2018秋

2018/12/25
OpenAPI 3 ファーストな Web アプリケーション開発(環境編)

2018/12/23
いまMLKitカスタムモデル(TF Lite)は使えるのか

2018/12/21
[IoT] Docker on JetsonでMQTTを使ってCloud IoT Coreと通信する

2018/12/11
TypeScriptで実現する型安全な多言語対応(Angularを例に)

2018/12/05
GASでCompute Engineの時間に応じた自動停止/起動ツールを作成する 〜GASで簡単に好きなGoogle APIを叩く方法〜

2018/12/02
single quotes な Black を vendoring して packaging

2018/11/14
3次元データに2次元データの深層学習の技術(Inception V3, ResNet)を適用

2018/11/04
Node Knockout 2018 に参戦しました

2018/10/24
SIGGRAPH 2018参加レポート-後編(VR/AR)

2018/10/11
Angular 4アプリケーションをAngular 6に移行する

2018/10/05
SIGGRAPH 2018参加レポート-特別編(VR@50)

2018/10/03
Three.jsでVRしたい

2018/10/02
SIGGRAPH 2018参加レポート-前編

2018/09/27
ズーム可能なSVGを実装する方法の解説

2018/09/25
Kerasを用いた複数入力モデル精度向上のためのTips

2018/09/21
競技プログラミングの勉強会を開催している話

2018/09/19
Ladder Netwoksによる半教師あり学習

2018/08/10
「Maker Faire Tokyo 2018」に出展しました

2018/08/02
Kerasを用いた複数時系列データを1つの深層学習モデルで学習させる方法

2018/07/26
Apollo GraphQLでWebサービスを開発してわかったこと

2018/07/19
【深層学習】時系列データに対する1次元畳み込み層の出力を可視化

2018/07/11
きたない requirements.txt から Pipenv への移行

2018/06/26
CSS Houdiniを味見する

2018/06/25
不確実性を考慮した時系列データ予測

2018/06/20
Google Colaboratory を自分のマシンで走らせる

2018/06/18
Go言語でWebAssembly

2018/06/15
カブクエンジニア開発合宿に行ってきました 2018春

2018/06/08
2018 年の tree shaking

2018/06/07
隠れマルコフモデル 入門

2018/05/30
DASKによる探索的データ分析(EDA)

2018/05/10
TensorFlowをソースからビルドする方法とその効果

2018/04/23
EGLとOpenGLを使用するコードのビルド方法〜libGLからlibOpenGLへ

2018/04/23
技術書典4にサークル参加してきました

2018/04/13
Python で Cura をバッチ実行するためには

2018/04/04
ARCoreで3Dプリント風エフェクトを実現する〜呪文による積層造形映像制作の舞台裏〜

2018/04/02
深層学習を用いた時系列データにおける異常検知

2018/04/01
音声ユーザーインターフェースを用いた新方式積層造形装置の提案

2018/03/31
Container builderでコンテナイメージをBuildしてSlackで結果を受け取る開発スタイルが捗る

2018/03/23
ngUpgrade を使って AngularJS から Angular に移行

2018/03/14
Three.jsのパフォーマンスTips

2018/02/14
C++17の新機能を試す〜その1「3次元版hypot」

2018/01/17
時系列データにおける異常検知

2018/01/11
異常検知の基礎

2018/01/09
three.ar.jsを使ったスマホAR入門

2017/12/17
Python OpenAPIライブラリ bravado-core の発展的な使い方

2017/12/15
WebAssembly(wat)を手書きする

2017/12/14
AngularJS を Angular に移行: ng-annotate 相当の機能を TypeScrpt ファイルに適用

2017/12/08
Android Thingsで4足ロボットを作る ~ Android ThingsとPCA9685でサーボ制御)

2017/11/20
カブクエンジニア開発合宿に行ってきました 2017秋

2017/10/19
Android Thingsを使って3Dプリント戦車を作ろう ① ハードウェア準備編

2017/10/13
第2回 魁!! GPUクラスタ on GKE ~PodからGPUを使う編~

2017/10/05
第1回 魁!! GPUクラスタ on GKE ~GPUクラスタ構築編~

2017/09/13
「Maker Faire Tokyo 2017」に出展しました。

2017/09/11
PyConJP2017に参加しました

2017/09/08
bravado-coreによるOpenAPIを利用したPythonアプリケーション開発

2017/08/23
OpenAPIのご紹介

2017/08/18
EuroPython2017で2名登壇しました。

2017/07/26
3DプリンターでLチカ

2017/07/03
Three.js r86で何が変わったのか

2017/06/21
3次元データへの深層学習の適用

2017/06/01
カブクエンジニア開発合宿に行ってきました 2017春

2017/05/08
Three.js r85で何が変わったのか

2017/04/10
GCPのGPUインスタンスでレンダリングを高速化

2017/02/07
Three.js r84で何が変わったのか

2017/01/27
Google App EngineのFlexible EnvironmentにTmpfsを導入する

2016/12/21
Three.js r83で何が変わったのか

2016/12/02
Three.jsでのクリッピング平面の利用

2016/11/08
Three.js r82で何が変わったのか

2016/12/17
SIGGRAPH 2016 レポート

2016/11/02
カブクエンジニア開発合宿に行ってきました 2016秋

2016/10/28
PyConJP2016 行きました

2016/10/17
EuroPython2016で登壇しました

2016/10/13
Angular 2.0.0ファイナルへのアップグレード

2016/10/04
Three.js r81で何が変わったのか

2016/09/14
カブクのエンジニアインターンシッププログラムについての詩

2016/09/05
カブクのエンジニアインターンとして3ヶ月でやった事 〜高橋知成の場合〜

2016/08/30
Three.js r80で何が変わったのか

2016/07/15
Three.js r79で何が変わったのか

2016/06/02
Vulkanを試してみた

2016/05/20
MakerGoの作り方

2016/05/08
TensorFlow on DockerでGPUを使えるようにする方法

2016/04/27
Blenderの3DデータをMinecraftに送りこむ

2016/04/20
Tensorflowを使ったDeep LearningにおけるGPU性能調査

→
←

関連職種

Recruit

サーバーサイドエンジニア

業務内容

カブク自社で開発・運営しているWebサービス(3Dプリンターなどを活用したデジタル製造サービス)のサーバサイド開発。WebサービスのバックエンドやAPIの設計・実装をお任せします。

フロントエンドエンジニア

業務内容

カブク自社で開発・運営しているWebサービス(3Dプリンターなどを活用したデジタル製造サービス)のWebフロントエンド開発。フロントエンドの設計や実装をお任せします。

機械学習エンジニア

業務内容

機械学習を用いた3Dデータや2Dデータからの情報抽出モデルの構築やセンサーデータの分析モデルの調査・研究・開発。 PoCだけでなく、データの前処理や学習、ハイパーパラメータチューニング、獲得モデルの評価、適用、運用のパイプライン構築まで、機械学習をプロダクション適用する全てのお仕事に携われます。

インターン(エンジニア)

業務内容

カブクの社員と肩を並べて、実業務を中心とした知識やスキルを身につけていただく実践型インターンシップ。スタートアップならではのスピードがあり、ダイナミックな就業経験を体験することが可能です。

→
←

お客様のご要望に「Kabuku」はお応えいたします。
ぜひお気軽にご相談ください。

お電話でも受け付けております
03-6380-2750
営業時間:09:30~18:00
※土日祝は除く