「Maker Faire Tokyo 2018」に出展しました

2018/08/10
このエントリーをはてなブックマークに追加
2018年8月4日(土)、8月5日(日)に東京ビッグサイトにて「Maker Faire Tokyo 2018」が開催されました。 「Maker Faire」はアメリカ発の世界最大DIYイベントです。 このイベントに、カブク社内の有志が「ものづくり部」として出展しました。 展示内容やその裏側について、出展レポートをお送りします。

展示内容

「ガンメンタイセン」という、顔でロボットを操作して遊ぶサッカーゲームを作りました。 次のような仕組みになっています。 ゲーム開始前: 1. 3つのコマンド(前進、旋回、後退)に対応する顔をWebカメラで撮影する 1. 撮影した画像の中からFaceDetectorを利用して顔を検出する 1. TensorFlow.jsで顔の画像を学習し、対応するコマンドに分類できるようにする ゲーム開始後: 1. プレイ中のユーザーの顔を随時撮影し、学習済みモデルを利用してコマンドに分類する 1. MQTT.jsを使ってMQTTブローカー(Mosquitto)にコマンドを送信する 1. ロボット側でMQTTブローカーからコマンドをサブスクライブし、コマンドに対応する動作を行う ロボットの筐体やカバーは3Dプリンタで作っており、カブクの持ち味である「AI」「IoT」「3Dプリンタ」が見事に組み合わさった展示になりました。 利用した技術や部品の詳細は以下のページに記載しています。 https://kabuku.github.io/makerfaire-tokyo-2018/ また、ソースコードは以下のレポジトリに上がっています。 https://github.com/kabuku/makerfaire-tokyo-2018

企画会議

出展応募締め切りは5/2(水)だったため、それに先立って4月下旬に、どのようなものを出展するか決めるための企画会議が開催されました。 AR、名刺の3Dプリント、VTuber、婚活(?)など、様々なアイデアが飛び交う活発な議論の末、最終的に「顔でロボットを操作するゲーム」を作ることに決定しました。 TensorFlow.jsのパックマンのデモを、ロボットを使って実現するようなイメージです。 ただし、この時点ではゲームのルールの詳細は決まっておらず、正直に言うと最終的にサッカーゲームになるとは思ってもみませんでした。

準備

ロボット

Raspberry piを使った理由

最初はESP8266かESP32を使って、MQTTの通信周りとサーボの制御を行う予定で実装を進めたのですが、スペック的に足りてないのかMQTTの通信が安定せずに、諦めてRaspberry Piを使う方向に舵を切りました。

通信まわり

ロボットとMQTTのブローカーの接続にはWifiを使っています。Raspberry Pi Zero WHは2.4GHzのWiFiモジュールを搭載しているので、2.4GHzのWiFiを使うのが一番楽なのですが、MakerFaireのようなイベントでは、2.4GHz帯が混み過ぎて不安定になるのを別のイベントで経験していたので、今回はUSBの5GHz帯が使えるWiFiモジュールを追加して5Ghz帯で通信するようにしました。5Ghz帯を使ったのが、功を奏したのかゲームプレイ中に一度も途切れることなく安定していました。ちなみにルータにはNETGEARのNighthawk X6Sを使用しました。Macbookのインターネット共有を使ってMacbookをルータ化した構成も試したのですが、接続が安定しなかったので、強いルータを使うことに決まりました。 WiFiのような無線通信は、検証環境とMakerFaireのような本版環境とでは、安定具合が大きく異なることが多いので、みなさんもお気をつけ下さい!!! IoTと叫ばれているなか殆どの機器が2.4GHz帯を使っていることに凄い危機感を感じます。

電源まわり

当初の予定では、単3のニッケル水素電池を3個、昇圧回路で5Vに昇圧して、Raspberry Pi Zero WHとサーボ(FS90R)を2つ動かす想定で開発を進めていましたが、Raspberry PiにUSB接続の5G帯のWiFiモジュールを追加したところ、消費電流が増え5Vの昇圧が維持できず(3Vぐらいまで下がってしまう)にRaspberry Piがリブートしてしまうという問題が発生しました。そのため、Raspberry Piとサーボの電源は分けて、それぞれに単3のニッケル水素電池を3個使う合計で6個の電池を使う構成にしました。

筐体のこと

3Dプリントのカブクなので筐体ももちろん自作です。内部も外部も要件に合わせてモデリングし、社内の3Dプリンタで造形しました。内部の筐体は常に変わっていく要件に合わせてパーツの配置と固定、配線、筐体の最小化、強度のを満たすようにモデルをアップデートしていきました。最終的にこんな感じになりました。 混沌としていますが最善を尽くしました。 外部の筐体は内部に詰め込むパーツが膨れていった結果下図の左から右へと変化していきました。 初期の兜は弊社のベテランエンジニアが作ってくださったもので大変格好良かったのですが、実戦投入できず残念です。 格好いいモデルが作れるように勉強していきたいものですね。 マテリアルは一貫してPLAを使用しました。PLAのほかにABSとナイロンが候補に上がっていました。ABSは熱収縮が大きく、ネジ穴など多少誤差に厳しい要件で使いづらかったので候補から外しました。ナイロンは社内のプリンタでは出力したことがなかったので購入して試してみました。柔軟で強度が高くとても良いマテリアルだったのですが、プリントの安定性に問題を抱えたため断念しました。出力条件を整えて今後は積極的にナイロンを使っていきたいです。担当はポリカーボネートも気になっています。

フロントエンド

キモとなる機械学習部分はTensorFlow.jsのデモのコードを参考にできたため、それほど難しくありませんでした。 また、UI部分はデザインの得意なメンバーがとてもカッコイイUIを作ってくれました。上に貼った動画の14秒くらいから映っているので、ぜひご覧ください。 反省点としては、ReactやAngularなどのビューライブラリを使わずに作った結果、特に終盤では機能の実装コストがかなり高くなってしまったことが挙げられます。シンプルなアプリなのでなくても大丈夫だろうと思っていたのですが、そんなことはありませんでした。普段どれだけそれらのライブラリに甘やかされているかを思い知らされました。 フロントエンドで一番たいへんだったのは、最後の最後までゲームのルールやロボットの操作方法が確定せず、度重なる仕様変更に対応する必要があったことなのですが、これについては次以降のセクションで説明します。

ゲームルール

当初の企画では戦国時代をイメージした陣取りゲームの展示を予定していました。フィールド内に散在するゲートをくぐると旗が立ち、ゲーム終了時にたくさん旗を立てていたチームが勝利、といった具合です。このルールには現実的な問題が2つありました。一つは、ロボットのサイズが肥大化していった結果ゲートをたくさん設置する構想に無理が生じてきたことです。日頃画面の向こう側に関心が向きがちなエンジニア陣にとっては斬新な障壁でした。もう一つは、我々が想像している以上にロボットの操作が難しかったことです。我々が試験した範囲では終ぞゲートをくぐることは叶いませんでした。そこで代替案として相手の城を崩すゲームが提案されました。MFT開催の一ヶ月前のことです。誰かが城作るのだろうと考えていたままMFT開催の十日前まで時間は進みます。ようやく安定して動作するロボットができたとき、そこにゲームフィールドはありませんでした。ゲームフィールドがないことに気づいたのはメンバーでランチに行ったときのことでした。そして、その場の超常的な話の流れでロボットたちはサッカーをやることになったのです。 ランチを終えた一時間後には仮設のサッカーフィールドが誕生し、後日適当に材料を買いだして本番用のサッカーフィールドが完成しました。

当日

当日は来場者の方々に絶え間なく遊びに来ていただいて盛況でした。試合終了後に試合中のお顔をピックアップしたgif動画を提供していたのですが、こちらも喜んでいただけたと確信しています。 実は,1日目のゲームは2人で1台のロボットを操作するようにしていました (パ●フィック・リムのような)。しかし,2人で連携して顔面操作するが難しいのと、ロボットの旋回速度が早くかつ旋回が止まるまでにラグがある関係でロボットの操作が困難で、誰も思い通りにボールに触れないという事態が発生しました。また,Webカメラにプレイヤーの顔以外のものが写り込んでしまう問題や,プレイ中に顔の位置が大きくズレると言う問題もありました。そこで、1日目から2日目にかけて、次のような大幅なアップデートが施されました。
  • 1人で1台のロボットを操作できるようにする
  • ロボットの旋回速度を遅くする
  • Webカメラから取り込んだ画像から顔だけを抽出する
これらのアップデートの内容は、1日目の夜の打ち上げのお酒の場で決まったものでした。打ち上げが終わったのは午後10時頃でしたが、その後日付が変わってからSlackに次々とpull requestの通知が上がってくる様は、涙なしに見れたとか見れなかったとか。 この甲斐あって、2日目はゲームの操作性が大幅に向上し、ゴールが次々と生まれるエキサイティングなゲームになりました。 良かった点 - 楽しんでもらえた。みなさんが惜しげも無く変な顔をしてくれて嬉しかった - サッカー風のゲームにしたこともあって分かり易かった 悪かった点 - ロボットの操作が難しすぎて梅原大吾か高橋名人でないとまともにプレイ出来なかった (2日目に改善) - ロボットの旋回速度が早くかつ旋回が止まるまでにラグがある。2日目は旋回速度を遅くすることで対応

終わりに

たいへんなこともありましたが、充実した2日間でした。エンジニアとしても得るものがたくさんありました。 当日遊びに来てくださった方々や、制作の過程でご協力いただいた社内の非エンジニアの方々に、この場を借りてお礼申し上げます。ありがとうございました!

その他の記事

Other Articles

2019/08/14
Maker Faire Tokyo 2019でARゲームを出展しました

2019/07/25
夏休みだョ!WebAssembly Proposal全員集合!!

2019/07/08
鵜呑みにしないで! —— 書籍『クリーンアーキテクチャ』所感 ≪null 篇≫

2019/07/03
W3C Workshop on Web Games参加レポート

2019/06/28
TypeScriptでObject.assign()に正しい型をつける

2019/06/25
カブクエンジニア開発合宿に行ってきました 2019夏

2019/06/21
Hola! KubeCon Europe 2019の参加レポート

2019/06/19
Clean Resume きれいな環境できれいな履歴書を作成する

2019/05/20
[Web フロントエンド] 状態更新ロジックをフレームワークから独立させる

2019/04/16
C++のenable_shared_from_thisを使う

2019/04/12
OpenAPI 3 ファーストな Web アプリケーション開発(Python で API 編)

2019/04/08
WebGLでレイマーチングを使ったCSGを実現する

2019/04/02
『エンジニア採用最前線』に感化されて2週間でエンジニア主導の求人票更新フローを構築した話

2019/03/29
その1 Jetson TX2でk3s(枯山水)を動かしてみた

2019/03/27
任意のブラウザ上でJestで書いたテストを実行する

2019/02/08
TypeScript で “radian” と “degree” を間違えないようにする

2019/02/05
Python3でGoogle Cloud ML Engineをローカルで動作する方法

2019/01/18
SIGGRAPH Asia 2018 参加レポート

2019/01/08
お正月だョ!ECMAScript Proposal全員集合!!

2019/01/08
カブクエンジニア開発合宿に行ってきました 2018秋

2018/12/25
OpenAPI 3 ファーストな Web アプリケーション開発(環境編)

2018/12/23
いまMLKitカスタムモデル(TF Lite)は使えるのか

2018/12/21
[IoT] Docker on JetsonでMQTTを使ってCloud IoT Coreと通信する

2018/12/11
TypeScriptで実現する型安全な多言語対応(Angularを例に)

2018/12/05
GASでCompute Engineの時間に応じた自動停止/起動ツールを作成する 〜GASで簡単に好きなGoogle APIを叩く方法〜

2018/12/02
single quotes な Black を vendoring して packaging

2018/11/14
3次元データに2次元データの深層学習の技術(Inception V3, ResNet)を適用

2018/11/04
Node Knockout 2018 に参戦しました

2018/10/24
SIGGRAPH 2018参加レポート-後編(VR/AR)

2018/10/11
Angular 4アプリケーションをAngular 6に移行する

2018/10/05
SIGGRAPH 2018参加レポート-特別編(VR@50)

2018/10/03
Three.jsでVRしたい

2018/10/02
SIGGRAPH 2018参加レポート-前編

2018/09/27
ズーム可能なSVGを実装する方法の解説

2018/09/25
Kerasを用いた複数入力モデル精度向上のためのTips

2018/09/21
競技プログラミングの勉強会を開催している話

2018/09/19
Ladder Netwoksによる半教師あり学習

2018/08/02
Kerasを用いた複数時系列データを1つの深層学習モデルで学習させる方法

2018/07/26
Apollo GraphQLでWebサービスを開発してわかったこと

2018/07/19
【深層学習】時系列データに対する1次元畳み込み層の出力を可視化

2018/07/11
きたない requirements.txt から Pipenv への移行

2018/06/26
CSS Houdiniを味見する

2018/06/25
不確実性を考慮した時系列データ予測

2018/06/20
Google Colaboratory を自分のマシンで走らせる

2018/06/18
Go言語でWebAssembly

2018/06/15
カブクエンジニア開発合宿に行ってきました 2018春

2018/06/08
2018 年の tree shaking

2018/06/07
隠れマルコフモデル 入門

2018/05/30
DASKによる探索的データ分析(EDA)

2018/05/10
TensorFlowをソースからビルドする方法とその効果

2018/04/23
EGLとOpenGLを使用するコードのビルド方法〜libGLからlibOpenGLへ

2018/04/23
技術書典4にサークル参加してきました

2018/04/13
Python で Cura をバッチ実行するためには

2018/04/04
ARCoreで3Dプリント風エフェクトを実現する〜呪文による積層造形映像制作の舞台裏〜

2018/04/02
深層学習を用いた時系列データにおける異常検知

2018/04/01
音声ユーザーインターフェースを用いた新方式積層造形装置の提案

2018/03/31
Container builderでコンテナイメージをBuildしてSlackで結果を受け取る開発スタイルが捗る

2018/03/23
ngUpgrade を使って AngularJS から Angular に移行

2018/03/14
Three.jsのパフォーマンスTips

2018/02/14
C++17の新機能を試す〜その1「3次元版hypot」

2018/01/17
時系列データにおける異常検知

2018/01/11
異常検知の基礎

2018/01/09
three.ar.jsを使ったスマホAR入門

2017/12/17
Python OpenAPIライブラリ bravado-core の発展的な使い方

2017/12/15
WebAssembly(wat)を手書きする

2017/12/14
AngularJS を Angular に移行: ng-annotate 相当の機能を TypeScrpt ファイルに適用

2017/12/08
Android Thingsで4足ロボットを作る ~ Android ThingsとPCA9685でサーボ制御)

2017/12/06
Raspberry PIとDialogflow & Google Cloud Platformを利用した、3Dプリンターボット(仮)の開発 (概要編)

2017/11/20
カブクエンジニア開発合宿に行ってきました 2017秋

2017/10/19
Android Thingsを使って3Dプリント戦車を作ろう ① ハードウェア準備編

2017/10/13
第2回 魁!! GPUクラスタ on GKE ~PodからGPUを使う編~

2017/10/05
第1回 魁!! GPUクラスタ on GKE ~GPUクラスタ構築編~

2017/09/13
「Maker Faire Tokyo 2017」に出展しました。

2017/09/11
PyConJP2017に参加しました

2017/09/08
bravado-coreによるOpenAPIを利用したPythonアプリケーション開発

2017/08/23
OpenAPIのご紹介

2017/08/18
EuroPython2017で2名登壇しました。

2017/07/26
3DプリンターでLチカ

2017/07/03
Three.js r86で何が変わったのか

2017/06/21
3次元データへの深層学習の適用

2017/06/01
カブクエンジニア開発合宿に行ってきました 2017春

2017/05/08
Three.js r85で何が変わったのか

2017/04/10
GCPのGPUインスタンスでレンダリングを高速化

2017/02/07
Three.js r84で何が変わったのか

2017/01/27
Google App EngineのFlexible EnvironmentにTmpfsを導入する

2016/12/21
Three.js r83で何が変わったのか

2016/12/02
Three.jsでのクリッピング平面の利用

2016/11/08
Three.js r82で何が変わったのか

2016/12/17
SIGGRAPH 2016 レポート

2016/11/02
カブクエンジニア開発合宿に行ってきました 2016秋

2016/10/28
PyConJP2016 行きました

2016/10/17
EuroPython2016で登壇しました

2016/10/13
Angular 2.0.0ファイナルへのアップグレード

2016/10/04
Three.js r81で何が変わったのか

2016/09/14
カブクのエンジニアインターンシッププログラムについての詩

2016/09/05
カブクのエンジニアインターンとして3ヶ月でやった事 〜高橋知成の場合〜

2016/08/30
Three.js r80で何が変わったのか

2016/07/15
Three.js r79で何が変わったのか

2016/06/02
Vulkanを試してみた

2016/05/20
MakerGoの作り方

2016/05/08
TensorFlow on DockerでGPUを使えるようにする方法

2016/04/27
Blenderの3DデータをMinecraftに送りこむ

2016/04/20
Tensorflowを使ったDeep LearningにおけるGPU性能調査

→
←

関連職種

Recruit

バックエンドエンジニア(Python・Go)

業務内容

当ポジションは弊社Webサービスのバックエンド機能設計及び実装を担当します。 サービス毎の開発チームで2週間スプリントのスクラム開発を実施しています。 週次で開発チームミーティングを実施し、実装設計の相談や工数見積もりを行います。 全ての開発コードはレビューと自動テストによって品質を保っています。 また、リファクタリングやフレームワークのバージョンアップも開発フローに組込み、技術的負債を放置しない開発を目指しています。

フロントエンドエンジニア(TypeScript)

業務内容

当ポジションは弊社Webサービスのフロントエンド機能設計及び実装を担当します。 サービス毎の開発チームで2週間スプリントのスクラム開発を実施しています。 週次で開発チームミーティングを実施し、実装設計の相談や工数見積もりを行います。 全ての開発コードはレビューと自動テストによって品質を保っています。 また、リファクタリングやフレームワークのバージョンアップも開発フローに組込み、技術的負債を放置しない開発を目指しています。

インターン(Webエンジニア)

業務内容

業務から独立した、調査・研究系のタスクをおまかせしています。コードレビュー、 社内での報告会、 ブログ記事執筆を通して着実にスキルアップしていただくことを目指しています。 (希望があれば、プロダクトの開発業務もおまかせします。)

→
←

お客様のご要望に「Kabuku」はお応えいたします。
ぜひお気軽にご相談ください。

お電話でも受け付けております
03-6380-2750
営業時間:09:30~18:00
※土日祝は除く