ARCoreで3Dプリント風エフェクトを実現する〜呪文による積層造形映像制作の舞台裏〜

2018/04/04
このエントリーをはてなブックマークに追加

はじめに

カブクの甘いもの担当の高橋憲一です。

2018年の4月1日(エイプリルフール)に「音声ユーザーインターフェースを用いた新方式積層造形装置の提案」という記事をカブクのdeveloperブログで公開しました。その最後に呪文を唱えることによりモンスターを積層造形する動画が出てくるのですが、これはUnity + ARCoreで作ったAndroid用のARアプリにより実現しています。

この記事では、そのアプリに実装したARで3Dプリント風にオブジェクトが現れるエフェクトをUnityとARCoreで実現する方法について解説します。

実装するにあたって、クリップ面を下から上に動かしていけばできるだろうという見当はついていたのですが、ちょうど3D Printer Shader Effectというタイトルの解説ページを見つけたのでそちらを参考にしました。ただしARCoreを使ったシーンに適用する際にそのままではうまくいかなかった部分もありましたので、日本語での解説も含めてここにまとめておきます。

サンプルシーンに組み込む

解説するにあたり、Googleが提供するARCore SDK for Unityに含まれているサンプルシーンHelloARをビルドして実行できる環境が既にあることを前提に進めます。このサンプルシーンはARCoreで認識した平面を画面上でタップするとドロイドのオブジェクトが表示されるというものなのですが、そのままではオブジェクト出現時のエフェクトはなくパッと現れます。これに3Dプリント(積層造形)風に下から上に徐々に現れるというエフェクトを組み込んでいきます。

指定したY座標のX-Z平面でクリッピングするシェーダーの記述と、そのY座標の値をフレームごとに移動させるスクリプトを組み合わせることで実現しています。
使用したUnityのバージョンは2017.3.0f3、動作検証はGalaxy Note8で行いました。

シェーダーの編集

サンプルに含まれるARCore/DiffuseWithLightEstimationというシェーダー (Assets/GoogleARCore/Examples/HelloARの下のMaterials/Shadersがシェーダーのフォルダで、MobileDiffuseWithLightEstimationがそれです) をコピーし、下記のように編集します。(オリジナルとの差分を見ていただく方が分かりやすいかもしれません)


6〜8行目、22〜24行目:

次の3つのプロパティを追加します。

  • _ConstructY … クリッピングするY座標の値
  • _ConstructGap … 積層していく際に色を変える境界の高さ
  • _ConstructColor … 積層していく際の境界の色

これらのプロパティは描画時のオブジェクトに対して下図のように作用します。

15行目:

通常は描画パフォーマンスを上げるために見えない面(ポリゴンの裏側)は描画しないようしています(カリングON)が、造形途中のポリゴンの裏側を見せるようにするためにCull Offを入れます。

29行目:

組み込みサーフェイスシェーダー変数worldPosをInput構造体に追加して、ピクセルのワールド位置を取得できるようにします。

39〜42行目:

ピクセルのワールド位置のY座標の値が「クリッピングするY座標 + 境界の高さ」より大きい(クリッピングする位置より高い位置にある)場合、discardして描画しないようにします。

44〜48行目:

ピクセルのワールド位置のY座標の値がクリッピングするY座標より小さい場合、通常描画の対象としてテクスチャからの色を反映します。

49〜52行目:

ピクセルのワールド位置のY座標の値がクリッピングするY座標の値以上の場合、境界部分の描画対象として境界の色を反映します。

スクリプトのの追加と編集

ドロイドのオブジェクトは、Unityのエディタ上ではProjectウィンドウのAssets/GoogleARCore/Examples/HelloARの下にPrefabsというフォルダがあり、その配下にAndyという名前のプレハブとして存在しています。これを編集して独自のプレハブとするために、一旦Hierarchyウィンドウにドラッグ&ドロップして、下図のようにAndyPと名前を変更します。



上図のようにAndyPの下の階層を開いてAndy_GEOを選択します。
ここでInspectorウィンドウで [Add Component] → [New Script]の順に選択して新しいスクリプトを追加して、BuildingTimerと名前をつけます。BuildingTimerをダブルクリックしてエディタが開いたら、次のように編集します。


Start () メソッド

画面をタップしてオブジェクトが生成される際に1度実行されます。

15〜16行目:

このスクリプトが関連づけられたオブジェクトのマテリアルを複製して保持します。
マテリアルに設定したシェーダーのプロパティ(クリッピング位置のY座標)を操作するため、そのままでは複数のオブジェクトを表示した場合すべて連動してしまいます(既に表示済みのオブジェクトに対してもエフェクトがかけられることになります)。それを防ぐための処理です。

17〜20行目:

オブジェクトのバウンディングボックスのサイズを取得し、Y座標の変化の範囲として接地面(最小値)から頭のてっぺん(最大値)までを設定します。
注意する必要があるのは、接地面であるARCoreで取得した平面のY座標(高さ方向)です。参考にしたサイトのコードでは接地面はのY座標は0の前提で作られていました。ここでは最小値と最大値にワールド空間でのY方向のオフセット値(transform.position.y、positionはタップしてオブジェクトが配置される際に与えられます)を加えることで高さを合わせてあります。

21行目:

クリッピング位置の初期値(接地面である最小値)をマテリアルに設定することでシェーダーに渡します。

23行目:

オブジェクトの配置時点からエフェクトを開始するために、現在の時間を保存してアニメーションの開始時間とします。

Update () メソッド

オブジェクトの生成後、起動中は毎フレーム実行される部分です。

28行目:

clipY < maxYという条件を入れることで、最大値(頭のてっぺん)に到達したらそれ以降クリップするY座標値は変化しないようにします。

29行目:

線形補間関数(Mathf.Lerp)を使って、クリッピング位置の最小値から最大値の間の経過時間に応じた値を求めます。

30行目:

求めたクリッピング位置の値をシェーダーに渡します。

シェーダーの変更

設定してあるシェーダーを先ほど編集した3DPrint/ARCore/DiffuseWithLightEstimationに変更します。
InspectorウィンドウのAndyMaterialコンポーネントのShaderの右側のメニューを押し、[3DPrint]→[ARCore]の[DiffuseWithLightEstimation]の順に選択します。先ほどシェーダーに追加したConstruct Y, Gap, Colorの各プロパティがInspectorから設定可能になります。

ここまでの作業でAndy_GEOのInspectorウィンドウは下図のようになります。
Building Timer (Script)のDurationや、AndyMaterialのConstruct GapやConstruct Colorは適宜調整してみてください。

プレハブの設定

ここでSceneビューでAndyPが見える状態でUnityのエディタのプレビューを押すと、3Dプリント風のエフェクトの確認ができるはずです。問題ないようなら、AndyPをHierarchyウィンドウからProjectウィンドウのAssetsの下にドラッグ&ドロップして新たにプレハブ化します。HierarchyウィンドウにあるAndyPは削除しておきます。

あとはHierarchyウィンドウでExampleControllerを選択し、InspectorウィンドウのHello AR Controller (Script)コンポーネントの[Andy Android Prefab]に先ほど作成したAndyPプレハブをProjectウィンドウからドラッグ&ドロップすれば完了です。

最後に

ARCoreでオブジェクトを表示するときのエフェクトとして思いの外よい効果を得ることができました。今後の機会でARCoreによるアプリをデモする際にも使っていこうと思います。
カブクでは来年のエイプリルフールネタを一緒に考えてくれるような遊び心を持つエンジニアを募集しております。

P.S.

筆者(高橋)は、5月7日から9日にかけて開催されるUnite Tokyo 2018ARCoreについてのセッションでスピーカーを務めることになりました。サンプルを動かしてみた後にその先へ進む際のヒントになるような話をしたいと思っていますので、良ければそちらの方もよろしくお願いします。

その他の記事

Other Articles

2019/06/25
カブクエンジニア開発合宿に行ってきました 2019夏


Hola! KubeCon Europe 2019の参加レポート

2019/06/19
Clean Resume きれいな環境できれいな履歴書を作成する

2019/05/20
[Web フロントエンド] 状態更新ロジックをフレームワークから独立させる

2019/04/16
C++のenable_shared_from_thisを使う

2019/04/12
OpenAPI 3 ファーストな Web アプリケーション開発(Python で API 編)

2019/04/08
WebGLでレイマーチングを使ったCSGを実現する

2019/04/02
『エンジニア採用最前線』に感化されて2週間でエンジニア主導の求人票更新フローを構築した話

2019/03/29
その1 Jetson TX2でk3s(枯山水)を動かしてみた

2019/03/27
任意のブラウザ上でJestで書いたテストを実行する

2019/02/08
TypeScript で “radian” と “degree” を間違えないようにする

2019/02/05
Python3でGoogle Cloud ML Engineをローカルで動作する方法

2019/01/18
SIGGRAPH Asia 2018 参加レポート

2019/01/08
お正月だョ!ECMAScript Proposal全員集合!!

2019/01/08
カブクエンジニア開発合宿に行ってきました 2018秋

2018/12/25
OpenAPI 3 ファーストな Web アプリケーション開発(環境編)

2018/12/23
いまMLKitカスタムモデル(TF Lite)は使えるのか

2018/12/21
[IoT] Docker on JetsonでMQTTを使ってCloud IoT Coreと通信する

2018/12/11
TypeScriptで実現する型安全な多言語対応(Angularを例に)

2018/12/05
GASでCompute Engineの時間に応じた自動停止/起動ツールを作成する 〜GASで簡単に好きなGoogle APIを叩く方法〜

2018/12/02
single quotes な Black を vendoring して packaging

2018/11/14
3次元データに2次元データの深層学習の技術(Inception V3, ResNet)を適用

2018/11/04
Node Knockout 2018 に参戦しました

2018/10/24
SIGGRAPH 2018参加レポート-後編(VR/AR)

2018/10/11
Angular 4アプリケーションをAngular 6に移行する

2018/10/05
SIGGRAPH 2018参加レポート-特別編(VR@50)

2018/10/03
Three.jsでVRしたい

2018/10/02
SIGGRAPH 2018参加レポート-前編

2018/09/27
ズーム可能なSVGを実装する方法の解説

2018/09/25
Kerasを用いた複数入力モデル精度向上のためのTips

2018/09/21
競技プログラミングの勉強会を開催している話

2018/09/19
Ladder Netwoksによる半教師あり学習

2018/08/10
「Maker Faire Tokyo 2018」に出展しました

2018/08/02
Kerasを用いた複数時系列データを1つの深層学習モデルで学習させる方法

2018/07/26
Apollo GraphQLでWebサービスを開発してわかったこと

2018/07/19
【深層学習】時系列データに対する1次元畳み込み層の出力を可視化

2018/07/11
きたない requirements.txt から Pipenv への移行

2018/06/26
CSS Houdiniを味見する

2018/06/25
不確実性を考慮した時系列データ予測

2018/06/20
Google Colaboratory を自分のマシンで走らせる

2018/06/18
Go言語でWebAssembly

2018/06/15
カブクエンジニア開発合宿に行ってきました 2018春

2018/06/08
2018 年の tree shaking

2018/06/07
隠れマルコフモデル 入門

2018/05/30
DASKによる探索的データ分析(EDA)

2018/05/10
TensorFlowをソースからビルドする方法とその効果

2018/04/23
EGLとOpenGLを使用するコードのビルド方法〜libGLからlibOpenGLへ

2018/04/23
技術書典4にサークル参加してきました

2018/04/13
Python で Cura をバッチ実行するためには

2018/04/02
深層学習を用いた時系列データにおける異常検知

2018/04/01
音声ユーザーインターフェースを用いた新方式積層造形装置の提案

2018/03/31
Container builderでコンテナイメージをBuildしてSlackで結果を受け取る開発スタイルが捗る

2018/03/23
ngUpgrade を使って AngularJS から Angular に移行

2018/03/14
Three.jsのパフォーマンスTips

2018/02/14
C++17の新機能を試す〜その1「3次元版hypot」

2018/01/17
時系列データにおける異常検知

2018/01/11
異常検知の基礎

2018/01/09
three.ar.jsを使ったスマホAR入門

2017/12/17
Python OpenAPIライブラリ bravado-core の発展的な使い方

2017/12/15
WebAssembly(wat)を手書きする

2017/12/14
AngularJS を Angular に移行: ng-annotate 相当の機能を TypeScrpt ファイルに適用

2017/12/08
Android Thingsで4足ロボットを作る ~ Android ThingsとPCA9685でサーボ制御)

2017/12/06
Raspberry PIとDialogflow & Google Cloud Platformを利用した、3Dプリンターボット(仮)の開発 (概要編)

2017/11/20
カブクエンジニア開発合宿に行ってきました 2017秋

2017/10/19
Android Thingsを使って3Dプリント戦車を作ろう ① ハードウェア準備編

2017/10/13
第2回 魁!! GPUクラスタ on GKE ~PodからGPUを使う編~

2017/10/05
第1回 魁!! GPUクラスタ on GKE ~GPUクラスタ構築編~

2017/09/13
「Maker Faire Tokyo 2017」に出展しました。

2017/09/11
PyConJP2017に参加しました

2017/09/08
bravado-coreによるOpenAPIを利用したPythonアプリケーション開発

2017/08/23
OpenAPIのご紹介

2017/08/18
EuroPython2017で2名登壇しました。

2017/07/26
3DプリンターでLチカ

2017/07/03
Three.js r86で何が変わったのか

2017/06/21
3次元データへの深層学習の適用

2017/06/01
カブクエンジニア開発合宿に行ってきました 2017春

2017/05/08
Three.js r85で何が変わったのか

2017/04/10
GCPのGPUインスタンスでレンダリングを高速化

2017/02/07
Three.js r84で何が変わったのか

2017/01/27
Google App EngineのFlexible EnvironmentにTmpfsを導入する

2016/12/21
Three.js r83で何が変わったのか

2016/12/02
Three.jsでのクリッピング平面の利用

2016/11/08
Three.js r82で何が変わったのか

2016/12/17
SIGGRAPH 2016 レポート

2016/11/02
カブクエンジニア開発合宿に行ってきました 2016秋

2016/10/28
PyConJP2016 行きました

2016/10/17
EuroPython2016で登壇しました

2016/10/13
Angular 2.0.0ファイナルへのアップグレード

2016/10/04
Three.js r81で何が変わったのか

2016/09/14
カブクのエンジニアインターンシッププログラムについての詩

2016/09/05
カブクのエンジニアインターンとして3ヶ月でやった事 〜高橋知成の場合〜

2016/08/30
Three.js r80で何が変わったのか

2016/07/15
Three.js r79で何が変わったのか

2016/06/02
Vulkanを試してみた

2016/05/20
MakerGoの作り方

2016/05/08
TensorFlow on DockerでGPUを使えるようにする方法

2016/04/27
Blenderの3DデータをMinecraftに送りこむ

2016/04/20
Tensorflowを使ったDeep LearningにおけるGPU性能調査

→
←

関連職種

Recruit

バックエンドエンジニア(Python・Go)

業務内容

当ポジションは弊社Webサービスのバックエンド機能設計及び実装を担当します。 サービス毎の開発チームで2週間スプリントのスクラム開発を実施しています。 週次で開発チームミーティングを実施し、実装設計の相談や工数見積もりを行います。 全ての開発コードはレビューと自動テストによって品質を保っています。 また、リファクタリングやフレームワークのバージョンアップも開発フローに組込み、技術的負債を放置しない開発を目指しています。

フロントエンドエンジニア(TypeScript)

業務内容

当ポジションは弊社Webサービスのフロントエンド機能設計及び実装を担当します。 サービス毎の開発チームで2週間スプリントのスクラム開発を実施しています。 週次で開発チームミーティングを実施し、実装設計の相談や工数見積もりを行います。 全ての開発コードはレビューと自動テストによって品質を保っています。 また、リファクタリングやフレームワークのバージョンアップも開発フローに組込み、技術的負債を放置しない開発を目指しています。

機械学習エンジニア

業務内容

センサーデータの分析モデルの調査・研究・開発。 Kabuku Connectの製造データ(3D、2D)から情報を抽出するモデルの構築。 データの前処理や学習、ハイパーパラメータチューニング、獲得モデルの評価、プロダクションのデータパイプラインとの連携をお願いします。

インターン(Webエンジニア)

業務内容

業務から独立した、調査・研究系のタスクをおまかせしています。コードレビュー、 社内での報告会、 ブログ記事執筆を通して着実にスキルアップしていただくことを目指しています。 (希望があれば、プロダクトの開発業務もおまかせします。)

→
←

お客様のご要望に「Kabuku」はお応えいたします。
ぜひお気軽にご相談ください。

お電話でも受け付けております
03-6380-2750
営業時間:09:30~18:00
※土日祝は除く