受付のLooking Glassに加えたひと工夫

2020/02/14
このエントリーをはてなブックマークに追加

はじめに

カブクの甘いもの担当の高橋憲一です。
カブクの受付にはヘッドマウントディスプレイなどを被らずとも裸眼立体視ができるディスプレイであるLooking Glassが設置してあります。
3Dのデータを扱うサービスを提供している会社ですので、関係した3Dモデルを来訪いただいた方に見てもらえるよう表示しておけたら良いだろうということで置いたものです(Z軸を触るエンジニアとしていろいろ実験したかったということもありますw)。

左側と右側で別のものが見える

ただ単純に3Dモデルを表示して回転する程度ではつまらないと思ったため、右側から見ると通常のモデル、左側から見るとそのモデルの構造がわかるようなフレームのみのモデルが見えるようにひと工夫加えました。
受付に入ってくるとまずLooking Glassが見えて…

「何か表示されている」

受付登録用のiPadに向かって進んで行くとワイヤフレームが見え始めて…

「ん?何か変わった」

と気づいて足を止めて見ていただけるようになっています。

ヒントになったもの

この仕組みを思いつくにあたりヒントになったものがありました。
カブクでは2019年の春にLooking Glassを設置することが決まったのですが、先を行く人たちはどういうものを作っているのだろうとネタを求めて2019年の4月に開催されたLooking Glassハッカソンの成果展示の場に参加したところ、こんなものを見つけました(当日の私のツイートです)

Look’in Baseballという作品で、こんなこともできるのか!と強く興味をひかれ、どうやって実現しているのか聞いてみるとUnity用のSDKに手を入れたとのこと。それなら私にもできるかも…と、手元にLooking Glassが届くころにちょうど開催されたカブクの2019年夏の開発合宿でSDKの中身にダイブして実装しました。

実装方法

Looking GlassのUnity用SDKに少し手を加えることで実現しています。SDKはこのブログ執筆時点で最新のバージョンであるHoloplay 1.2.1を使っています。
Look’in Baseballでは一つのシーンで視点を切り替えるということをしていましたが、ここでやりたいことは2つの3Dモデルを用意して右と左で表示するものを切り替えるということです。

Looking Glassの仕組み

Looking Glassで立体視を実現する仕組みを見てみます。PCの側で1フレームあたり左右の方向に位置をずらした45(デフォルト設定の値で変更可能)の視点でレンダリングしたイメージ(Quiltと呼ばれています)を作成し、それをLooking Glassで表示するとレンチキュラーレンズの効果で右目と左目それぞれの位置に対応した別々の視点の絵が見えることで立体に見えるようになっています(非常にざっくりとした説明ですみません。詳細は公式の解説を読んでいただければと思います)。
dinosaur_quilt

45の恐竜の画像が少しずつ異なる視点でレンダリングされているのがおわかりいただけると思います。この45視点分のイメージを作成する部分に処理を加えれば右半分と左半分で表示するモデルを切り替えることができます。

手を加えた箇所

実際に視点数分の処理を行っているのはSDKをインポートした際にできるAssets/Holoplay/Scriptsのディレクトリの下にあるHoloplay.csというスクリプトで、この中のpublic void RenderQuiltというメソッドでquiltSettings.numViews(特に設定を変えていなければ45)という視点数分のループをしている箇所があります。

変数の追加

Holoplayクラスに3つのメンバ変数を追加します。

public bool splitView = false; // 左右別モデル表示のON/OFF
public GameObject leftModel;   // 左側用のモデルのGameObject
public GameObject rightModel;  // 右側用のモデルのGameObject
処理の追加

public void RenderQuiltの視点数分のループの中に処理を追加します。
ループの最初の回で右側用モデルをアクティブにして左側用モデルを非アクティブに、中間となる45/2回目では左側用モデルをアクティブにして右側用モデルを非アクティブにするという処理を行っています(日本語のコメントは解説用に追加したものです)。

// render the views
// 視点数分のループ
for (int i = 0; i < quiltSettings.numViews; i++) {
    if (i % ViewInterpolation != 0 &&
        i != quiltSettings.numViews - 1)
        continue;
    // onViewRender
    if (onViewRender != null)
        onViewRender.Invoke(this, i);

    // 追加した部分はここから
    if (splitView)
    {
        if (i == 0)
        {   // ループの前半の回は
            // 右側用モデルのみレンダリングされるようにする
            leftModel.SetActive(false);
            rightModel.SetActive(true);
        } else if (i == quiltSettings.numViews / 2)
        {   // ループの後半の回は
            // 左側用モデルのみレンダリングされるようにする
            leftModel.SetActive(true);
            rightModel.SetActive(false);
        }
    }
    // 追加した部分はここまで

    // ...途中省略...

    // move the camera
    //ループのカウントに応じてカメラの位置をずらしてレンダリングする
    var viewMatrix = centerViewMatrix;
    var projMatrix = centerProjMatrix;
    float currentViewLerp = 0f; // if numviews is 1, take center view
    if (quiltSettings.numViews > 1)
        currentViewLerp = (float)i /
            (quiltSettings.numViews - 1) - 0.5f;
        viewMatrix.m03 += currentViewLerp * viewConeSweep;
        projMatrix.m02 += 
            currentViewLerp * viewConeSweep * projModifier;
        cam.worldToCameraMatrix = viewMatrix;
        cam.projectionMatrix = projMatrix;
        // render and copy the quilt
        cam.Render();
        // copy to quilt
        // Quilt画像に1視点分のレンダリング結果をコピーする
        CopyViewToQuilt(i, viewRT, quiltRT);
        CopyViewToQuilt(i, viewRTDepth, quiltRTDepth);

        // ...以下省略...
Unityのエディタでの設定

public変数を追加したことで次の3つの設定項目が増えます。
* 左右別モデル表示のON/OFF
* 左側用のモデルのGameObject
* 右側用のモデルのGameObject

holoplay parameters

シーンには右側用と左側用の2つのモデルを追加しておき、左側用のモデルはLeft Modelに、右側用のモデルはRight Modelに、それぞれヒエラルキーウィンドウからインスペクターウィンドウにドラッグ&ドロップして設定します。

models to holoplay

これで出来上がるQuiltイメージは次のようになります。前半の23個は右側用、後半の22個は左側用のモデルがレンダリングされています。
dinosaur_bones_quilt

表示結果

2020年2月10日に開催された第4回Looking Glass勉強会で展示したものです(モデルはUnityのAsset Storeで見つけたものを使用しました)。右から見ると表皮のモデル、左からだと骨格が見えるというちょっと不思議な裸眼立体視に仕上がりました。

最後に

暇を見つけてはちょろちょろと改善を施してはいるのですが「自分ならもっと面白くて良いものを作れるぜ」というような、Z軸を触るのが大好きなエンジニアの方をお待ちしております。

その他の記事

Other Articles

2020/08/26
TypeScriptで関数の部分型を理解しよう

2020/06/16
[Web フロントエンド] esbuild が爆速すぎて webpack / Rollup にはもう戻れない

2020/03/19
[Web フロントエンド] Elm に心折れ Mint に癒しを求める

2020/02/28
さようなら、TypeScript enum

2020/01/28
カブクエンジニア開発合宿に行ってきました 2020冬

2020/01/30
Renovateで依存ライブラリをリノベーションしよう 〜 Bitbucket編 〜

2019/12/27
Cloud Tasks でも deferred ライブラリが使いたい

2019/12/25
*, ::before, ::after { flex: none; }

2019/12/21
Top-level awaitとDual Package Hazard

2019/12/20
Three.jsからWebGLまで行きて帰りし物語

2019/12/18
Three.jsに入門+手を検出してAR.jsと組み合わせてみた

2019/12/04
WebXR AR Paint その2

2019/11/06
GraphQLの入門書を翻訳しました

2019/09/20
Kabuku Connect 即時見積機能のバックエンド開発

2019/08/14
Maker Faire Tokyo 2019でARゲームを出展しました

2019/07/25
夏休みだョ!WebAssembly Proposal全員集合!!

2019/07/08
鵜呑みにしないで! —— 書籍『クリーンアーキテクチャ』所感 ≪null 篇≫

2019/07/03
W3C Workshop on Web Games参加レポート

2019/06/28
TypeScriptでObject.assign()に正しい型をつける

2019/06/25
カブクエンジニア開発合宿に行ってきました 2019夏

2019/06/21
Hola! KubeCon Europe 2019の参加レポート

2019/06/19
Clean Resume きれいな環境できれいな履歴書を作成する

2019/05/20
[Web フロントエンド] 状態更新ロジックをフレームワークから独立させる

2019/04/16
C++のenable_shared_from_thisを使う

2019/04/12
OpenAPI 3 ファーストな Web アプリケーション開発(Python で API 編)

2019/04/08
WebGLでレイマーチングを使ったCSGを実現する

2019/04/02
『エンジニア採用最前線』に感化されて2週間でエンジニア主導の求人票更新フローを構築した話

2019/03/29
その1 Jetson TX2でk3s(枯山水)を動かしてみた

2019/03/27
任意のブラウザ上でJestで書いたテストを実行する

2019/02/08
TypeScript で “radian” と “degree” を間違えないようにする

2019/02/05
Python3でGoogle Cloud ML Engineをローカルで動作する方法

2019/01/18
SIGGRAPH Asia 2018 参加レポート

2019/01/08
お正月だョ!ECMAScript Proposal全員集合!!

2019/01/08
カブクエンジニア開発合宿に行ってきました 2018秋

2018/12/25
OpenAPI 3 ファーストな Web アプリケーション開発(環境編)

2018/12/23
いまMLKitカスタムモデル(TF Lite)は使えるのか

2018/12/21
[IoT] Docker on JetsonでMQTTを使ってCloud IoT Coreと通信する

2018/12/11
TypeScriptで実現する型安全な多言語対応(Angularを例に)

2018/12/05
GASでCompute Engineの時間に応じた自動停止/起動ツールを作成する 〜GASで簡単に好きなGoogle APIを叩く方法〜

2018/12/02
single quotes な Black を vendoring して packaging

2018/11/14
3次元データに2次元データの深層学習の技術(Inception V3, ResNet)を適用

2018/11/04
Node Knockout 2018 に参戦しました

2018/10/24
SIGGRAPH 2018参加レポート-後編(VR/AR)

2018/10/11
Angular 4アプリケーションをAngular 6に移行する

2018/10/05
SIGGRAPH 2018参加レポート-特別編(VR@50)

2018/10/03
Three.jsでVRしたい

2018/10/02
SIGGRAPH 2018参加レポート-前編

2018/09/27
ズーム可能なSVGを実装する方法の解説

2018/09/25
Kerasを用いた複数入力モデル精度向上のためのTips

2018/09/21
競技プログラミングの勉強会を開催している話

2018/09/19
Ladder Netwoksによる半教師あり学習

2018/08/10
「Maker Faire Tokyo 2018」に出展しました

2018/08/02
Kerasを用いた複数時系列データを1つの深層学習モデルで学習させる方法

2018/07/26
Apollo GraphQLでWebサービスを開発してわかったこと

2018/07/19
【深層学習】時系列データに対する1次元畳み込み層の出力を可視化

2018/07/11
きたない requirements.txt から Pipenv への移行

2018/06/26
CSS Houdiniを味見する

2018/06/25
不確実性を考慮した時系列データ予測

2018/06/20
Google Colaboratory を自分のマシンで走らせる

2018/06/18
Go言語でWebAssembly

2018/06/15
カブクエンジニア開発合宿に行ってきました 2018春

2018/06/08
2018 年の tree shaking

2018/06/07
隠れマルコフモデル 入門

2018/05/30
DASKによる探索的データ分析(EDA)

2018/05/10
TensorFlowをソースからビルドする方法とその効果

2018/04/23
EGLとOpenGLを使用するコードのビルド方法〜libGLからlibOpenGLへ

2018/04/23
技術書典4にサークル参加してきました

2018/04/13
Python で Cura をバッチ実行するためには

2018/04/04
ARCoreで3Dプリント風エフェクトを実現する〜呪文による積層造形映像制作の舞台裏〜

2018/04/02
深層学習を用いた時系列データにおける異常検知

2018/04/01
音声ユーザーインターフェースを用いた新方式積層造形装置の提案

2018/03/31
Container builderでコンテナイメージをBuildしてSlackで結果を受け取る開発スタイルが捗る

2018/03/23
ngUpgrade を使って AngularJS から Angular に移行

2018/03/14
Three.jsのパフォーマンスTips

2018/02/14
C++17の新機能を試す〜その1「3次元版hypot」

2018/01/17
時系列データにおける異常検知

2018/01/11
異常検知の基礎

2018/01/09
three.ar.jsを使ったスマホAR入門

2017/12/17
Python OpenAPIライブラリ bravado-core の発展的な使い方

2017/12/15
WebAssembly(wat)を手書きする

2017/12/14
AngularJS を Angular に移行: ng-annotate 相当の機能を TypeScrpt ファイルに適用

2017/12/08
Android Thingsで4足ロボットを作る ~ Android ThingsとPCA9685でサーボ制御)

2017/12/06
Raspberry PIとDialogflow & Google Cloud Platformを利用した、3Dプリンターボット(仮)の開発 (概要編)

2017/11/20
カブクエンジニア開発合宿に行ってきました 2017秋

2017/10/19
Android Thingsを使って3Dプリント戦車を作ろう ① ハードウェア準備編

2017/10/13
第2回 魁!! GPUクラスタ on GKE ~PodからGPUを使う編~

2017/10/05
第1回 魁!! GPUクラスタ on GKE ~GPUクラスタ構築編~

2017/09/13
「Maker Faire Tokyo 2017」に出展しました。

2017/09/11
PyConJP2017に参加しました

2017/09/08
bravado-coreによるOpenAPIを利用したPythonアプリケーション開発

2017/08/23
OpenAPIのご紹介

2017/08/18
EuroPython2017で2名登壇しました。

2017/07/26
3DプリンターでLチカ

2017/07/03
Three.js r86で何が変わったのか

2017/06/21
3次元データへの深層学習の適用

2017/06/01
カブクエンジニア開発合宿に行ってきました 2017春

2017/05/08
Three.js r85で何が変わったのか

2017/04/10
GCPのGPUインスタンスでレンダリングを高速化

2017/02/07
Three.js r84で何が変わったのか

2017/01/27
Google App EngineのFlexible EnvironmentにTmpfsを導入する

2016/12/21
Three.js r83で何が変わったのか

2016/12/02
Three.jsでのクリッピング平面の利用

2016/11/08
Three.js r82で何が変わったのか

2016/12/17
SIGGRAPH 2016 レポート

2016/11/02
カブクエンジニア開発合宿に行ってきました 2016秋

2016/10/28
PyConJP2016 行きました

2016/10/17
EuroPython2016で登壇しました

2016/10/13
Angular 2.0.0ファイナルへのアップグレード

2016/10/04
Three.js r81で何が変わったのか

2016/09/14
カブクのエンジニアインターンシッププログラムについての詩

2016/09/05
カブクのエンジニアインターンとして3ヶ月でやった事 〜高橋知成の場合〜

2016/08/30
Three.js r80で何が変わったのか

2016/07/15
Three.js r79で何が変わったのか

2016/06/02
Vulkanを試してみた

2016/05/20
MakerGoの作り方

2016/05/08
TensorFlow on DockerでGPUを使えるようにする方法

2016/04/27
Blenderの3DデータをMinecraftに送りこむ

2016/04/20
Tensorflowを使ったDeep LearningにおけるGPU性能調査

→
←

関連職種

Recruit

バックエンドエンジニア(Python・Go)

業務内容

当ポジションは弊社Webサービスのバックエンド機能設計及び実装を担当します。 サービス毎の開発チームで2週間スプリントのスクラム開発を実施しています。 週次で開発チームミーティングを実施し、実装設計の相談や工数見積もりを行います。 全ての開発コードはレビューと自動テストによって品質を保っています。 また、リファクタリングやフレームワークのバージョンアップも開発フローに組込み、技術的負債を放置しない開発を目指しています。

フロントエンドエンジニア(TypeScript)

業務内容

当ポジションは弊社Webサービスのフロントエンド機能設計及び実装を担当します。 サービス毎の開発チームで2週間スプリントのスクラム開発を実施しています。 週次で開発チームミーティングを実施し、実装設計の相談や工数見積もりを行います。 全ての開発コードはレビューと自動テストによって品質を保っています。 また、リファクタリングやフレームワークのバージョンアップも開発フローに組込み、技術的負債を放置しない開発を目指しています。

インターン(Webエンジニア)

業務内容

業務から独立した、調査・研究系のタスクをおまかせしています。コードレビュー、 社内での報告会、 ブログ記事執筆を通して着実にスキルアップしていただくことを目指しています。 (希望があれば、プロダクトの開発業務もおまかせします。)

→
←

お客様のご要望に「Kabuku」はお応えいたします。
ぜひお気軽にご相談ください。

お電話でも受け付けております
03-6380-2750
営業時間:09:30~18:00
※土日祝は除く