Blenderの3DデータをMinecraftに送りこむ

2016/04/27
このエントリーをはてなブックマークに追加

カブクのエンジニアはこんなことしてます

こんにちは、カブクの唐揚げ担当の和田です。

「カブクのエンジニアが普段何をしているのか」ということを知ってもらうために始めたエンジニアブログですが、各エンジニアがもちまわりで書くということになり、今週もカブクのビジネスとは関係ない最近作ったものの話をいたします。

作ったもの

Blender内の3Dデータをブロック群に変換し、それをMinecraftに転送するというBlenderのアドオンを作りました。こちらのアドオンはgithubで公開しています。

そもそも

今回は、BlenderとMinecraftを組み合わせるわけですが、これらについてちょいとご説明いたします。

Blenderって

Blenderはオープンソースの無料で誰でも使える3DCGソフトウェアです。ここ何十年、3DCGや3Dプリンタがもてはやされておりますが、その中心にある要素の一つが「3Dデータの作成」であり、このようなツールを使って作成します。

Minecraftって

Minecraftは、スウェーデンのMojang ABという会社(現在はMicrosoftが買収)がつくったゲームで、仮想空間上にブロックやらパーツを積み上げて、建物やオブジェクトを作っていくゲームです。最近は お子様にも大変人気があり、いろいろな攻略本とかも販売されているみたいです。小さいころにボンバーマンの戦略本を読みふけっていた頃が思い出されます。

プログラムの構成

基本的な流れとしては、↓のようなかんじです。下図の2つの部分について詳細に見ていきましょう。

プログラム概要

ブロック化処理

ブロック化は、Octreeをつかって作成した各ブロックに元の3Dデータの色を彩色するという流れです。

ブロック化処理の流れ

前処理

ここではポリゴンの削減や、後々に使うデータの事前作成を行います。

  • ポリゴンの削減: メッシュ交錯判定時の計算量を減らすため、元データのポリゴンを削減します
  • kd木の作成: 色情報の取得に使用するkd木を作成します
  • 色データの収集: 彩色処理をやりやすくなるように、元データの色情報を変換しておきます

ソースコード的にはこの辺り↓ (convert2block.py)

# Initial procedure
self.__calc_decimated()
self.__build_src_kd()
self.__create_color_dict()

Octreeの作成とメッシュ交錯判定

Octreeは立方体領域を、xyz方向にそれぞれ2分割(合計8分割)し、8つの立方体領域に分割するという考え方です。プログラム内では、create_new_octree(box)というメソッドで行っています。

Octreeのイメージ

Octreeで立方体を作成しつつ、それぞれの立方体が元データのメッシュと交錯するかの判定を行います。交錯する場合にはその立方体を残し、その立方体をさらに8分割し同様の処理を繰り返します(再帰処理)。交錯しない場合には、その立方体は無視されます。

交錯判定はBlenderの BVHTreeユーティリティoverlapメソッドで可能です。プログラム内では、check_if_overlap(obj, box)というメソッドで行っています。 この部分の処理は立方体毎に独立した処理になるので、アドオン内部では並列処理されます(Pythonによるマルチプロセス処理)。また再帰的に行うことができる処理なので、Octreeの深さを引数で渡し、再帰処理を行います。

ソースコード的にはこの辺り↓ (convert2block.py)

def invoke_create_voxel(self, obj, box, max_depth):
# Calc unit length
self.unit = (box[1].z - box[0].z) / float(2 ** max_depth)

overlap = Converter.check_if_overlap(obj, box)
if overlap:
    boxes = Converter.create_new_octree(box)
    jobs = []
    for child in boxes:
        p = Process(
            target=self.create_voxel,
            args=(obj, child, 1, self.voxel_list, max_depth)
        )
        jobs.append(p)
        p.start()

    [job.join() for job in jobs]

各ブロックの色情報の取得

色情報の取得には、前処理で作成したkd木を使用します。こちらはBlenderの KDTreeユーティリティfindメソッドを利用します。Octree処理で作成された各立方体毎に元の3Dデータの近接点の色情報を取得します。 この処理も立方体毎に独立した処理になるので、アドオン内部では並列処理されます。

ソースコード的にはこの辺り↓ (convert2block.py)

# Find closest color
co, index, dist = self.src_kd.find(voxel[0])
if self.decimated.data.vertex_colors:
    rgb = self.decimated.data.vertex_colors["Col"].data[self.color_dict[index]].color
else:
    rgb = (1.0, 1.0, 1.0)  # White

ブロックの描画

ここでは前のプロセスで計算された立方体の頂点と色情報をもとに、実際の3Dデータとしての色付き立方体を作成します。並行して、のちのちMinecraftに送信しやすいような形でデータ作成して戻り値として返します。また、ここの処理はBlenderの表示系に関わる部分となり、並列化出来ないので、描画する立方体の数に比例して処理時間がかかります。

Octreeを変更してブロック化処理を実行してみた結果が↓です。(ちなみに元データは メンバーページで閲覧できる僕です)既にみなさまお気づきかと思いますが、Octreeの数はtreeの深さに対して指数関数的に増大するので、増えるに従って計算量もアヒィーってなります。

ブロック処理の実行

アニGIF版

転送処理

Minecraftへの転送にあたっては、mcpiというpythonモジュールを使用してBlenderからデータを送ります。サーバ側は、 Raspberry JuiceというSpigot(MinecraftのModサーバ)向けプラグインでmcpiからのリクエストを受け取ります。

  • ※ mcpiはMinecraft PI Edition用にMojang ABが作成したPythonのモジュール。BlenderのPythonインタプリタはPython3系なので、今回のプログラムではPython3向けに移植された py3minepiを使用します。
  • ※ Raspberry Juiceは、mcpiに対応するAPIをSpigotに埋め込むためのプラグイン
転送処理の概要

ブロックの選定

ブロック化処理で彩色された色を、Minecraftのどのブロックで再現するかにあたっては、プログラム内に予めMinecraftのブロック定義と色情報を持っておき、欲しい色に最も近い色をもつブロック(RGBベクトルの距離が最小となるブロック)を選定するという方法にしています。

ブロック定義的な部分↓(block_def.py

_BlockItem(
    "White Wool",
    Vector((0.95, 0.95, 0.95)),
    (35, None)
),
_BlockItem(
    "Orange Wool",
    Vector((0.92, 0.53, 0.25)),
    (35, 1)
),
_BlockItem(
    "Magenta Wool",
    Vector((0.73, 0.31, 0.77)),
    (35, 2)
)

mcpiによる転送

mcpiを使えば簡単にブロックを設置可能です。具体的には、setBlockというメソッドに設置したいブロックの位置と種類を渡せば、Minecraft上に任意のブロックを設置できます。 あとはブロック化処理で作成したブロック定義に対して、このメソッドを呼べばブロック化されたオブジェクトを転送できます。

ソースコード的にはこの辺り↓ (convert2block.py)

for this_block in block_map:
    if this_block.color:
        self.mc.setBlock(
            pos.x + this_block.pos[0]/2.0,
            pos.y + this_block.pos[2]/2.0,
            pos.z - this_block.pos[1]/2.0,
            this_block.block_type,
            this_block.color
        )

結果


転送結果は下記のようになりました。

転送できたッ!\(^o^)/

普通のブロックなので勿論住めます

天空の顔群

上記の写真をご覧いただければ分かるように、若干色がおかしな感じになっております。こちらは、Minecraftのブロックて表現できる限界なのか?という気もしておりますが、もしかしたらバグかもしれないので要継続調査です。ともあれ転送できてヨカッタ\(^o^)/。ちなみにMinecraftのブロックのサイズは変えることが出来ないので、Octreeが深いモデルほど、Minecraftに転送した時の全体のサイズは大きくなります。

ちなみに

ほぼ同等の内容ですが、4/16のBlender発表会@カブクで発表した資料を貼っつけておきます。ここには僕がチェーン芸人を卒業したざっくりした理由が書いてあります。

おまけ

3Dプリントするとこうなります↓。これはデスクトッププリンタで出力したので、色はつきません…グヌヌ

サポート材の除去はかなり面倒でした

おわりに

自分が書いたコードの結果が可視化されるというのは非常に楽しく、 昔はFlash厨だったのですが、最近はプログラムによる3Dモデリングにドハマリしてます。3Dモデルの場合、3Dプリントすれば実体化もできるという特典付きです!読者の皆様も是非!

あわせて読みたいカブクエンジニアブログ

その他の記事

Other Articles


鵜呑みにしないで! —— 書籍『クリーンアーキテクチャ』所感 ≪null 篇≫


W3C Workshop on Web Games参加レポート

2019/06/28
TypeScriptでObject.assign()に正しい型をつける

2019/06/25
カブクエンジニア開発合宿に行ってきました 2019夏


Hola! KubeCon Europe 2019の参加レポート

2019/06/19
Clean Resume きれいな環境できれいな履歴書を作成する

2019/05/20
[Web フロントエンド] 状態更新ロジックをフレームワークから独立させる

2019/04/16
C++のenable_shared_from_thisを使う

2019/04/12
OpenAPI 3 ファーストな Web アプリケーション開発(Python で API 編)

2019/04/08
WebGLでレイマーチングを使ったCSGを実現する

2019/04/02
『エンジニア採用最前線』に感化されて2週間でエンジニア主導の求人票更新フローを構築した話

2019/03/29
その1 Jetson TX2でk3s(枯山水)を動かしてみた

2019/03/27
任意のブラウザ上でJestで書いたテストを実行する

2019/02/08
TypeScript で “radian” と “degree” を間違えないようにする

2019/02/05
Python3でGoogle Cloud ML Engineをローカルで動作する方法

2019/01/18
SIGGRAPH Asia 2018 参加レポート

2019/01/08
お正月だョ!ECMAScript Proposal全員集合!!

2019/01/08
カブクエンジニア開発合宿に行ってきました 2018秋

2018/12/25
OpenAPI 3 ファーストな Web アプリケーション開発(環境編)

2018/12/23
いまMLKitカスタムモデル(TF Lite)は使えるのか

2018/12/21
[IoT] Docker on JetsonでMQTTを使ってCloud IoT Coreと通信する

2018/12/11
TypeScriptで実現する型安全な多言語対応(Angularを例に)

2018/12/05
GASでCompute Engineの時間に応じた自動停止/起動ツールを作成する 〜GASで簡単に好きなGoogle APIを叩く方法〜

2018/12/02
single quotes な Black を vendoring して packaging

2018/11/14
3次元データに2次元データの深層学習の技術(Inception V3, ResNet)を適用

2018/11/04
Node Knockout 2018 に参戦しました

2018/10/24
SIGGRAPH 2018参加レポート-後編(VR/AR)

2018/10/11
Angular 4アプリケーションをAngular 6に移行する

2018/10/05
SIGGRAPH 2018参加レポート-特別編(VR@50)

2018/10/03
Three.jsでVRしたい

2018/10/02
SIGGRAPH 2018参加レポート-前編

2018/09/27
ズーム可能なSVGを実装する方法の解説

2018/09/25
Kerasを用いた複数入力モデル精度向上のためのTips

2018/09/21
競技プログラミングの勉強会を開催している話

2018/09/19
Ladder Netwoksによる半教師あり学習

2018/08/10
「Maker Faire Tokyo 2018」に出展しました

2018/08/02
Kerasを用いた複数時系列データを1つの深層学習モデルで学習させる方法

2018/07/26
Apollo GraphQLでWebサービスを開発してわかったこと

2018/07/19
【深層学習】時系列データに対する1次元畳み込み層の出力を可視化

2018/07/11
きたない requirements.txt から Pipenv への移行

2018/06/26
CSS Houdiniを味見する

2018/06/25
不確実性を考慮した時系列データ予測

2018/06/20
Google Colaboratory を自分のマシンで走らせる

2018/06/18
Go言語でWebAssembly

2018/06/15
カブクエンジニア開発合宿に行ってきました 2018春

2018/06/08
2018 年の tree shaking

2018/06/07
隠れマルコフモデル 入門

2018/05/30
DASKによる探索的データ分析(EDA)

2018/05/10
TensorFlowをソースからビルドする方法とその効果

2018/04/23
EGLとOpenGLを使用するコードのビルド方法〜libGLからlibOpenGLへ

2018/04/23
技術書典4にサークル参加してきました

2018/04/13
Python で Cura をバッチ実行するためには

2018/04/04
ARCoreで3Dプリント風エフェクトを実現する〜呪文による積層造形映像制作の舞台裏〜

2018/04/02
深層学習を用いた時系列データにおける異常検知

2018/04/01
音声ユーザーインターフェースを用いた新方式積層造形装置の提案

2018/03/31
Container builderでコンテナイメージをBuildしてSlackで結果を受け取る開発スタイルが捗る

2018/03/23
ngUpgrade を使って AngularJS から Angular に移行

2018/03/14
Three.jsのパフォーマンスTips

2018/02/14
C++17の新機能を試す〜その1「3次元版hypot」

2018/01/17
時系列データにおける異常検知

2018/01/11
異常検知の基礎

2018/01/09
three.ar.jsを使ったスマホAR入門

2017/12/17
Python OpenAPIライブラリ bravado-core の発展的な使い方

2017/12/15
WebAssembly(wat)を手書きする

2017/12/14
AngularJS を Angular に移行: ng-annotate 相当の機能を TypeScrpt ファイルに適用

2017/12/08
Android Thingsで4足ロボットを作る ~ Android ThingsとPCA9685でサーボ制御)

2017/12/06
Raspberry PIとDialogflow & Google Cloud Platformを利用した、3Dプリンターボット(仮)の開発 (概要編)

2017/11/20
カブクエンジニア開発合宿に行ってきました 2017秋

2017/10/19
Android Thingsを使って3Dプリント戦車を作ろう ① ハードウェア準備編

2017/10/13
第2回 魁!! GPUクラスタ on GKE ~PodからGPUを使う編~

2017/10/05
第1回 魁!! GPUクラスタ on GKE ~GPUクラスタ構築編~

2017/09/13
「Maker Faire Tokyo 2017」に出展しました。

2017/09/11
PyConJP2017に参加しました

2017/09/08
bravado-coreによるOpenAPIを利用したPythonアプリケーション開発

2017/08/23
OpenAPIのご紹介

2017/08/18
EuroPython2017で2名登壇しました。

2017/07/26
3DプリンターでLチカ

2017/07/03
Three.js r86で何が変わったのか

2017/06/21
3次元データへの深層学習の適用

2017/06/01
カブクエンジニア開発合宿に行ってきました 2017春

2017/05/08
Three.js r85で何が変わったのか

2017/04/10
GCPのGPUインスタンスでレンダリングを高速化

2017/02/07
Three.js r84で何が変わったのか

2017/01/27
Google App EngineのFlexible EnvironmentにTmpfsを導入する

2016/12/21
Three.js r83で何が変わったのか

2016/12/02
Three.jsでのクリッピング平面の利用

2016/11/08
Three.js r82で何が変わったのか

2016/12/17
SIGGRAPH 2016 レポート

2016/11/02
カブクエンジニア開発合宿に行ってきました 2016秋

2016/10/28
PyConJP2016 行きました

2016/10/17
EuroPython2016で登壇しました

2016/10/13
Angular 2.0.0ファイナルへのアップグレード

2016/10/04
Three.js r81で何が変わったのか

2016/09/14
カブクのエンジニアインターンシッププログラムについての詩

2016/09/05
カブクのエンジニアインターンとして3ヶ月でやった事 〜高橋知成の場合〜

2016/08/30
Three.js r80で何が変わったのか

2016/07/15
Three.js r79で何が変わったのか

2016/06/02
Vulkanを試してみた

2016/05/20
MakerGoの作り方

2016/05/08
TensorFlow on DockerでGPUを使えるようにする方法

2016/04/20
Tensorflowを使ったDeep LearningにおけるGPU性能調査

→
←

関連職種

Recruit

バックエンドエンジニア(Python・Go)

業務内容

当ポジションは弊社Webサービスのバックエンド機能設計及び実装を担当します。 サービス毎の開発チームで2週間スプリントのスクラム開発を実施しています。 週次で開発チームミーティングを実施し、実装設計の相談や工数見積もりを行います。 全ての開発コードはレビューと自動テストによって品質を保っています。 また、リファクタリングやフレームワークのバージョンアップも開発フローに組込み、技術的負債を放置しない開発を目指しています。

フロントエンドエンジニア(TypeScript)

業務内容

当ポジションは弊社Webサービスのフロントエンド機能設計及び実装を担当します。 サービス毎の開発チームで2週間スプリントのスクラム開発を実施しています。 週次で開発チームミーティングを実施し、実装設計の相談や工数見積もりを行います。 全ての開発コードはレビューと自動テストによって品質を保っています。 また、リファクタリングやフレームワークのバージョンアップも開発フローに組込み、技術的負債を放置しない開発を目指しています。

機械学習エンジニア

業務内容

センサーデータの分析モデルの調査・研究・開発。 Kabuku Connectの製造データ(3D、2D)から情報を抽出するモデルの構築。 データの前処理や学習、ハイパーパラメータチューニング、獲得モデルの評価、プロダクションのデータパイプラインとの連携をお願いします。

インターン(Webエンジニア)

業務内容

業務から独立した、調査・研究系のタスクをおまかせしています。コードレビュー、 社内での報告会、 ブログ記事執筆を通して着実にスキルアップしていただくことを目指しています。 (希望があれば、プロダクトの開発業務もおまかせします。)

→
←

お客様のご要望に「Kabuku」はお応えいたします。
ぜひお気軽にご相談ください。

お電話でも受け付けております
03-6380-2750
営業時間:09:30~18:00
※土日祝は除く