Kabuku Connect 即時見積機能のバックエンド開発

2019/09/20
このエントリーをはてなブックマークに追加

ソフトウェアエンジニアの花岡です。B2B 向けオンデマンド製造プラットフォーム Kabuku Connect において、CNC 切削加工と 3D プリント製造向け即時見積機能(設計図をアップロードするだけで即時に製造見積金額を提示する機能)を開発しています。今回は主に私が開発した内容について書きたいと思います。

概要

Kabuku Connect 即時見積機能

即時見積機能の主なユースケースは以下の通りです。

  1. ユーザが 2D/3D ファイルをアップロードする
  2. システムがファイルを解析する
  3. ユーザが工法(CNC 切削加工/3D プリント)と材質/素材を選択する
  4. システムが即時見積し仮見積を表示する
  5. ユーザが本見積を依頼する

ここで、即時見積には自動見積とオペレータ見積の 2 種類があります。自動見積はアップロードされたファイルや加工指示内容を元に自動で製造費用の仮見積を表示します。オペレータ見積はユーザがオペレータ見積を依頼した後でオペレータが独自開発の内部ツールを使って製造費用を見積もるというものです。

私は、要件定義、API の設計、Datastore のモデル設計、バックエンドの設計・実装・テスト、CI/CD 環境の構築などをしています。

構成

バックエンドは GAE/Python で Web フレームワークは Falcon です。リソースとスケジュールから GAE/Python を、GAE での起動時間と経験から Falcon を選択しました。

Falcon は Python の Web フレームワークとしてはマイナーな方だとは思いますが、Falcon のリソースの実装は薄くしていて、かつ、完全に分離しているので、別の Web フレームワークへの移行も容易なはずです。

フロントエンドは Angular で GAE/Node に SSR されています。

Web API の開発は、まず OpenAPI 3 ドキュメントを書き、フロントエンドは openapi-generator でクライアントを生成し、バックエンドは OpenAPI 3 ドキュメントをもとにリクエストをバリデーションする、という OpenAPI 3 ファーストなアプローチをとっています。

OpenAPI 3 ファーストな Web アプリケーション開発

バックエンドに関しては、OpenAPI 2(=Swagger)を使った既存のプロジェクトでは以下のような点が気になっていました。

  • リソース実装ごとにリクエストバリデーションのデコレータを書いている
  • URL のパスとリソース実装のマッピングが OpenAPI ドキュメントの operationId と重複している

そこで本プロジェクトでは OpenAPI 3 を使うとともに OpenAPI 3 ファーストな Web アプリケーション開発(Python で API 編) のように自動化しています。その流れで公開した falcon-oas

I think it’s the most solid OpenAPI implementation for Python out there.

というコメントもいただき、バリデーション部分を python-oas に抽出しています。

Python のリントとテスト

プロジェクトメンバ全員が single quote 派だったため、Black に single quote パッチを当てた ffffff で自動フォーマットしています。また import 文は isort で自動ソートしています。

リントは flake8 と mypy です。テストは pytest でカバレッジは 100% をキープしています。

CI/CD 環境の構築

新規プロジェクトだったため CI/CD 環境をどうするかという課題がありました(即時見積機能は、Kabuku Connect の機能の一部ではあるのですが、Kabuku Connect とは別の GCP プロジェクトです。)。既存のプロジェクトでは Jenkins を使っていましたが、速度や扱いにくさなどで不満があり、プロジェクトの最初から Google Cloud Build(GCB)による CI/CD 環境を構築しました。

Bitbucket に push すると、サイトや Swagger UI がデプロイされ、それらの URL が Slack に通知されます。Slack だけだとメッセージが流れてしまうので、Bitbucket のコミットのビルドステータスにも連携するようにし、PR からそれらの URL を参照することができるようにもしました。プロジェクトの初期からずっとこの恩恵を得ることができているので良い仕事だったと思っています。

Slack 通知は OpenAPI 3 ファーストな Web アプリケーション開発(環境編)では

のように色とテキストで成功と失敗を切り替えていましたが、現在は

のように絵文字を使うようにしました。絵文字はデプロイ時に設定できるようにしているのでプロジェクトによって変更しています。このように CI/CD 環境や運用周りは少しずつ安定にしたり改善しています。

機能の紹介と開発の工夫

非ログイン状態とメールアドレス未確認ユーザの対応

非ログイン状態やメールアドレス未確認ユーザであってもファイルのアップロードをして自動見積を確認することはできる仕様です。

オペレータ見積依頼や本見積に進む場合はメールアドレス確認済みのユーザでログインしている必要があります(オペレータ見積依頼は見積完了通知のためです)。

このような認証は、前述した OpenAPI 3 のアクセス制御を Falcon から自動で参照して実現しています。たとえば

paths:
  /api/v1/private:
    get:
      responses:
        '200':
          description: success
      security:
      - session_cookie: []
  /api/v1/public:
    get:
      responses:
        '200':
          description: success
components:
  securitySchemes:
    session_cookie:
      type: apiKey
      name: session
      in: cookie

のように session_cookie Security Scheme を定義して、/api/v1/privateGET リクエストのみ適用するという定義ができます。これを Python の実装とどう関連付けるかは OpenAPI 3 ファーストな Web アプリケーション開発(Python で API 編)を参照してください。

最大 100 MB のファイルを GCS にアップロードさせてサービスに登録する

GAE/Python のリクエストボディの最大サイズはが 32 MB のため、100 MB のファイルをサポートするために、GCS にアップロードされたファイルを登録するようになっています。

ファイル解析サービスと連携して、アップロードされたファイルを解析する

ファイル解析サービス(図面ファイルを解析し構成要素を抽出するサービス)と連携して様々な解析をします。ファイルの種類に応じて解析内容は変わります。解析の種類をスキーマとともに定義し、新しい解析の追加が容易にできるようになっています。

解析されたファイルの情報などをもとに見積方法を判定する

解析されたファイルの情報や材質/素材の情報などをもとに

  • 自動見積
  • オペレータ見積
  • 即時見積の対象外

に分類します。分類器は条件によって変わり、かつ、新しい材質/素材の追加に対応する必要がありました。ここは最初の段階ではオペレータ見積などの仕様が未定なことも多く追加・変更が激しいことがわかっていたので、最小限の実装から進めていきました。

解析されたファイルの情報、工法、材質/素材をもとに自動見積する

(機密です)

オペレータ見積

オペレータ見積は 1 週間で開発し最近リリースした機能です。最初のリリースでは自動見積だけでしたがオペレータ見積を追加しました。

オペレータ見積関連のイベント通知機能(Email 送信)には

  • ユーザからのオペレータ見積依頼イベントをオペレータに通知
  • オペレータからのオペレータ見積完了イベントをユーザに通知

などがあります。オペレータへの Email 送信は Slack にも Cc で通知されます。

オペレータ見積依頼してからユーザがメールアドレスを変更した場合、見積完了時には新しいメールアドレスに通知したいものです。そこで全体として 1 週間という工数内で可能なこととして、最新のユーザ情報を参照可能な Kabuku Connect に

  1. ユーザ ID をもとに最新のユーザ情報の取得 API
  2. ユーザ ID をもとに最新のメールアドレスに Email を送信する API

のいずれかを開発することを考えました。ユーザ情報取得 API の汎用性はありますが、Kabuku Connect の既存の Email 送信機能を使うことで他の Email と同様に保存される点を今回は選ぶことにしました。

オペレータ見積は、オペレータが手動で見積する機能を、自動見積の後で追加するということしか決まっていませんでした。私はこのようなふわっとした機能を丸投げされるのが得意だと思っています。

ユーザにとっての状態遷移図を書いて確認したり、即時見積機能としては本見積依頼に進んでいただくことが最初のゴールなので、その障壁とならないような UI/UX を提案したりして進めていきました。

実装について考えるのはその後です。このように考えた理想を技術で解決するのがおもしろくないでしょうか。

今後の展望

Kabuku Connect の即時見積機能としては、近々さらに大きな機能のリリースを予定していて、それらの機能の開発を進めています。

その他の記事

Other Articles

2019/08/14
Maker Faire Tokyo 2019でARゲームを出展しました

2019/07/25
夏休みだョ!WebAssembly Proposal全員集合!!

2019/07/08
鵜呑みにしないで! —— 書籍『クリーンアーキテクチャ』所感 ≪null 篇≫

2019/07/03
W3C Workshop on Web Games参加レポート

2019/06/28
TypeScriptでObject.assign()に正しい型をつける

2019/06/25
カブクエンジニア開発合宿に行ってきました 2019夏

2019/06/21
Hola! KubeCon Europe 2019の参加レポート

2019/06/19
Clean Resume きれいな環境できれいな履歴書を作成する

2019/05/20
[Web フロントエンド] 状態更新ロジックをフレームワークから独立させる

2019/04/16
C++のenable_shared_from_thisを使う

2019/04/12
OpenAPI 3 ファーストな Web アプリケーション開発(Python で API 編)

2019/04/08
WebGLでレイマーチングを使ったCSGを実現する

2019/04/02
『エンジニア採用最前線』に感化されて2週間でエンジニア主導の求人票更新フローを構築した話

2019/03/29
その1 Jetson TX2でk3s(枯山水)を動かしてみた

2019/03/27
任意のブラウザ上でJestで書いたテストを実行する

2019/02/08
TypeScript で “radian” と “degree” を間違えないようにする

2019/02/05
Python3でGoogle Cloud ML Engineをローカルで動作する方法

2019/01/18
SIGGRAPH Asia 2018 参加レポート

2019/01/08
お正月だョ!ECMAScript Proposal全員集合!!

2019/01/08
カブクエンジニア開発合宿に行ってきました 2018秋

2018/12/25
OpenAPI 3 ファーストな Web アプリケーション開発(環境編)

2018/12/23
いまMLKitカスタムモデル(TF Lite)は使えるのか

2018/12/21
[IoT] Docker on JetsonでMQTTを使ってCloud IoT Coreと通信する

2018/12/11
TypeScriptで実現する型安全な多言語対応(Angularを例に)

2018/12/05
GASでCompute Engineの時間に応じた自動停止/起動ツールを作成する 〜GASで簡単に好きなGoogle APIを叩く方法〜

2018/12/02
single quotes な Black を vendoring して packaging

2018/11/14
3次元データに2次元データの深層学習の技術(Inception V3, ResNet)を適用

2018/11/04
Node Knockout 2018 に参戦しました

2018/10/24
SIGGRAPH 2018参加レポート-後編(VR/AR)

2018/10/11
Angular 4アプリケーションをAngular 6に移行する

2018/10/05
SIGGRAPH 2018参加レポート-特別編(VR@50)

2018/10/03
Three.jsでVRしたい

2018/10/02
SIGGRAPH 2018参加レポート-前編

2018/09/27
ズーム可能なSVGを実装する方法の解説

2018/09/25
Kerasを用いた複数入力モデル精度向上のためのTips

2018/09/21
競技プログラミングの勉強会を開催している話

2018/09/19
Ladder Netwoksによる半教師あり学習

2018/08/10
「Maker Faire Tokyo 2018」に出展しました

2018/08/02
Kerasを用いた複数時系列データを1つの深層学習モデルで学習させる方法

2018/07/26
Apollo GraphQLでWebサービスを開発してわかったこと

2018/07/19
【深層学習】時系列データに対する1次元畳み込み層の出力を可視化

2018/07/11
きたない requirements.txt から Pipenv への移行

2018/06/26
CSS Houdiniを味見する

2018/06/25
不確実性を考慮した時系列データ予測

2018/06/20
Google Colaboratory を自分のマシンで走らせる

2018/06/18
Go言語でWebAssembly

2018/06/15
カブクエンジニア開発合宿に行ってきました 2018春

2018/06/08
2018 年の tree shaking

2018/06/07
隠れマルコフモデル 入門

2018/05/30
DASKによる探索的データ分析(EDA)

2018/05/10
TensorFlowをソースからビルドする方法とその効果

2018/04/23
EGLとOpenGLを使用するコードのビルド方法〜libGLからlibOpenGLへ

2018/04/23
技術書典4にサークル参加してきました

2018/04/13
Python で Cura をバッチ実行するためには

2018/04/04
ARCoreで3Dプリント風エフェクトを実現する〜呪文による積層造形映像制作の舞台裏〜

2018/04/02
深層学習を用いた時系列データにおける異常検知

2018/04/01
音声ユーザーインターフェースを用いた新方式積層造形装置の提案

2018/03/31
Container builderでコンテナイメージをBuildしてSlackで結果を受け取る開発スタイルが捗る

2018/03/23
ngUpgrade を使って AngularJS から Angular に移行

2018/03/14
Three.jsのパフォーマンスTips

2018/02/14
C++17の新機能を試す〜その1「3次元版hypot」

2018/01/17
時系列データにおける異常検知

2018/01/11
異常検知の基礎

2018/01/09
three.ar.jsを使ったスマホAR入門

2017/12/17
Python OpenAPIライブラリ bravado-core の発展的な使い方

2017/12/15
WebAssembly(wat)を手書きする

2017/12/14
AngularJS を Angular に移行: ng-annotate 相当の機能を TypeScrpt ファイルに適用

2017/12/08
Android Thingsで4足ロボットを作る ~ Android ThingsとPCA9685でサーボ制御)

2017/12/06
Raspberry PIとDialogflow & Google Cloud Platformを利用した、3Dプリンターボット(仮)の開発 (概要編)

2017/11/20
カブクエンジニア開発合宿に行ってきました 2017秋

2017/10/19
Android Thingsを使って3Dプリント戦車を作ろう ① ハードウェア準備編

2017/10/13
第2回 魁!! GPUクラスタ on GKE ~PodからGPUを使う編~

2017/10/05
第1回 魁!! GPUクラスタ on GKE ~GPUクラスタ構築編~

2017/09/13
「Maker Faire Tokyo 2017」に出展しました。

2017/09/11
PyConJP2017に参加しました

2017/09/08
bravado-coreによるOpenAPIを利用したPythonアプリケーション開発

2017/08/23
OpenAPIのご紹介

2017/08/18
EuroPython2017で2名登壇しました。

2017/07/26
3DプリンターでLチカ

2017/07/03
Three.js r86で何が変わったのか

2017/06/21
3次元データへの深層学習の適用

2017/06/01
カブクエンジニア開発合宿に行ってきました 2017春

2017/05/08
Three.js r85で何が変わったのか

2017/04/10
GCPのGPUインスタンスでレンダリングを高速化

2017/02/07
Three.js r84で何が変わったのか

2017/01/27
Google App EngineのFlexible EnvironmentにTmpfsを導入する

2016/12/21
Three.js r83で何が変わったのか

2016/12/02
Three.jsでのクリッピング平面の利用

2016/11/08
Three.js r82で何が変わったのか

2016/12/17
SIGGRAPH 2016 レポート

2016/11/02
カブクエンジニア開発合宿に行ってきました 2016秋

2016/10/28
PyConJP2016 行きました

2016/10/17
EuroPython2016で登壇しました

2016/10/13
Angular 2.0.0ファイナルへのアップグレード

2016/10/04
Three.js r81で何が変わったのか

2016/09/14
カブクのエンジニアインターンシッププログラムについての詩

2016/09/05
カブクのエンジニアインターンとして3ヶ月でやった事 〜高橋知成の場合〜

2016/08/30
Three.js r80で何が変わったのか

2016/07/15
Three.js r79で何が変わったのか

2016/06/02
Vulkanを試してみた

2016/05/20
MakerGoの作り方

2016/05/08
TensorFlow on DockerでGPUを使えるようにする方法

2016/04/27
Blenderの3DデータをMinecraftに送りこむ

2016/04/20
Tensorflowを使ったDeep LearningにおけるGPU性能調査

→
←

関連職種

Recruit

フロントエンドエンジニア(TypeScript)

業務内容

当ポジションは弊社Webサービスのフロントエンド機能設計及び実装を担当します。 サービス毎の開発チームで2週間スプリントのスクラム開発を実施しています。 週次で開発チームミーティングを実施し、実装設計の相談や工数見積もりを行います。 全ての開発コードはレビューと自動テストによって品質を保っています。 また、リファクタリングやフレームワークのバージョンアップも開発フローに組込み、技術的負債を放置しない開発を目指しています。

インターン(Webエンジニア)

業務内容

業務から独立した、調査・研究系のタスクをおまかせしています。コードレビュー、 社内での報告会、 ブログ記事執筆を通して着実にスキルアップしていただくことを目指しています。 (希望があれば、プロダクトの開発業務もおまかせします。)

→
←

お客様のご要望に「Kabuku」はお応えいたします。
ぜひお気軽にご相談ください。

お電話でも受け付けております
03-6380-2750
営業時間:09:30~18:00
※土日祝は除く