Python OpenAPIライブラリ bravado-core の発展的な使い方

2017/12/17
このエントリーをはてなブックマークに追加

bravado-coreの発展的な使い方

この記事はPython Advent Calendar 2017 その2の17日目の記事です。

ソフトウェアエンジニアの和田です。以前の記事にて、OpenAPI(旧Swagger)を扱うことができるPythonライブラリbravado-coreのご紹介をさせていただきました。bravado-coreには、様々なWebアプリケーションフレームワークに柔軟に対応する仕組みが用意されており、これを利用することでOpenAPIドキュメントを用意するだけで、クライアントリクエストのバリデーションやUnmarshalingを行うことができます。弊社カブクの一部のサービスでは、この機能を利用し開発効率化を行っています。

本記事のソースコードは、Python3.6にて記述しています。ソースコードは、GitHubにて公開しています。

Flaskで使ってみる

Flaskで利用する例をご紹介いたします。FlaskではFlask-RESTfulを使用することでREST APIを簡潔に定義することが可能ですが、今回はbravado-coreの説明をするため、Flask-RESTfulを使用せずに実装します。また本筋に関係ないエラー処理などについては今回は省略して説明します。

実装するもの

実装するアプリケーションとしては、あらかじめ定義されている本(Bookクラス)の情報を操作するためのAPIを考えます。

bravado-coreを使わない場合

シンプルな実装例としては次のようになります。/books/<book_id>で指定されるbook_idを持つBookデータの取得、編集、削除を提供するAPIです。

from typing import Dict
import attr
from flask import Flask, request, jsonify


app = Flask(__name__)


@attr.s
class Book:
    title: str = attr.ib()
    published_year: int = attr.ib()


Books: Dict[int, Book] = {
    1: Book('The Internet Galaxy', 2003),
    2: Book('Prison Notebooks', 2010)
}


@app.route('/books/<int:book_id>', methods=['GET', 'PUT', 'DELETE'])
def book(book_id: int):
    target = Books.get(book_id)
    if not target:
        return jsonify(error=404, text="No book with book_id: {}".format(book_id)), 404

    if request.method == 'GET':
        resp = attr.asdict(target)
        resp.update({'id': book_id})
        return jsonify(resp)

    elif request.method == 'PUT':
        req = request.json
        if not req:
            return jsonify(error=400, text="Bad request"), 400

        if 'id' not in req or \
           'title' not in req or \
           'published_year' not in req:
            return jsonify(error=400, text="Bad request"), 400

        if not isinstance(req['title'], str):
            return jsonify(error=400, text="Bad request"), 400

        if not isinstance(req['published_year'], int):
            return jsonify(error=400, text="Bad request"), 400

        if book_id != req['id']:
            return jsonify(error=400, text="Bad request"), 400

        target.title = req['title']
        target.published_year = req['published_year']

        resp = attr.asdict(target)
        resp.update({'id': book_id})
        return jsonify(resp)

    elif request.method == 'DELETE':
        del Books[book_id]
        return '', 204
    return


if __name__ == '__main__':
    app.run(debug=True)

GET(取得)とDELETE(削除)およびPUT(更新)が実装されています。実際にこのAPIを叩いてみましょう。今回はHTTPieを使用しています。cURLと比較するとJSONのリクエストを非常に簡潔に書けるので、とても便利です。

$ http -b http://127.0.0.1:5000/books/1
{
    "id": 1,
    "published_year": 2003,
    "title": "The Internet Galaxy"
}

$ http -b PUT http://127.0.0.1:5000/books/1 id:=1 published_year:=1995 title="Bowling Alone"
{
    "id": 1,
    "published_year": 1995,
    "title": "Bowling Alone"
}

$ http -b DELETE http://127.0.0.1:5000/books/1
$

問題なく動作していることを確認することができました。実装について、この中で一番複雑な実装なのは、リクエストボディを持ちかつそのバリデーションが必要となるPUTの処理です。このように簡単なAPIであれば、自前でそれらの処理を実装しても大したコストにはなりませんが、多数のAPIや複雑なAPIを実装するときにはすべて自前で実装することは現実的ではありません。そこで、この実装にbravado-coreを利用してみましょう。まず、OpenAPIドキュメントを作成します。

OpenAPIドキュメントの作成

次のようにOpenAPIドキュメントを作成します。ここでは、説明に必要ないプロパティの記述は省いています。また、OpenAPIの最新バージョンはVersion3ですが、bravado-coreはVersion3にはまだ対応していないため、Version2で記述します。

swagger: "2.0"
info:
  version: 1.0.0
  title: Library
  license:
    name: MIT
host: library.example.com
basePath: /
schemes:
  - http
  - https
consumes:
  - application/json
produces:
  - application/json
paths:
  /books/{book_id}:
    parameters:
      - name: book_id
        in: path
        required: true
        description: id of book
        type: integer
    get:
      responses:
        "200":
          description: Book was retrieved successfully
          schema:
            $ref: '#/definitions/Book'
    put:
      parameters:
        - name: params
          in: body
          required: true
          schema:
            $ref: '#/definitions/Book'
      responses:
        "200":
          description: Book was updated successfully
          schema:
            $ref: '#/definitions/Book'
    delete:
      responses:
        "204":
            description: Book was deleted successfully

definitions:
  Book:
    type: object
    required: [id, title, published_year]
    properties:
      id:
        type: integer
      title:
        type: string
      published_year:
        type: integer

bravado-coreを利用した実装

次に、bravado-coreの部分の実装に移ります。bravado-coreにはIncomingRequestという仕組みがあり、このIncomingRequestを継承し、それぞれのWebアプリケーションのリクエストオブジェクトに対するアダプタを実装することで、bravado-coreを利用することができるようになります。例えばFlaskの場合には、次のようになります。

class BravadoRequest(IncomingRequest):
    @property
    def path(self) -> dict:
        return request.view_args

    @property
    def query(self) -> dict:
        return dict(request.args)

    @property
    def form(self) -> dict:
        return request.form

    @property
    def headers(self) -> dict:
        return request.headers

    def json(self) -> dict:
        return request.json

Flaskではrequestに全てのリクエストパラメータが格納されるため、これをIncomingRequestで定義されたインタフェースに沿って実装しています。

これを使用して、リクエストの展開とバリデーションをしてみましょう。bravado-coreを利用するためには、事前にYAML(もしくはJSON)のOpenAPIドキュメントを読み込む必要があります。また、今回はリクエストのUnmarshal用の関数としてbravado-coreで定義されている、unmarshal_requestを使います。この部分を追記し、BravadoRequestクラスも一部修正すると下記のようになります。

import yaml
from bravado_core.spec import Spec
from bravado_core.request import IncomingRequest
from bravado_core.request import unmarshal_request


class OpenAPIError(Exception):
    pass


class OpenAPI:
    def __init__(self, doc_path: str, config: dict = None) -> None:
        with open(doc_path, "r") as fp:
            self._raw_spec: dict = yaml.load(fp)
        self.spec: Spec = Spec.from_dict(self._raw_spec, config=config)

    def unmarshal_request(self) -> dict:
        b_req = BravadoRequest(self)
        operation = self.spec.get_op_for_request(request.method.lower(), b_req.endpoint())
        if not operation:
            raise OpenAPIError('Failed to find proper operation method = {}, endpoint = {}'.format(
                request.method.lower(), b_req.endpoint()
            ))
        return unmarshal_request(b_req, operation)


class BravadoRequest(IncomingRequest):
    def __init__(self, openapi: OpenAPI) -> None:
        self.openapi: OpenAPI = openapi

    def endpoint(self) -> str:
        import re
        flask_path: str = str(request.url_rule)
        spec_path_pattern = re.sub(r'<(?:[a-z]+:)?(\w+)>', r'{\1}', flask_path)

        if self.openapi.spec._request_to_op_map is None:
            self.openapi.spec.get_op_for_request("get", "")

        for method, url in self.openapi.spec._request_to_op_map.keys():
            result = re.match(spec_path_pattern, url)
            if result is not None \
                    and result.group(0) == url \
                    and request.method.lower() == method:
                return url

    @property
    def path(self) -> dict:
        return request.view_args

    @property
    def query(self) -> dict:
        return dict(request.args)

    @property
    def form(self) -> dict:
        return request.form

    @property
    def headers(self) -> dict:
        return request.headers

    def json(self) -> dict:
        return request.json

急に記述が増えました。unmarshal_requestは第1引数にIncomingRequestを継承したクラスのインスタンス、第2引数にOpenAPIドキュメントから取得したリクエストに対応するパスの定義を渡します。この第2パラメータの取得のための記述が増えています。ちなみにunmarshal_requestの中では、文字通りリクエストのUnmarshalingと、OpenAPIドキュメントに従ったリクエストのバリデーションを行ってくれます。それではこれを先程のFlaskアプリケーションに組み込んで書き換えてみましょう。

@app.route('/books/<int:book_id>', methods=['GET', 'PUT', 'DELETE'])
def book(book_id: int):
    openapi = OpenApi('openapi.yaml')
    client_req = openapi.unmarshal_request()

    book_id = client_req['book_id']
    params = client_req['params']
    target = Books.get(book_id)
    if not target:
        return jsonify(error=404, text="No book with book_id: {}".format(book_id)), 404

    if request.method == 'GET':
        resp = attr.asdict(target)
        resp.update({'id': book_id})
        return jsonify(resp)

    elif request.method == 'PUT':
        if book_id != params['id']:
            return jsonify(error=400, text="Bad request"), 400

        target.title = params['title']
        target.published_year = params['published_year']

        resp = attr.asdict(target)
        resp.update({'id': book_id})
        return jsonify(resp)

    elif request.method == 'DELETE':
        del Books[book_id]
        return '', 204
    return

メソッドの開始時に、OpenApiクラスのインスタンスを作成し、unmarashal_requestメソッドをコールしています。このメソッド内部にて、リクエストのバリデーションが行われます。バリデーションに失敗した場合には、jsonschema.exceptions.ValidationErrorがraiseされます。これはbravado-coreのリクエストのバリデーションに、jsonschemaのライブラリを使用しているためです。このエラーを400にマッピングする処理を追加します。

from jsonschema.exceptions import ValidationError

@app.errorhandler(ValidationError)
def validation_error(e: ValidationError):
    app.logger.exception(e)
    return jsonify(error=400, text="Bad request"), 400

いくつかリクエストを送ってみると次のようになります。

$ # 問題ない場合
$ http -b PUT http://127.0.0.1:5000/books/1 id:=1 published_year:=1995 title="Bowling Alone"
{
    "id": 1,
    "published_year": 1995,
    "title": "Bowling Alone"
}

$ # エラーの場合: 必要なプロパティがない(published_yearがない)
$ http -b PUT http://127.0.0.1:5000/books/1 id:=1 title="Bowling Alone"
{
    "error": 400,
    "text": "Bad request"
}

$ # エラーの場合: プロパティの型が正しくない(published_yearが文字列)
$ http -b PUT http://127.0.0.1:5000/books/1 id:=1 published_year=year title="Bowling Alone"
{
    "error": 400,
    "text": "Bad request"
}

このように不正なリクエストを正しく検知できています。

補足

実際のプロジェクトでは、下記のようなデコレータを実装し、これらの処理を簡潔に記述できるようにしています。

def extract_params(func):
    @wraps(func)
    def wrapped(*args, **kwargs):
        openapi = OpenApi('openapi.yaml')
        client_req = openapi.unmarshal_request()
        kwargs.update(client_req)
        return func(*args, **kwargs)
    return wrapped


@app.route('/books/<int:book_id>', methods=['GET', 'PUT', 'DELETE'])
@extract_params
def book(book_id: int, params: dict = None):
    target = Books.get(book_id)
    # 以下略

また、本記事ではご紹介しませんでしたが、bravado-coreにはクエリパラメータやフォームパラメータも展開し、バリデーションをする事が可能です。他にも、以前紹介したカスタムフォーマットの機能を使うことで、リクエストで受け取ったデータをunmarshal_request関数内で自動的に変換できます。

まとめ

bravado-coreを使うことで、リクエストのUnmarshalingやバリデーションを柔軟に実装することが可能です。OpenAPIドキュメントは、このようなbravado-coreの利用の他にも、クライアントアプリケーションや、APIドキュメントの自動生成に利用することができるます。このように非常に効率よく開発をすすめることができるので、API開発者の各位におかれましては、ぜひ導入してみることをオススメします。

その他の記事

Other Articles


鵜呑みにしないで! —— 書籍『クリーンアーキテクチャ』所感 ≪null 篇≫


W3C Workshop on Web Games参加レポート

2019/06/28
TypeScriptでObject.assign()に正しい型をつける

2019/06/25
カブクエンジニア開発合宿に行ってきました 2019夏


Hola! KubeCon Europe 2019の参加レポート

2019/06/19
Clean Resume きれいな環境できれいな履歴書を作成する

2019/05/20
[Web フロントエンド] 状態更新ロジックをフレームワークから独立させる

2019/04/16
C++のenable_shared_from_thisを使う

2019/04/12
OpenAPI 3 ファーストな Web アプリケーション開発(Python で API 編)

2019/04/08
WebGLでレイマーチングを使ったCSGを実現する

2019/04/02
『エンジニア採用最前線』に感化されて2週間でエンジニア主導の求人票更新フローを構築した話

2019/03/29
その1 Jetson TX2でk3s(枯山水)を動かしてみた

2019/03/27
任意のブラウザ上でJestで書いたテストを実行する

2019/02/08
TypeScript で “radian” と “degree” を間違えないようにする

2019/02/05
Python3でGoogle Cloud ML Engineをローカルで動作する方法

2019/01/18
SIGGRAPH Asia 2018 参加レポート

2019/01/08
お正月だョ!ECMAScript Proposal全員集合!!

2019/01/08
カブクエンジニア開発合宿に行ってきました 2018秋

2018/12/25
OpenAPI 3 ファーストな Web アプリケーション開発(環境編)

2018/12/23
いまMLKitカスタムモデル(TF Lite)は使えるのか

2018/12/21
[IoT] Docker on JetsonでMQTTを使ってCloud IoT Coreと通信する

2018/12/11
TypeScriptで実現する型安全な多言語対応(Angularを例に)

2018/12/05
GASでCompute Engineの時間に応じた自動停止/起動ツールを作成する 〜GASで簡単に好きなGoogle APIを叩く方法〜

2018/12/02
single quotes な Black を vendoring して packaging

2018/11/14
3次元データに2次元データの深層学習の技術(Inception V3, ResNet)を適用

2018/11/04
Node Knockout 2018 に参戦しました

2018/10/24
SIGGRAPH 2018参加レポート-後編(VR/AR)

2018/10/11
Angular 4アプリケーションをAngular 6に移行する

2018/10/05
SIGGRAPH 2018参加レポート-特別編(VR@50)

2018/10/03
Three.jsでVRしたい

2018/10/02
SIGGRAPH 2018参加レポート-前編

2018/09/27
ズーム可能なSVGを実装する方法の解説

2018/09/25
Kerasを用いた複数入力モデル精度向上のためのTips

2018/09/21
競技プログラミングの勉強会を開催している話

2018/09/19
Ladder Netwoksによる半教師あり学習

2018/08/10
「Maker Faire Tokyo 2018」に出展しました

2018/08/02
Kerasを用いた複数時系列データを1つの深層学習モデルで学習させる方法

2018/07/26
Apollo GraphQLでWebサービスを開発してわかったこと

2018/07/19
【深層学習】時系列データに対する1次元畳み込み層の出力を可視化

2018/07/11
きたない requirements.txt から Pipenv への移行

2018/06/26
CSS Houdiniを味見する

2018/06/25
不確実性を考慮した時系列データ予測

2018/06/20
Google Colaboratory を自分のマシンで走らせる

2018/06/18
Go言語でWebAssembly

2018/06/15
カブクエンジニア開発合宿に行ってきました 2018春

2018/06/08
2018 年の tree shaking

2018/06/07
隠れマルコフモデル 入門

2018/05/30
DASKによる探索的データ分析(EDA)

2018/05/10
TensorFlowをソースからビルドする方法とその効果

2018/04/23
EGLとOpenGLを使用するコードのビルド方法〜libGLからlibOpenGLへ

2018/04/23
技術書典4にサークル参加してきました

2018/04/13
Python で Cura をバッチ実行するためには

2018/04/04
ARCoreで3Dプリント風エフェクトを実現する〜呪文による積層造形映像制作の舞台裏〜

2018/04/02
深層学習を用いた時系列データにおける異常検知

2018/04/01
音声ユーザーインターフェースを用いた新方式積層造形装置の提案

2018/03/31
Container builderでコンテナイメージをBuildしてSlackで結果を受け取る開発スタイルが捗る

2018/03/23
ngUpgrade を使って AngularJS から Angular に移行

2018/03/14
Three.jsのパフォーマンスTips

2018/02/14
C++17の新機能を試す〜その1「3次元版hypot」

2018/01/17
時系列データにおける異常検知

2018/01/11
異常検知の基礎

2018/01/09
three.ar.jsを使ったスマホAR入門

2017/12/15
WebAssembly(wat)を手書きする

2017/12/14
AngularJS を Angular に移行: ng-annotate 相当の機能を TypeScrpt ファイルに適用

2017/12/08
Android Thingsで4足ロボットを作る ~ Android ThingsとPCA9685でサーボ制御)

2017/12/06
Raspberry PIとDialogflow & Google Cloud Platformを利用した、3Dプリンターボット(仮)の開発 (概要編)

2017/11/20
カブクエンジニア開発合宿に行ってきました 2017秋

2017/10/19
Android Thingsを使って3Dプリント戦車を作ろう ① ハードウェア準備編

2017/10/13
第2回 魁!! GPUクラスタ on GKE ~PodからGPUを使う編~

2017/10/05
第1回 魁!! GPUクラスタ on GKE ~GPUクラスタ構築編~

2017/09/13
「Maker Faire Tokyo 2017」に出展しました。

2017/09/11
PyConJP2017に参加しました

2017/09/08
bravado-coreによるOpenAPIを利用したPythonアプリケーション開発

2017/08/23
OpenAPIのご紹介

2017/08/18
EuroPython2017で2名登壇しました。

2017/07/26
3DプリンターでLチカ

2017/07/03
Three.js r86で何が変わったのか

2017/06/21
3次元データへの深層学習の適用

2017/06/01
カブクエンジニア開発合宿に行ってきました 2017春

2017/05/08
Three.js r85で何が変わったのか

2017/04/10
GCPのGPUインスタンスでレンダリングを高速化

2017/02/07
Three.js r84で何が変わったのか

2017/01/27
Google App EngineのFlexible EnvironmentにTmpfsを導入する

2016/12/21
Three.js r83で何が変わったのか

2016/12/02
Three.jsでのクリッピング平面の利用

2016/11/08
Three.js r82で何が変わったのか

2016/12/17
SIGGRAPH 2016 レポート

2016/11/02
カブクエンジニア開発合宿に行ってきました 2016秋

2016/10/28
PyConJP2016 行きました

2016/10/17
EuroPython2016で登壇しました

2016/10/13
Angular 2.0.0ファイナルへのアップグレード

2016/10/04
Three.js r81で何が変わったのか

2016/09/14
カブクのエンジニアインターンシッププログラムについての詩

2016/09/05
カブクのエンジニアインターンとして3ヶ月でやった事 〜高橋知成の場合〜

2016/08/30
Three.js r80で何が変わったのか

2016/07/15
Three.js r79で何が変わったのか

2016/06/02
Vulkanを試してみた

2016/05/20
MakerGoの作り方

2016/05/08
TensorFlow on DockerでGPUを使えるようにする方法

2016/04/27
Blenderの3DデータをMinecraftに送りこむ

2016/04/20
Tensorflowを使ったDeep LearningにおけるGPU性能調査

→
←

関連職種

Recruit

バックエンドエンジニア(Python・Go)

業務内容

当ポジションは弊社Webサービスのバックエンド機能設計及び実装を担当します。 サービス毎の開発チームで2週間スプリントのスクラム開発を実施しています。 週次で開発チームミーティングを実施し、実装設計の相談や工数見積もりを行います。 全ての開発コードはレビューと自動テストによって品質を保っています。 また、リファクタリングやフレームワークのバージョンアップも開発フローに組込み、技術的負債を放置しない開発を目指しています。

フロントエンドエンジニア(TypeScript)

業務内容

当ポジションは弊社Webサービスのフロントエンド機能設計及び実装を担当します。 サービス毎の開発チームで2週間スプリントのスクラム開発を実施しています。 週次で開発チームミーティングを実施し、実装設計の相談や工数見積もりを行います。 全ての開発コードはレビューと自動テストによって品質を保っています。 また、リファクタリングやフレームワークのバージョンアップも開発フローに組込み、技術的負債を放置しない開発を目指しています。

機械学習エンジニア

業務内容

センサーデータの分析モデルの調査・研究・開発。 Kabuku Connectの製造データ(3D、2D)から情報を抽出するモデルの構築。 データの前処理や学習、ハイパーパラメータチューニング、獲得モデルの評価、プロダクションのデータパイプラインとの連携をお願いします。

インターン(Webエンジニア)

業務内容

業務から独立した、調査・研究系のタスクをおまかせしています。コードレビュー、 社内での報告会、 ブログ記事執筆を通して着実にスキルアップしていただくことを目指しています。 (希望があれば、プロダクトの開発業務もおまかせします。)

→
←

お客様のご要望に「Kabuku」はお応えいたします。
ぜひお気軽にご相談ください。

お電話でも受け付けております
03-6380-2750
営業時間:09:30~18:00
※土日祝は除く