Pythonプロジェクトの共通のひな形を作る

2021/03/26
このエントリーをはてなブックマークに追加

こんにちは、バックエンドエンジニアの金子です。
コロナ禍により世界が一変してしまいましたが皆様は無事にお過ごしでしょうか?
私はリモートワーク中心になったことで引きこもり化が加速しました。先日久しぶりに2、3km程度歩いただけなのにふくらはぎの筋肉痛に苦しんでいます。

今回は、前々からやろうやろうと思って放置していたことについて書こうと思います。

はじめに

昨今Pythonのプロジェクトの管理にpipenvまたはpoetryを使われている方が多いと思います。

$ mkdir spamproject && cd spamproject
$ pipenv install
$ pipenv shell

または

$ poetry new spamproject && cd spamproject
$ poetry shell

で、プロジェクトを作り、依存ライブラリやプロジェクト情報の管理ができる。便利ですね。
個人がコードを書く分にはこれで十分だと思います。しかし、チームやOSSで他の人の協力が必要な時はどうでしょうか?

  • エディターの設定を共通化したい
  • linter/formatterの設定を入れたい
  • テストを自動で走らせたい
  • カバレッジを取りたい

等々……いろいろな設定をする必要があると思います。
毎回プロジェクトを作るたびに既存のプロジェクトからコピーして改変するのも面倒です。

そこで登場するのがcookiecutterというツールです。
これは、あらかじめGitHub等に用意したテンプレートをコピーし、環境に応じたパラメーターを入力することでカスタマイズされたプロジェクトを作成してくれる優れたツールです。
似たツールではnode.jsのdegitがあります。こちらはsvelteやrollupの作者のRich Harrisさんが作られたものなので、svelteを使われたことがある方ならプロジェクトの作成で触ったことがあるかと思います。

cookiecutterを使ってみる

インストール

それでは早速使ってみましょう。まずはおなじみのpipでインストールします。

$ pip install cookiecutter

特に詰まることはない……はず。

プロジェクトの作成

続いてREADMEに書いてある通りAudrey Roy Greenfeldさんのテンプレート、cookiecutter-pypackage からプロジェクトを作ってみます。

$ cookiecutter gh:audreyr/cookiecutter-pypackage

ここでプレフィクスの gh:はGitHub上から取得することを示しています。
他にも bb: ならBitbucket、gl:ならGitLabから取得するようになっています。しかし、BitBucketの場合はMercurialリポジトリからの取得になっているので注意が必要です。
また、2020年7月をもってBitBucketでのMercurialサポートは終了しているため、bb:<ユーザー名>/<リポジトリ名>は使えませんでした。
BitBucket上のGitリポジトリにあるテンプレートを使用したい場合は次のようになります(これはあくまで例で、このテンプレートは実際には存在しません)

$ cookiecutter git@bitbucket.org:taro_kabuku/cookiecutter-pypackage.git

プロジェクト固有の情報の入力

前項の「プロジェクトの作成」のコマンドを入力すると、次のように対話形式でプロジェクトの情報を入力します。
cookiecutter-pypackageでは、フルネーム、メールアドレス、GitHubのユーザー名、プロジェクト名とスラグ(識別子)、短い説明……等々が聞かれます。

$ cookiecutter gh:audreyr/cookiecutter-pypackage
full_name [Audrey Roy Greenfeld]: Taro Kabuku
email [audreyr@example.com]: taro.kabuku@example.com
github_username [audreyr]: taro_kabuku
project_name [Python Boilerplate]: My Boilerplate
project_slug [my_boilerplate]:
project_short_description [Python Boilerplate contains all the boilerplate you need to create a Python package.]:
pypi_username [taro_kabuku]:
version [0.1.0]:
use_pytest [n]: y
use_pypi_deployment_with_travis [y]: n
add_pyup_badge [n]:
Select command_line_interface:
1 - Click
2 - Argparse
3 - No command-line interface
Choose from 1, 2, 3 [1]: 2
create_author_file [y]: n
Select open_source_license:
1 - MIT license
2 - BSD license
3 - ISC license
4 - Apache Software License 2.0
5 - GNU General Public License v3
6 - Not open source
Choose from 1, 2, 3, 4, 5, 6 [1]: 6

この時、固定で入力したい項目は~/.cookiecutterrcに次のように書いておくと、プロジェクト作成時のデフォルト値を差し替えてくれます。

default_context:
    full_name: "Taro Kabuku"
    email: "taro.kabuku@example.com"
    github_username: "taro_kabuku"

この通り!

$ cookiecutter gh:audreyr/cookiecutter-pypackage
full_name [Taro Kabuku]:
email [taro.kabuku@example.com]:
github_username [taro_kabuku]:

実際にできあがったプロジェクトはこんな感じです。

$ ls my_boilerplate/
CONTRIBUTING.rst  MANIFEST.in  README.rst  my_boilerplate  setup.cfg
tests             HISTORY.rst  Makefile    docs            requirements_dev.txt
setup.py          tox.ini

自前のテンプレートを作る

続いて自前のテンプレートとして、Cloud FunctionsのHTTPトリガーのテンプレートを作ってみます。
1から作っても良いのですが、ちょうどよくPaweł Żukowskiさん作のcookiecutter-gcp-cloud-function-pythonがあったのでこちらをforkして作ります。

テンプレートの構成

テンプレートをGitHubリポジトリからクローンすると、テンプレートの構成は次のスクリーンショットの通りになっています。

見ると{{ cookiecutter.project_slug }}という不思議な名前のディレクトリがあります。
このテンプレートから入力を全てデフォルト値としたmy_gcp_cloud_functionという名前の新しいプロジェクトを作ってみます。
するとcookiecutterは{{ cookiecutter.project_slug }}フォルダーをコピーしてmy_gcp_cloud_functionという名前のディレクトリを作成します。

続いて{{ cookiecutter.project_slug }}/main.pyを見てみると、次のようなコード片があります。

def {{ cookiecutter.code_entry_point }}(req: Request):
    return render_template("index.html")

{{ cookiecutter.code_entry_point }}という不思議な名前の関数がありますね。
当然このままでは実行できません。
それではmy_gcp_cloud_function/main.pyを見てみます。

def on_request_received(req: Request):
    return render_template("index.html")

{{ cookiecutter.code_entry_point }}on_request_receivedに差し替えられています。
{{}}で囲まれた文字列は、どこにある定義で差し替えられているのでしょうか?
テンプレートを見ると、cookiecutter.jsonというファイルがあります。これを開くと次の通りになっています。

{
  "project_name": "My GCP Cloud Function",
  "project_slug": "{{ cookiecutter.project_name.lower().replace(' ', '_') }}",
  "gcp_project": "",
  "gcp_function_region": [
    "asia-east2",
    "asia-northeast1",
// (中略)
  "code_entry_point": "on_request_received",
// (中略)
}

ということは、自前のテンプレートを作成したい時はcookiecutter.json{{ cookiecutter.project_slug }}フォルダー以下を編集すれば良いということがわかります。
ここまで来るとお気づきの方もいらっしゃると思いますが、cookiecutterのテンプレートにはjinjaが使われています。

カスタマイズしてみる

実際にカスタマイズしてみましょう。変更するポイントは大まかに次の通りになります。

  • プロジェクトの管理をpoetryからpipenvに変える
  • linter、formatterとしてflake8、black、isortをインストールし、設定ファイルを用意する
  • mypyで型のチェックを行う
  • pytestによるテストを追加し、カバレッジを取る
  • コミットする前にlinterやformatter、mypyでstage状態のファイルをチェックする(huskyを使う)
  • gitignoreをgiboのPythonとnode.jsのものに置き換える
  • エントリーポイント関数の戻り値はHTMLテンプレートのレンダリングをやめ、ただokとだけ返す
  • デフォルトのリージョンをasia-northeast1(Tokyo)にする

だいぶ長くなってきたので詳細は端折りますが、カスタマイズした結果がこちらになります。

https://github.com/kabuku/cookiecutter-gcp-cloud-function-python

おわりに

このようにcookiecutterはプロジェクトを作る時に便利かつカスタマイズしやすいツールです。
枯れたツールなので、多くのテンプレートがあります。また、PythonだけでなくTypeScriptやGoのプロジェクトのテンプレートもあったりするので毎回同じ作業をするのに疲れた時は探してみると良いと思います。

この記事はShodo ( https://shodo.ink ) を使って校正してみました。

その他の記事

Other Articles

2021/09/16
[ECMAScript] Pipe operator 論争まとめ – F# か Hack か両方か

2021/07/05
TypeScript v4.3 の機能を使って immutable ライブラリの型付けを頑張る

2021/06/25
Denoでwasmを動かすだけの話

2021/05/18
DOMMatrix: 2D / 3D 変形(アフィン変換)の行列を扱う DOM API

2021/03/29
GoのWASMがライブラリではなくアプリケーションであること

2021/03/25
インラインスタイルと Tailwind CSS と Tailwind CSS 入力補助ライブラリと Tailwind CSS in JS

2021/03/23
Serverless NEGを使ってApp Engineにカスタムドメインをワイルドカードマッピング

2021/01/07
esbuild の機能が足りないならプラグインを自作すればいいじゃない

2020/08/26
TypeScriptで関数の部分型を理解しよう

2020/06/16
[Web フロントエンド] esbuild が爆速すぎて webpack / Rollup にはもう戻れない

2020/03/19
[Web フロントエンド] Elm に心折れ Mint に癒しを求める

2020/02/28
さようなら、TypeScript enum

2020/02/14
受付のLooking Glassに加えたひと工夫

2020/01/28
カブクエンジニア開発合宿に行ってきました 2020冬

2020/01/30
Renovateで依存ライブラリをリノベーションしよう 〜 Bitbucket編 〜

2019/12/27
Cloud Tasks でも deferred ライブラリが使いたい

2019/12/25
*, ::before, ::after { flex: none; }

2019/12/21
Top-level awaitとDual Package Hazard

2019/12/20
Three.jsからWebGLまで行きて帰りし物語

2019/12/18
Three.jsに入門+手を検出してAR.jsと組み合わせてみた

2019/12/04
WebXR AR Paint その2

2019/11/06
GraphQLの入門書を翻訳しました

2019/09/20
Kabuku Connect 即時見積機能のバックエンド開発

2019/08/14
Maker Faire Tokyo 2019でARゲームを出展しました

2019/07/25
夏休みだョ!WebAssembly Proposal全員集合!!

2019/07/08
鵜呑みにしないで! —— 書籍『クリーンアーキテクチャ』所感 ≪null 篇≫

2019/07/03
W3C Workshop on Web Games参加レポート

2019/06/28
TypeScriptでObject.assign()に正しい型をつける

2019/06/25
カブクエンジニア開発合宿に行ってきました 2019夏

2019/06/21
Hola! KubeCon Europe 2019の参加レポート

2019/06/19
Clean Resume きれいな環境できれいな履歴書を作成する

2019/05/20
[Web フロントエンド] 状態更新ロジックをフレームワークから独立させる

2019/04/16
C++のenable_shared_from_thisを使う

2019/04/12
OpenAPI 3 ファーストな Web アプリケーション開発(Python で API 編)

2019/04/08
WebGLでレイマーチングを使ったCSGを実現する

2019/04/02
『エンジニア採用最前線』に感化されて2週間でエンジニア主導の求人票更新フローを構築した話

2019/03/29
その1 Jetson TX2でk3s(枯山水)を動かしてみた

2019/03/27
任意のブラウザ上でJestで書いたテストを実行する

2019/02/08
TypeScript で “radian” と “degree” を間違えないようにする

2019/02/05
Python3でGoogle Cloud ML Engineをローカルで動作する方法

2019/01/18
SIGGRAPH Asia 2018 参加レポート

2019/01/08
お正月だョ!ECMAScript Proposal全員集合!!

2019/01/08
カブクエンジニア開発合宿に行ってきました 2018秋

2018/12/25
OpenAPI 3 ファーストな Web アプリケーション開発(環境編)

2018/12/23
いまMLKitカスタムモデル(TF Lite)は使えるのか

2018/12/21
[IoT] Docker on JetsonでMQTTを使ってCloud IoT Coreと通信する

2018/12/11
TypeScriptで実現する型安全な多言語対応(Angularを例に)

2018/12/05
GASでCompute Engineの時間に応じた自動停止/起動ツールを作成する 〜GASで簡単に好きなGoogle APIを叩く方法〜

2018/12/02
single quotes な Black を vendoring して packaging

2018/11/14
3次元データに2次元データの深層学習の技術(Inception V3, ResNet)を適用

2018/11/04
Node Knockout 2018 に参戦しました

2018/10/24
SIGGRAPH 2018参加レポート-後編(VR/AR)

2018/10/11
Angular 4アプリケーションをAngular 6に移行する

2018/10/05
SIGGRAPH 2018参加レポート-特別編(VR@50)

2018/10/03
Three.jsでVRしたい

2018/10/02
SIGGRAPH 2018参加レポート-前編

2018/09/27
ズーム可能なSVGを実装する方法の解説

2018/09/25
Kerasを用いた複数入力モデル精度向上のためのTips

2018/09/21
競技プログラミングの勉強会を開催している話

2018/09/19
Ladder Netwoksによる半教師あり学習

2018/08/10
「Maker Faire Tokyo 2018」に出展しました

2018/08/02
Kerasを用いた複数時系列データを1つの深層学習モデルで学習させる方法

2018/07/26
Apollo GraphQLでWebサービスを開発してわかったこと

2018/07/19
【深層学習】時系列データに対する1次元畳み込み層の出力を可視化

2018/07/11
きたない requirements.txt から Pipenv への移行

2018/06/26
CSS Houdiniを味見する

2018/06/25
不確実性を考慮した時系列データ予測

2018/06/20
Google Colaboratory を自分のマシンで走らせる

2018/06/18
Go言語でWebAssembly

2018/06/15
カブクエンジニア開発合宿に行ってきました 2018春

2018/06/08
2018 年の tree shaking

2018/06/07
隠れマルコフモデル 入門

2018/05/30
DASKによる探索的データ分析(EDA)

2018/05/10
TensorFlowをソースからビルドする方法とその効果

2018/04/23
EGLとOpenGLを使用するコードのビルド方法〜libGLからlibOpenGLへ

2018/04/23
技術書典4にサークル参加してきました

2018/04/13
Python で Cura をバッチ実行するためには

2018/04/04
ARCoreで3Dプリント風エフェクトを実現する〜呪文による積層造形映像制作の舞台裏〜

2018/04/02
深層学習を用いた時系列データにおける異常検知

2018/04/01
音声ユーザーインターフェースを用いた新方式積層造形装置の提案

2018/03/31
Container builderでコンテナイメージをBuildしてSlackで結果を受け取る開発スタイルが捗る

2018/03/23
ngUpgrade を使って AngularJS から Angular に移行

2018/03/14
Three.jsのパフォーマンスTips

2018/02/14
C++17の新機能を試す〜その1「3次元版hypot」

2018/01/17
時系列データにおける異常検知

2018/01/11
異常検知の基礎

2018/01/09
three.ar.jsを使ったスマホAR入門

2017/12/17
Python OpenAPIライブラリ bravado-core の発展的な使い方

2017/12/15
WebAssembly(wat)を手書きする

2017/12/14
AngularJS を Angular に移行: ng-annotate 相当の機能を TypeScrpt ファイルに適用

2017/12/08
Android Thingsで4足ロボットを作る ~ Android ThingsとPCA9685でサーボ制御)

2017/12/06
Raspberry PIとDialogflow & Google Cloud Platformを利用した、3Dプリンターボット(仮)の開発 (概要編)

2017/11/20
カブクエンジニア開発合宿に行ってきました 2017秋

2017/10/19
Android Thingsを使って3Dプリント戦車を作ろう ① ハードウェア準備編

2017/10/13
第2回 魁!! GPUクラスタ on GKE ~PodからGPUを使う編~

2017/10/05
第1回 魁!! GPUクラスタ on GKE ~GPUクラスタ構築編~

2017/09/13
「Maker Faire Tokyo 2017」に出展しました。

2017/09/11
PyConJP2017に参加しました

2017/09/08
bravado-coreによるOpenAPIを利用したPythonアプリケーション開発

2017/08/23
OpenAPIのご紹介

2017/08/18
EuroPython2017で2名登壇しました。

2017/07/26
3DプリンターでLチカ

2017/07/03
Three.js r86で何が変わったのか

2017/06/21
3次元データへの深層学習の適用

2017/06/01
カブクエンジニア開発合宿に行ってきました 2017春

2017/05/08
Three.js r85で何が変わったのか

2017/04/10
GCPのGPUインスタンスでレンダリングを高速化

2017/02/07
Three.js r84で何が変わったのか

2017/01/27
Google App EngineのFlexible EnvironmentにTmpfsを導入する

2016/12/21
Three.js r83で何が変わったのか

2016/12/02
Three.jsでのクリッピング平面の利用

2016/11/08
Three.js r82で何が変わったのか

2016/12/17
SIGGRAPH 2016 レポート

2016/11/02
カブクエンジニア開発合宿に行ってきました 2016秋

2016/10/28
PyConJP2016 行きました

2016/10/17
EuroPython2016で登壇しました

2016/10/13
Angular 2.0.0ファイナルへのアップグレード

2016/10/04
Three.js r81で何が変わったのか

2016/09/14
カブクのエンジニアインターンシッププログラムについての詩

2016/09/05
カブクのエンジニアインターンとして3ヶ月でやった事 〜高橋知成の場合〜

2016/08/30
Three.js r80で何が変わったのか

2016/07/15
Three.js r79で何が変わったのか

2016/06/02
Vulkanを試してみた

2016/05/20
MakerGoの作り方

2016/05/08
TensorFlow on DockerでGPUを使えるようにする方法

2016/04/27
Blenderの3DデータをMinecraftに送りこむ

2016/04/20
Tensorflowを使ったDeep LearningにおけるGPU性能調査

→
←

関連職種

Recruit

フロントエンドエンジニア(TypeScript)

業務内容

業務内容 当ポジションは弊社Webサービスのフロントエンド機能設計及び実装を担当します。 サービス毎の開発チー […]

→
←

お客様のご要望に「Kabuku」はお応えいたします。
ぜひお気軽にご相談ください。

お電話でも受け付けております
03-6380-2750
営業時間:09:30~18:00
※土日祝は除く