きたない requirements.txt から Pipenv への移行

2018/07/11
このエントリーをはてなブックマークに追加

ソフトウェアエンジニアの花岡です。今回は、きたない requirements.txt から Pipenv に移行し pipenv graph を使って依存ライブラリを管理しやすくする方法について書きました。

きたない requirements.txt とは、依存ライブラリとその依存ライブラリの指定が混在している requirements.txt ファイルのことです。たとえば

$ pip install flask
$ pip freeze > requirements.txt

のように生成した requirements.txt を使っているとき、本記事ではその requirements.txt を、きたない requirements.txt と呼ぶことにします。

きたなくない requirements.txt とは pip の constraints の正しい用途のように、直接依存しているライブラリのみ指定された requirements.txt のことで、pip freeze の結果は別に管理します。

Pipenv の基本的な使い方については、本記事では触れないため公式サイトを参照してください。

Pipenv とは

Pipenv は Python のパッケージ管理ツールです。公式サイト

Pipenv: Python Dev Workflow for Humans

Pipenv is a tool that aims to bring the best of all packaging worlds (bundler, composer, npm, cargo, yarn, etc.) to the Python world.

とあるように、ひとのための Python の開発ワークフローを掲げて、いろいろなパッケージングツールの良いところを集結しようとしています。

現在は https://github.com/pypa/pipenv がリポジトリです。pypa は Python Packaging Authority の略で setuptools、pip、virtualenv なども管理しています。とても安心感がありますね。Pip Integration (eventual)によると、最終的には pip コマンドで -p/--pipfile オプションが使えるようになるらしいです。

Pipenv の良いところのひとつは、Pipfile.lock として pip freeze の結果を管理してくれるところと、Pipenv(pip --pipfile)が標準になるはずというところだと思います。Python のパッケージング管理も Bundler や npm に追いついてきました。

きたない requirements.txt から Pipenv への移行

説明のために、きたない requirements.txt を生成します。

$ pip install flask  # 本番用のライブラリ
$ pip install pytest pytest-cov  # テスト用のライブラリ
$ pip freeze | tee requirements.txt
atomicwrites==1.1.5
attrs==18.1.0
click==6.7
coverage==4.5.1
Flask==1.0.2
funcsigs==1.0.2
itsdangerous==0.24
Jinja2==2.10
MarkupSafe==1.0
more-itertools==4.2.0
pluggy==0.6.0
py==1.5.4
pytest==3.6.3
pytest-cov==2.5.1
six==1.11.0
Werkzeug==0.14.1

ここでは、ついでにテスト用のライブラリも指定しました。きたないですね。

まずこの requirements.txt を pipenv install -r requirements.txt でインストールします。

[[source]]
url = "https://pypi.org/simple"
verify_ssl = true
name = "pypi"

[packages]
atomicwrites = "==1.1.5"
attrs = "==18.1.0"
click = "==6.7"
coverage = "==4.5.1"
funcsigs = "==1.0.2"
itsdangerous = "==0.24"
more-itertools = "==4.2.0"
pluggy = "==0.6.0"
py = "==1.5.4"
pytest = "==3.6.3"
pytest-cov = "==2.5.1"
six = "==1.11.0"
Flask = "==1.0.2"
"Jinja2" = "==2.10"
MarkupSafe = "==1.0"
Werkzeug = "==0.14.1"

[dev-packages]

[requires]
python_version = "3.7"

という内容の Pipfile(と Pipfile.lock)が生成されます。ここで pipenv graph を実行すると

$ pipenv graph
Flask==1.0.2
  - click [required: >=5.1, installed: 6.7]
  - itsdangerous [required: >=0.24, installed: 0.24]
  - Jinja2 [required: >=2.10, installed: 2.10]
    - MarkupSafe [required: >=0.23, installed: 1.0]
  - Werkzeug [required: >=0.14, installed: 0.14.1]
pytest-cov==2.5.1
  - coverage [required: >=3.7.1, installed: 4.5.1]
  - pytest [required: >=2.6.0, installed: 3.6.3]
    - atomicwrites [required: >=1.0, installed: 1.1.5]
    - attrs [required: >=17.4.0, installed: 18.1.0]
    - funcsigs [required: Any, installed: 1.0.2]
    - more-itertools [required: >=4.0.0, installed: 4.2.0]
      - six [required: >=1.0.0,<2.0.0, installed: 1.11.0]
    - pluggy [required: >=0.5,<0.7, installed: 0.6.0]
    - py [required: >=1.5.0, installed: 1.5.4]
    - setuptools [required: Any, installed: 40.0.0]
    - six [required: >=1.10.0, installed: 1.11.0]

のように依存関係のグラフが表示されます。この結果から Pipfile

[packages]
Flask = "==1.0.2"

[dev-packages]
pytest-cov = "==2.5.1"

のように書き換えて pipenv install -d するのが最短です。これでテストもパスするのであれば何も問題ありません。

しかし、たとえばこの場合 pytest は pytest-cov によって &gt;=2.6.0 に依存しているので、もし pytest 4.0.0 がリリースされ破壊的変更があれば、pipenv install -d してテストがパスしないかもしれません。そのような場合は

[dev-packages]
pytest = "==3.6.3"
pytest-cov = "==2.5.1"

のように pytest も指定しておく必要があります。このようにテストがパスしなかった場合には以下のように、pipenv graph を利用して最初の Pipfile から徐々に整理し最適化していくことができます。

まずテスト用のライブラリを [packages] から [dev-packages] に移動します。今回は pipenv graph の結果がシンプルなので手動で移動することができます。

[packages]
click = "==6.7"
itsdangerous = "==0.24"
Flask = "==1.0.2"
"Jinja2" = "==2.10"
MarkupSafe = "==1.0"
Werkzeug = "==0.14.1"

[dev-packages]
atomicwrites = "==1.1.5"
attrs = "==18.1.0"
coverage = "==4.5.1"
funcsigs = "==1.0.2"
more-itertools = "==4.2.0"
pluggy = "==0.6.0"
py = "==1.5.4"
pytest = "==3.6.3"
pytest-cov = "==2.5.1"
six = "==1.11.0"

パッケージ数が多くなってくると手動で移動するのは大変かもしれません。そういう場合は --json または --json-tree というオプションがあるので、自動で振り分けてくれるようなスクリプトを書いて公開してください。

それまでの間は、逆向きの依存関係を出力する --reverse というオプションを使うことにします。

$ pipenv graph --reverse
atomicwrites==1.1.5
  - pytest==3.6.3 [requires: atomicwrites>=1.0]
    - pytest-cov==2.5.1 [requires: pytest>=2.6.0]
attrs==18.1.0
  - pytest==3.6.3 [requires: attrs>=17.4.0]
    - pytest-cov==2.5.1 [requires: pytest>=2.6.0]
click==6.7
  - Flask==1.0.2 [requires: click>=5.1]
coverage==4.5.1
  - pytest-cov==2.5.1 [requires: coverage>=3.7.1]
funcsigs==1.0.2
  - pytest==3.6.3 [requires: funcsigs]
    - pytest-cov==2.5.1 [requires: pytest>=2.6.0]
itsdangerous==0.24
  - Flask==1.0.2 [requires: itsdangerous>=0.24]
MarkupSafe==1.0
  - Jinja2==2.10 [requires: MarkupSafe>=0.23]
    - Flask==1.0.2 [requires: Jinja2>=2.10]
pip==10.0.1
pluggy==0.6.0
  - pytest==3.6.3 [requires: pluggy>=0.5,<0.7]
    - pytest-cov==2.5.1 [requires: pytest>=2.6.0]
py==1.5.4
  - pytest==3.6.3 [requires: py>=1.5.0]
    - pytest-cov==2.5.1 [requires: pytest>=2.6.0]
setuptools==40.0.0
  - pytest==3.6.3 [requires: setuptools]
    - pytest-cov==2.5.1 [requires: pytest>=2.6.0]
six==1.11.0
  - more-itertools==4.2.0 [requires: six>=1.0.0,<2.0.0]
    - pytest==3.6.3 [requires: more-itertools>=4.0.0]
      - pytest-cov==2.5.1 [requires: pytest>=2.6.0]
  - pytest==3.6.3 [requires: six>=1.10.0]
    - pytest-cov==2.5.1 [requires: pytest>=2.6.0]
Werkzeug==0.14.1
  - Flask==1.0.2 [requires: Werkzeug>=0.14]

この結果を利用して、たとえば atomicwrites は pytest からのみ依存されていることがわかるので [dev-packages] に移動、という作業を繰り返します。

後は間接依存ライブラリをそれぞれ Pipfile では指定せずにテストしていきます。もしテストがパスしなければ、そのバージョンを Pipfile で指定したままにしておきテストがパスしない理由を調査します。

さいごに

不要なエントリを削除した後は pipenv update でライブラリの更新ができるように、バージョンの指定を調整するといいと思います。たとえば

[packages]
Flask = "~=1.0"

[dev-packages]
pytest-cov = "~=2.5"

のようにすると pipenv update したときに、条件にあった新しいリリースがあれば Pipfile.lock が更新されてインストールされます。バージョンのフォーマットについては [PEP 440][] と [RFC 3986][] で定義されていると [PEP 508][] で定義されています。

弊社では Python できれいなコードを書きたいエンジニアを募集しています。興味のある方は是非こちらからご応募ください。

その他の記事

Other Articles

2019/04/16
C++のenable_shared_from_thisを使う

2019/04/12
OpenAPI 3 ファーストな Web アプリケーション開発(Python で API 編)

2019/04/08
WebGLでレイマーチングを使ったCSGを実現する

2019/04/02
『エンジニア採用最前線』に感化されて2週間でエンジニア主導の求人票更新フローを構築した話

2019/03/29
その1 Jetson TX2でk3s(枯山水)を動かしてみた

2019/03/27
任意のブラウザ上でJestで書いたテストを実行する

2019/02/08
TypeScript で “radian” と “degree” を間違えないようにする

2019/02/05
Python3でGoogle Cloud ML Engineをローカルで動作する方法

2019/01/18
SIGGRAPH Asia 2018 参加レポート

2019/01/08
お正月だョ!ECMAScript Proposal全員集合!!

2019/01/08
カブクエンジニア開発合宿に行ってきました 2018秋

2018/12/25
OpenAPI 3 ファーストな Web アプリケーション開発(環境編)

2018/12/23
いまMLKitカスタムモデル(TF Lite)は使えるのか

2018/12/21
[IoT] Docker on JetsonでMQTTを使ってCloud IoT Coreと通信する

2018/12/11
TypeScriptで実現する型安全な多言語対応(Angularを例に)

2018/12/05
GASでCompute Engineの時間に応じた自動停止/起動ツールを作成する 〜GASで簡単に好きなGoogle APIを叩く方法〜

2018/12/02
single quotes な Black を vendoring して packaging

2018/11/14
3次元データに2次元データの深層学習の技術(Inception V3, ResNet)を適用

2018/11/04
Node Knockout 2018 に参戦しました

2018/10/24
SIGGRAPH 2018参加レポート-後編(VR/AR)

2018/10/11
Angular 4アプリケーションをAngular 6に移行する

2018/10/05
SIGGRAPH 2018参加レポート-特別編(VR@50)

2018/10/03
Three.jsでVRしたい

2018/10/02
SIGGRAPH 2018参加レポート-前編

2018/09/27
ズーム可能なSVGを実装する方法の解説

2018/09/25
Kerasを用いた複数入力モデル精度向上のためのTips

2018/09/21
競技プログラミングの勉強会を開催している話

2018/09/19
Ladder Netwoksによる半教師あり学習

2018/08/10
「Maker Faire Tokyo 2018」に出展しました

2018/08/02
Kerasを用いた複数時系列データを1つの深層学習モデルで学習させる方法

2018/07/26
Apollo GraphQLでWebサービスを開発してわかったこと

2018/07/19
【深層学習】時系列データに対する1次元畳み込み層の出力を可視化

2018/06/26
CSS Houdiniを味見する

2018/06/25
不確実性を考慮した時系列データ予測

2018/06/20
Google Colaboratory を自分のマシンで走らせる

2018/06/18
Go言語でWebAssembly

2018/06/15
カブクエンジニア開発合宿に行ってきました 2018春

2018/06/08
2018 年の tree shaking

2018/06/07
隠れマルコフモデル 入門

2018/05/30
DASKによる探索的データ分析(EDA)

2018/05/10
TensorFlowをソースからビルドする方法とその効果

2018/04/23
EGLとOpenGLを使用するコードのビルド方法〜libGLからlibOpenGLへ

2018/04/23
技術書典4にサークル参加してきました

2018/04/13
Python で Cura をバッチ実行するためには

2018/04/04
ARCoreで3Dプリント風エフェクトを実現する〜呪文による積層造形映像制作の舞台裏〜

2018/04/02
深層学習を用いた時系列データにおける異常検知

2018/04/01
音声ユーザーインターフェースを用いた新方式積層造形装置の提案

2018/03/31
Container builderでコンテナイメージをBuildしてSlackで結果を受け取る開発スタイルが捗る

2018/03/23
ngUpgrade を使って AngularJS から Angular に移行

2018/03/14
Three.jsのパフォーマンスTips

2018/02/14
C++17の新機能を試す〜その1「3次元版hypot」

2018/01/17
時系列データにおける異常検知

2018/01/11
異常検知の基礎

2018/01/09
three.ar.jsを使ったスマホAR入門

2017/12/17
Python OpenAPIライブラリ bravado-core の発展的な使い方

2017/12/15
WebAssembly(wat)を手書きする

2017/12/14
AngularJS を Angular に移行: ng-annotate 相当の機能を TypeScrpt ファイルに適用

2017/12/08
Android Thingsで4足ロボットを作る ~ Android ThingsとPCA9685でサーボ制御)

2017/12/06
Raspberry PIとDialogflow & Google Cloud Platformを利用した、3Dプリンターボット(仮)の開発 (概要編)

2017/11/20
カブクエンジニア開発合宿に行ってきました 2017秋

2017/10/19
Android Thingsを使って3Dプリント戦車を作ろう ① ハードウェア準備編

2017/10/13
第2回 魁!! GPUクラスタ on GKE ~PodからGPUを使う編~

2017/10/05
第1回 魁!! GPUクラスタ on GKE ~GPUクラスタ構築編~

2017/09/13
「Maker Faire Tokyo 2017」に出展しました。

2017/09/11
PyConJP2017に参加しました

2017/09/08
bravado-coreによるOpenAPIを利用したPythonアプリケーション開発

2017/08/23
OpenAPIのご紹介

2017/08/18
EuroPython2017で2名登壇しました。

2017/07/26
3DプリンターでLチカ

2017/07/03
Three.js r86で何が変わったのか

2017/06/21
3次元データへの深層学習の適用

2017/06/01
カブクエンジニア開発合宿に行ってきました 2017春

2017/05/08
Three.js r85で何が変わったのか

2017/04/10
GCPのGPUインスタンスでレンダリングを高速化

2017/02/07
Three.js r84で何が変わったのか

2017/01/27
Google App EngineのFlexible EnvironmentにTmpfsを導入する

2016/12/21
Three.js r83で何が変わったのか

2016/12/02
Three.jsでのクリッピング平面の利用

2016/11/08
Three.js r82で何が変わったのか

2016/12/17
SIGGRAPH 2016 レポート

2016/11/02
カブクエンジニア開発合宿に行ってきました 2016秋

2016/10/28
PyConJP2016 行きました

2016/10/17
EuroPython2016で登壇しました

2016/10/13
Angular 2.0.0ファイナルへのアップグレード

2016/10/04
Three.js r81で何が変わったのか

2016/09/14
カブクのエンジニアインターンシッププログラムについての詩

2016/09/05
カブクのエンジニアインターンとして3ヶ月でやった事 〜高橋知成の場合〜

2016/08/30
Three.js r80で何が変わったのか

2016/07/15
Three.js r79で何が変わったのか

2016/06/02
Vulkanを試してみた

2016/05/20
MakerGoの作り方

2016/05/08
TensorFlow on DockerでGPUを使えるようにする方法

2016/04/27
Blenderの3DデータをMinecraftに送りこむ

2016/04/20
Tensorflowを使ったDeep LearningにおけるGPU性能調査

→
←

関連職種

Recruit

バックエンドエンジニア(Python・Go)

業務内容

当ポジションは弊社Webサービスのバックエンド機能設計及び実装を担当します。 サービス毎の開発チームで2週間スプリントのスクラム開発を実施しています。 週次で開発チームミーティングを実施し、実装設計の相談や工数見積もりを行います。 全ての開発コードはレビューと自動テストによって品質を保っています。 また、リファクタリングやフレームワークのバージョンアップも開発フローに組込み、技術的負債を放置しない開発を目指しています。

フロントエンドエンジニア(TypeScript)

業務内容

当ポジションは弊社Webサービスのフロントエンド機能設計及び実装を担当します。 サービス毎の開発チームで2週間スプリントのスクラム開発を実施しています。 週次で開発チームミーティングを実施し、実装設計の相談や工数見積もりを行います。 全ての開発コードはレビューと自動テストによって品質を保っています。 また、リファクタリングやフレームワークのバージョンアップも開発フローに組込み、技術的負債を放置しない開発を目指しています。

機械学習エンジニア

業務内容

センサーデータの分析モデルの調査・研究・開発。 Kabuku Connectの製造データ(3D、2D)から情報を抽出するモデルの構築。 データの前処理や学習、ハイパーパラメータチューニング、獲得モデルの評価、プロダクションのデータパイプラインとの連携をお願いします。

インターン(Webエンジニア)

業務内容

業務から独立した、調査・研究系のタスクをおまかせしています。コードレビュー、 社内での報告会、 ブログ記事執筆を通して着実にスキルアップしていただくことを目指しています。 (希望があれば、プロダクトの開発業務もおまかせします。)

→
←

お客様のご要望に「Kabuku」はお応えいたします。
ぜひお気軽にご相談ください。

お電話でも受け付けております
03-6380-2750
営業時間:09:30~18:00
※土日祝は除く