Top-level awaitとDual Package Hazard

2019/12/21
このエントリーをはてなブックマークに追加

Node.js Advent Calendar 2019の21日目の記事です。

2019/12/25追記

もともと「Top-level awaitによるESモジュールの非同期化とDual Package Hazard」というタイトルにしていましたが、表現に勇み足な部分があり、ご指摘をいただいたので、少し修正しました。

「TLAによってNode.jsのESMが非同期になった」という表現はおそらく正確ではありません。ESMに関する2017年のNode.jsのドキュメントでは、特に理由は触れずに「ESMのロードは非同期で、それはブラウザの挙動と合致する」と記述されています。ここでいう「ブラウザの挙動」とは、WHATWG Loaderで定められた仕様を指すと考えられます。ECMAScriptの仕様としては、少なくとも2019まではESMが非同期であるとの記述はなさそうなので、ブラウザの仕様に合わせて非同期にしたのかな、という印象を受けます。

ただし、GitHub上での議論を見る限り、ESMのロードを同期的に行えないことに関しては、かなり早い時点(2016年1月)からTLAが要因として指摘されています。また、現在require(esm)の議論のために立っているissueの中でも、今のところほぼTLAをどう扱うか、という議論に終始しています。したがって、少なくとも「TLAがNode.jsにおいてESMの同期的なロードを困難(または不可能)にしている」ということは言ってよいと考えています。

追記おわり。

tl;dr

  • Top-level await(TLA)によりESモジュール(ESM)は同期的にロードできない
  • このためrequire(esm)できず、Dual Package Hazardが引き起こされる

はじめに

こんにちは。カブクでフロントエンドエンジニアをしている今村です。

この記事はNode.jsのDual Package Hazardに関するものです。そもそもDual Package Hazardとはなんぞやという話は yosuke_furukawaさんが書いてくださったのでここでは割愛しますが、一言で説明するなら、CommonJS(CJS)からもESMからも利用可能なnpmパッケージにはらむ危険性を指します。

以降は読者がDual Package Hazardについての基本的な知識を持っている前提で話をします。

Dual Package Hazardの原因

Dual Package Hazardの原因は、パッケージがCJSのrequire()とESMのimportの両方でロードできるようにするために、別々のエントリーポイントを用意しなければならず、かつそれらのエントリーポイントが同一環境で両方とも使われてしまうことにあります。

CJSとESMの相互運用

CJSとESMは相互に次のいずれかの手段でロード可能です。

CJS -> ESM

  • dynamic import(import()

ESM -> CJS

もし、CJSがESMをrequire()require(esm))できていたら、Dual Package Hazardは起こらなかったでしょう。この場合、Dual PackageがCJSとESMのそれぞれのエントリーポイントを用意することは変わりませんが、ESMに対応済みの環境ではそのパッケージがrequire()されようとimportされようと常にESMが使われ、そうでない環境では常にCJSが使われるようにします。そうなれば、1つの環境で同じパッケージのCJS版とESM版の両方が存在してしまう事態は回避できます。

実際のところ、「ESMに対応済みの環境ではそのパッケージがrequire()されようとimportされようと常にESMが使われ、そうでない環境では常にCJSが使われるように」すること自体は、たとえば次のようなpackage.jsonを記述すると可能です(exportsの仕様についてはこちらを参照)。

{
  "main": "./main.cjs",
  "exports": "./main.mjs"
}

しかし、このパッケージをESM対応済みのNode.js環境においてCJSからrequire()すると、Error [ERR_REQUIRE_ESM]: Must use import to load ES Moduleというエラーで失敗してしまいます。

Why not require(esm)?

ではなぜ、require(esm)できないのでしょうか?

CJSは動的、ESMは静的という性質があるので、静的なものから動的なものをロードするのに制約が生じるのは理解できます。制約とはこの場合、ESMからCJSをロードするときはnamed importが(少なくとも現時点では)使えないとことを指します。named importするには対象のモジュールが何をexportしているかが静的に解析できる必要があるためです。

しかし、動的なCJSが静的なESMをロードする際に、require()にが使えないという制約は何によるのでしょうか?

実はCJSとESMには動的か静的かという違い以外にも本質的な違いがあり、require(esm)できない原因はその違いにあります。それは、CJSが同期的にロード可能なのに対し、ESMは同期的にロードできないという点です。といっても、ECMAScript 2019の時点では、このことはECMAScriptの仕様としては記述されていません(私が読んだ限り。間違っていたら教えてください🙏)。Node.jsにおいてESMの同期的なロードを阻害しているのは、TC39でステージ3のTop-level await(TLA)です。

TLAによるESMのロードアルゴリズムの変化

TLAが導入されるとESMのロードが同期的に行えなくなるのは、直感的にもなんとなく理解できると思われますが、ここでは少し詳細に踏み込んで説明しましょう。

参考:

TLA以前のESMのロードアルゴリズム

ESMではモジュールがその依存グラフの中で、post-order (帰りがけ順)と呼ばれる順序でロードされていきます。この順序では、依存先は依存元より先にロードされ、また依存先はimport文の記述順にロードされていきます。

Wikipediaにあった図(下)を借りて説明すると、A, B, C…を個別のESMと見立てたとき(AがDよりも左にあることは、Fの中でAのimport文がDのimport文より前に書かれていることに対応します)、点線の矢印に沿って進んでいき、矢印がESMの右側の黒丸とぶつかったときにそのモジュールがロードされます。この例では、A, C, E, D, B, H, I, G, Fという順序でロードされることになります。

Sorted binary tree postorder

たとえば、この図のC, D, Eを次のように実装したとします。

// c.mjs
console.log('C');
// d.mjs
import './c.mjs';
import './e.mjs';

console.log('D');
// e.mjs
console.log('E');

この状態でd.mjsを実行すると、

"C" -> "E" -> "D"

という順序で出力されます。

TLA以後のESMのロードアルゴリズム

TLAに対応すると、TLA存在下でモジュールロードの順番が変化します。
c.mjsを次のように書き換えたとします。

// c.mjs
console.log('C1');
// 1秒待機
await new Promise(resolve => setTimeout(resolve, 1000));
console.log('C2');

この場合、出力は

"C1" -> "E" -> (1秒待機) -> "C2" -> "D"

という順序になります。”E”が”C2″よりも先に出力されることに注目してください。

JavaScriptエンジンはTLAに遭遇するとそのモジュールのロードを一時停止し、次のモジュール(e.mjs)のロードに移ります。ただし、TLAのあるモジュールに依存しているモジュール(d.mjs)の本文は、TLAのあるモジュールのロードが完了するまで実行されることはありません。

このようなアルゴリズムにより、モジュールの非同期なロードを可能にしつつ、そのモジュールに依存するモジュールが実行されるときまでには、すべての依存先モジュールのロードが完了している状態を作り出せるのです。

TLA以後のESMのロードアルゴリズム(旧)

ちなみに、TLAの提案当初はこのアルゴリズムはここまで賢くなく、TLAがあるとその場でモジュールのロードが止まり、次のモジュールのロードに移ることはありませんでした。上の例で言うと、

"C1" -> (1秒待機) -> "C2" -> "E" -> "D"

のような出力結果になります。

これだけなら順番が変わっただけに見えますが、もしe.mjsにも1秒待機するようなTLAがあったらどうでしょうか?過去のアルゴリズムでは複数のTLAが順番に処理されてすべてのロードに2秒かかってしまいますが、現在のアルゴリズムなら複数の TLA が並行に走り、ロードにかかる時間はおおむね1秒のままです。

かつて 「TLAはfootgun(追加により弊害がもたらされるような機能)である」と述べたRich Harrisがその後それを撤回したのは、このアルゴリズムの改良があったためです。

動的かつ同期的なロードを要求するrequire()はTLAを含むモジュールをロードできない

TLA導入以後も、依存グラフにTLAが存在するかどうかにかかわらず、ESMでimport foo from 'foo';のような同期的な風味(?)のimport文がそのままでいられるのは、ESMが静的であることに基づいた上記のようなロードアルゴリズムがあるからです。

一方、動的なCJSがコードの中で唐突にrequire(esm)を実行し、同期的にESMをロードすることを要求してきたとしても、Node.jsはそれに応えることができません

当然ながら、TLAがCJSで利用可能になってしまうと、CJSもrequire()で同期的にロードできなくなってしまいます。したがって、TLAはCJSでは利用できないことになっています。

TLAはやはりfootgunだったのか

このあたりの事情を知ったとき、やはりTLAは(少なくともNode.jsにとっては)footgunだったのではないかという気持ちに少しなりました。

TC39 の TLA のリポジトリを見ると、TLAの必要性について丁寧に説明されており、それを読むと「なるほどなあ」とは思います。しかしそれでも、Dual Package Hazardを前にすると、「TLA さえなければ…」という気持ちがほんのり湧き上がってくるのを抑えられません。

TLA のない世界線では、人々は幸福そうにrequire(esm)しながら、平和に暮らしていたことでしょう。一部の血の気の多い開発者たちは、「top-levelでawaitできないなんて、どうかしてるよ!」なんて悪態をついたかもしれませんが、それでもHazardと呼ばれるほどの事態にはいたらず、楽しくコードを書いていたでしょう。

しかし、現実はこうです。

この殺伐とした世界の中で、私たちはDual Package Hazardに脅かされるたびに、TLAへの憎悪を募らせることになるでしょう。また、今後TLAを書くたびに、それがもたらした代償の大きさを思い出して胸を痛めるのでしょう。

とはいえ、 require(esm)の可能性を模索するissueなど、まだ議論は続いており、将来的にはrequire(esm)が可能になるかもしれません。あるいは、require(esm)以外の何らかの方法で、Dual Package Hazardが解決される可能性もあります。TLAはあるがDual Package Hazardはない、最高の未来を期待して、今は耐え忍びましょう。

謝辞

require(esm)できればDual Package Hazardは起きないのに、なぜできないのか」という質問は、私が社内の勉強会でNode.jsのESMサポートについて発表した際に同僚から受けたものでした。また、それに対する回答は、その勉強会のあった日にnodejs/helpにissueを立てて得られたものでした。課題を与えてくれた同僚と、親切に答えてくれたNode.jsコミュニティに感謝します。

おわりに

We are hiring!

その他の記事

Other Articles

2020/08/26
TypeScriptで関数の部分型を理解しよう

2020/06/16
[Web フロントエンド] esbuild が爆速すぎて webpack / Rollup にはもう戻れない

2020/03/19
[Web フロントエンド] Elm に心折れ Mint に癒しを求める

2020/02/28
さようなら、TypeScript enum

2020/02/14
受付のLooking Glassに加えたひと工夫

2020/01/28
カブクエンジニア開発合宿に行ってきました 2020冬

2020/01/30
Renovateで依存ライブラリをリノベーションしよう 〜 Bitbucket編 〜

2019/12/27
Cloud Tasks でも deferred ライブラリが使いたい

2019/12/25
*, ::before, ::after { flex: none; }

2019/12/20
Three.jsからWebGLまで行きて帰りし物語

2019/12/18
Three.jsに入門+手を検出してAR.jsと組み合わせてみた

2019/12/04
WebXR AR Paint その2

2019/11/06
GraphQLの入門書を翻訳しました

2019/09/20
Kabuku Connect 即時見積機能のバックエンド開発

2019/08/14
Maker Faire Tokyo 2019でARゲームを出展しました

2019/07/25
夏休みだョ!WebAssembly Proposal全員集合!!

2019/07/08
鵜呑みにしないで! —— 書籍『クリーンアーキテクチャ』所感 ≪null 篇≫

2019/07/03
W3C Workshop on Web Games参加レポート

2019/06/28
TypeScriptでObject.assign()に正しい型をつける

2019/06/25
カブクエンジニア開発合宿に行ってきました 2019夏

2019/06/21
Hola! KubeCon Europe 2019の参加レポート

2019/06/19
Clean Resume きれいな環境できれいな履歴書を作成する

2019/05/20
[Web フロントエンド] 状態更新ロジックをフレームワークから独立させる

2019/04/16
C++のenable_shared_from_thisを使う

2019/04/12
OpenAPI 3 ファーストな Web アプリケーション開発(Python で API 編)

2019/04/08
WebGLでレイマーチングを使ったCSGを実現する

2019/04/02
『エンジニア採用最前線』に感化されて2週間でエンジニア主導の求人票更新フローを構築した話

2019/03/29
その1 Jetson TX2でk3s(枯山水)を動かしてみた

2019/03/27
任意のブラウザ上でJestで書いたテストを実行する

2019/02/08
TypeScript で “radian” と “degree” を間違えないようにする

2019/02/05
Python3でGoogle Cloud ML Engineをローカルで動作する方法

2019/01/18
SIGGRAPH Asia 2018 参加レポート

2019/01/08
お正月だョ!ECMAScript Proposal全員集合!!

2019/01/08
カブクエンジニア開発合宿に行ってきました 2018秋

2018/12/25
OpenAPI 3 ファーストな Web アプリケーション開発(環境編)

2018/12/23
いまMLKitカスタムモデル(TF Lite)は使えるのか

2018/12/21
[IoT] Docker on JetsonでMQTTを使ってCloud IoT Coreと通信する

2018/12/11
TypeScriptで実現する型安全な多言語対応(Angularを例に)

2018/12/05
GASでCompute Engineの時間に応じた自動停止/起動ツールを作成する 〜GASで簡単に好きなGoogle APIを叩く方法〜

2018/12/02
single quotes な Black を vendoring して packaging

2018/11/14
3次元データに2次元データの深層学習の技術(Inception V3, ResNet)を適用

2018/11/04
Node Knockout 2018 に参戦しました

2018/10/24
SIGGRAPH 2018参加レポート-後編(VR/AR)

2018/10/11
Angular 4アプリケーションをAngular 6に移行する

2018/10/05
SIGGRAPH 2018参加レポート-特別編(VR@50)

2018/10/03
Three.jsでVRしたい

2018/10/02
SIGGRAPH 2018参加レポート-前編

2018/09/27
ズーム可能なSVGを実装する方法の解説

2018/09/25
Kerasを用いた複数入力モデル精度向上のためのTips

2018/09/21
競技プログラミングの勉強会を開催している話

2018/09/19
Ladder Netwoksによる半教師あり学習

2018/08/10
「Maker Faire Tokyo 2018」に出展しました

2018/08/02
Kerasを用いた複数時系列データを1つの深層学習モデルで学習させる方法

2018/07/26
Apollo GraphQLでWebサービスを開発してわかったこと

2018/07/19
【深層学習】時系列データに対する1次元畳み込み層の出力を可視化

2018/07/11
きたない requirements.txt から Pipenv への移行

2018/06/26
CSS Houdiniを味見する

2018/06/25
不確実性を考慮した時系列データ予測

2018/06/20
Google Colaboratory を自分のマシンで走らせる

2018/06/18
Go言語でWebAssembly

2018/06/15
カブクエンジニア開発合宿に行ってきました 2018春

2018/06/08
2018 年の tree shaking

2018/06/07
隠れマルコフモデル 入門

2018/05/30
DASKによる探索的データ分析(EDA)

2018/05/10
TensorFlowをソースからビルドする方法とその効果

2018/04/23
EGLとOpenGLを使用するコードのビルド方法〜libGLからlibOpenGLへ

2018/04/23
技術書典4にサークル参加してきました

2018/04/13
Python で Cura をバッチ実行するためには

2018/04/04
ARCoreで3Dプリント風エフェクトを実現する〜呪文による積層造形映像制作の舞台裏〜

2018/04/02
深層学習を用いた時系列データにおける異常検知

2018/04/01
音声ユーザーインターフェースを用いた新方式積層造形装置の提案

2018/03/31
Container builderでコンテナイメージをBuildしてSlackで結果を受け取る開発スタイルが捗る

2018/03/23
ngUpgrade を使って AngularJS から Angular に移行

2018/03/14
Three.jsのパフォーマンスTips

2018/02/14
C++17の新機能を試す〜その1「3次元版hypot」

2018/01/17
時系列データにおける異常検知

2018/01/11
異常検知の基礎

2018/01/09
three.ar.jsを使ったスマホAR入門

2017/12/17
Python OpenAPIライブラリ bravado-core の発展的な使い方

2017/12/15
WebAssembly(wat)を手書きする

2017/12/14
AngularJS を Angular に移行: ng-annotate 相当の機能を TypeScrpt ファイルに適用

2017/12/08
Android Thingsで4足ロボットを作る ~ Android ThingsとPCA9685でサーボ制御)

2017/12/06
Raspberry PIとDialogflow & Google Cloud Platformを利用した、3Dプリンターボット(仮)の開発 (概要編)

2017/11/20
カブクエンジニア開発合宿に行ってきました 2017秋

2017/10/19
Android Thingsを使って3Dプリント戦車を作ろう ① ハードウェア準備編

2017/10/13
第2回 魁!! GPUクラスタ on GKE ~PodからGPUを使う編~

2017/10/05
第1回 魁!! GPUクラスタ on GKE ~GPUクラスタ構築編~

2017/09/13
「Maker Faire Tokyo 2017」に出展しました。

2017/09/11
PyConJP2017に参加しました

2017/09/08
bravado-coreによるOpenAPIを利用したPythonアプリケーション開発

2017/08/23
OpenAPIのご紹介

2017/08/18
EuroPython2017で2名登壇しました。

2017/07/26
3DプリンターでLチカ

2017/07/03
Three.js r86で何が変わったのか

2017/06/21
3次元データへの深層学習の適用

2017/06/01
カブクエンジニア開発合宿に行ってきました 2017春

2017/05/08
Three.js r85で何が変わったのか

2017/04/10
GCPのGPUインスタンスでレンダリングを高速化

2017/02/07
Three.js r84で何が変わったのか

2017/01/27
Google App EngineのFlexible EnvironmentにTmpfsを導入する

2016/12/21
Three.js r83で何が変わったのか

2016/12/02
Three.jsでのクリッピング平面の利用

2016/11/08
Three.js r82で何が変わったのか

2016/12/17
SIGGRAPH 2016 レポート

2016/11/02
カブクエンジニア開発合宿に行ってきました 2016秋

2016/10/28
PyConJP2016 行きました

2016/10/17
EuroPython2016で登壇しました

2016/10/13
Angular 2.0.0ファイナルへのアップグレード

2016/10/04
Three.js r81で何が変わったのか

2016/09/14
カブクのエンジニアインターンシッププログラムについての詩

2016/09/05
カブクのエンジニアインターンとして3ヶ月でやった事 〜高橋知成の場合〜

2016/08/30
Three.js r80で何が変わったのか

2016/07/15
Three.js r79で何が変わったのか

2016/06/02
Vulkanを試してみた

2016/05/20
MakerGoの作り方

2016/05/08
TensorFlow on DockerでGPUを使えるようにする方法

2016/04/27
Blenderの3DデータをMinecraftに送りこむ

2016/04/20
Tensorflowを使ったDeep LearningにおけるGPU性能調査

→
←

関連職種

Recruit

バックエンドエンジニア(Python・Go)

業務内容

当ポジションは弊社Webサービスのバックエンド機能設計及び実装を担当します。 サービス毎の開発チームで2週間スプリントのスクラム開発を実施しています。 週次で開発チームミーティングを実施し、実装設計の相談や工数見積もりを行います。 全ての開発コードはレビューと自動テストによって品質を保っています。 また、リファクタリングやフレームワークのバージョンアップも開発フローに組込み、技術的負債を放置しない開発を目指しています。

フロントエンドエンジニア(TypeScript)

業務内容

当ポジションは弊社Webサービスのフロントエンド機能設計及び実装を担当します。 サービス毎の開発チームで2週間スプリントのスクラム開発を実施しています。 週次で開発チームミーティングを実施し、実装設計の相談や工数見積もりを行います。 全ての開発コードはレビューと自動テストによって品質を保っています。 また、リファクタリングやフレームワークのバージョンアップも開発フローに組込み、技術的負債を放置しない開発を目指しています。

インターン(Webエンジニア)

業務内容

業務から独立した、調査・研究系のタスクをおまかせしています。コードレビュー、 社内での報告会、 ブログ記事執筆を通して着実にスキルアップしていただくことを目指しています。 (希望があれば、プロダクトの開発業務もおまかせします。)

→
←

お客様のご要望に「Kabuku」はお応えいたします。
ぜひお気軽にご相談ください。

お電話でも受け付けております
03-6380-2750
営業時間:09:30~18:00
※土日祝は除く