アプリケーションの 開発では、 異なる 実行環境で 利用する ために、 オブジェクトなどの 複雑な データを 永続化する 必要が よく あります。 しかし、 複雑な データ構造や オブジェクトの 永続化は 簡単ではありません。 Pythonでは、 組み込みの pickleライブラリを 使って この 処理を 行えます。 pickleは、 Pythonオブジェクトを フラットな バイトストリームに 変換 (pickle化)し、 バイトストリームを Pythonオブジェクトに 戻す (pickle解除) ことができます。
複雑な データを 永続化するには、 ディスクに 保存したりネットワーク経由で 送信したりできるよう、 フラットな バイトストリームと して 表現する 必要が あります。 オブジェクト構造を バイトストリームに 変換する 処理は、 マーシャリングまたは シリアライズと 呼ばれます。 アプリケーションが バイトストリームを 読み込んだり 受信したりすると、 逆の 処理を 行い、 オブジェクト構造に 変換します。 これは アンマーシャリングまたは デシリアライズと 呼ばれます。
注:pickleは Python専用の ため、 Pythonアプリケーションなら 簡単に 使えます。 一方で、 異なる 言語で 書かれた アプリケーション間の データ交換には 使用できません。
この 記事では、 アプリケーションで pickleを 安全に 使用する 方法を 解説します。 pickleは さまざまな 場面で 非常に 便利ですが、 信頼できる データだけを 必ず pickle解除してください。 信頼できない データを pickle解除すると、 任意の コードが 実行される おそれが あり、 重大な セキュリティ脆弱性の 一般的な 原因と なります。
Python pickleの使い方 pickleの 使い方は 簡単です。 さっそく 見ていきましょう。 pickle化と pickle解除に 必要な 関数は すべて pickleモジュールに 含まれています。 まずは この モジュールを インポートします。
Pythonオブジェクトを pickle化する 際は、 ファイルに 直接 保存する 方法と、 後で コード内で 使える bytesオブジェクトに 変換する 方法が あります。 どちらの 場合も、 メソッドを 1回 呼び出すだけです。
オブジェクトを ファイルに pickle化するには、 pickle.dump(object, file)を 呼び出します。 pickle化した バイトデータだけを 取得するには、 pickle.dumps(object)を 呼び出します。
前述の とおり、 pickleは Pythonで 簡単に 使えます。 次のような 多くの データ型を pickle化できます。
pickle化できる ものに ついては、 Pythonの ドキュメントに 詳細な 一覧 が あります。
pickle化できない オブジェクトを pickle化しようとすると、 Pythonは PicklingErrorを 発生させます。
Python pickleの使用例 実際に pickle化してみましょう。 以下は、 架空の ゲームの 状態を 表す データ構造です。 この ゲームには、 座標の タプルで 表される 特定の 場所に 立つプレイヤーが います。 また、 ワールド内には タプルで 表される 位置に 障害物が あります。 プレイヤーは、 名前と 価格を 持つ アイテムを 所有しています。 クラスは 次のようになります。
では、 具体的な 状態を 作成して、 ファイルに pickle化してみましょう。
pickleは 人間には 読めない バイナリ形式です。 その ため、 新しく 作成した state.binファイルの 内容を 調べても、 ほとんど 意味が 分からないでしょう。 GameStateや obstaclesなど、 一部の 識別子名を 見つけられる 程度です。
ゲームの 状態を ファイルに 保存できたので、 その ファイルから 状態を 読み込んで、 ゲームに セーブ・再開機能を 追加してみましょう。 pickle.dumpと pickle.dumpsには、 それぞれ pickle解除に 対応する 関数が あります。 pickle.load(_file_)は ファイルから pickl e化された Pythonオブジェクトを 読み込み、 pickle.loads(_bytes_)は 指定された バイトデータから 同じ 処理を 行います。
ご覧の とおり、 pickle化の 基本は とても 簡単です。 Pythonオブジェクトの 保存も 読み込みも、 メソッドを 呼び出すだけで できます。
Python pickleを悪用する方法 導入で 説明した とおり、 信頼できる データだけを 必ず pickle解除してください。 pickleモジュールは 安全ではありません 。 攻撃者が 用意した バイトストリームを pickle解除すると、 任意の コードが 実行される 可能性が あります。 これは pickle形式が 非常に 強力である ことの 副作用です。
Pythonオブジェクトは、 特殊な _reduce_ メソッドを 使って、 どのように pickle化するかを 指定できます。 この メソッドは 文字列または タプルを 返します。 文字列は グローバル変数の 名前を 表します。 タプルは、 呼び出し可能な コード (関数や クラスなど)、 その コードに 渡す引数、 および この 例では 関係の ない 任意の 情報を 表します。 pickle解除の 際には、 指定された 呼び出し可能な コードが 引数とともに 実行されます。
この 仕組みを 利用すれば、 pickle解除時に 実行したい 任意の 関数を 呼び出す pickle化オブジェクトを 作成できます。 たとえば、 pickle解除時に os.system関数を 実行して システムコマンドを 実行したり、 evalを 使って 任意の Pythonコードを 実行したりできます。
eval関数を 使った、 この 攻撃の (無害な) 例を 紹介します。 読み込み時に print関数を 呼び出すだけです。
この コードを 実行すると、 データの pickle解除時に eval("print(1+2)")が 実行される ため、 コンソールに 数値3が 出力されます。
Python pickleを安全に使う方法 信頼できない クライアントから データを 受け取る 必要が ある 場合、 前述の リスクが ある ため pickleは 使用できません。 代わりに、 JavaScript Object Notation ( JSON )など、 別の データシリアライズ形式を 使用してください。
この 処理には Pythonの jsonモジュール を 使用できます。 ただし、 jsonモジュールは pickleほど 高機能ではありません。 カスタムオブジェクトなどの 複雑な データ型を 標準では サポートしていないためです。 また、 JSONが 扱える ネイティブデータ型は 限られています。 たとえば、 Pythonの セットに 相当する 型は JSONには ないため、 セットには カスタムエンコーダーが 必要です。 それでも、 信頼できない データを 扱う 場合、 JSONは 安全な 形式です。
信頼できる アプリケーションが pickle化データを 生成しても、 pickle化してから pickle解除するまでの 間、 その 完全性を 保証できない ケースを 考えてみましょう。 安全でない ネットワーク経由で pickle化データを 送信したり、 攻撃者が アクセスできる 可能性の ある 永続ストレージに 保存したりする 場合など、 データを 信頼できないことがあります。
いずれの 場合も、 HMACを 使って pickle化データの 暗号学的署名を 生成する 方法が あります。 署名とともに データを 送信または 保存します。 pickle解除する 前に、 受信側で 署名を 検証すれば、 データの 完全性を 確認できます。
次のように 署名を 生成できます (SHA256を 使用)。
注意 :実際の 環境では、 シークレットキーは、 信頼できない 環境に 決して 公開されない サーバーサイドアプリケーション内で 安全に 保管します。 コードベースに シークレットキーを ハードコードしないでください。 =)
受信側では、 pickle化データの 予想ダイジェストを 計算し、 受け取った ダイジェストと 一致するか 確認できます。
この 方法なら、 攻撃者が pickle化データを 改ざんしても、 シークレットキーを 持っていなければ 署名を 改ざんしたり、 受信側に 信頼できない コードを 実行させたりする ことは できません。
まとめ これで、 Pythonの pickleモジュールを 使って、 複雑な Pythonオブジェクトを 安全に シリアライズおよびデシリアライズする 方法が 分かりました。 これは 大きな 前進です。
pickleは コードに 重大な セキュリティ脆弱性を もたらす 可能性が ある ため、 信頼できない データを pickle解除してはいけません。 信頼できない クライアントから データを 受け取る 必要が ある 場合は、 より 安全な JSON形式を 使用してください。 また、 信頼できる アプリケーション間で pickle化データを 転送する 際、 改ざん防止を 強化したい 場合は、 pickle解除前に 検証できる HMAC署名を 生成してください。
キャプチャー・ザ・フラッグを 始めよう オンデマンドの バーチャル入門ワークショップを 視聴して、 キャプチャー・ザ・フラッグの 課題の 解き方を 学びましょう。