H5 ファイル

.h5ファイル拡張子は、HDF Groupによって開発され、1998年にイリノイ大学の国立スーパーコンピュータ応用研究所（NCSA）で最初に作成されたバイナリ科学データコンテナであるHDF5（Hierarchical Data Format version 5）ファイルを表します。HDF5は、膨大な多次元データセットを豊富なメタデータと共に保存するために設計された、自己記述型の階層型フォーマットです。

内部的には、.h5ファイルは名前付きグループ（ディレクトリに類似）とデータセット（N次元の型付き配列）のツリーとして構成されています。すべてのデータセットは、独自のデータ型、次元、バイト順序、および圧縮設定を記録します。データセットは、GZIP、SZIP、Blosc、またはZstandardを使用してチャンク単位でオプションで圧縮でき、テラバイト規模のデータでも効率的な保存が可能です。各ファイルおよびオブジェクトには、追加のメタデータとして名前付き属性を持たせることができます。

主な用途は以下の通りです：

• 地球科学、物理学、バイオインフォマティクス、航空宇宙分野における大規模な科学データセット（NASA、NOAA、ESA、CERNはすべてHDF5を利用しています）。
• KerasおよびTensorFlowのニューラルネットワークの重みとモデル構造の保存。
• NetCDF-4ファイルの基盤となるストレージ層の提供。

すべてのHDF5ファイルは、マジックシグネチャ \x89HDF\r\n\x1a\n（8バイト、通常はオフセット0）で始まります。このフォーマットは、リトルエンディアンとビッグエンディアンの両方のバイト順序をサポートしており、スーパーブロック内でファイルごとに宣言されます。HDF5ファイルは、Pythonのh5pyライブラリ、MATLAB、公式HDF5ツールセットのh5dumpコマンドラインユーティリティ、およびHDFView GUIで読み取ることができます。

.h5と.hdf5の拡張子は互換性があり、どちらも有効なHDF5ファイルを識別し、すべてのHDF5対応ソフトウェアによって同一に扱われます。