データファイル形式
構造化データの交換・保存、科学計算、機械学習、ゲノム解析、地理空間データに使う形式です。
用途別の選び方
Web API
JSONはWebで広く使われるテキストベースのデータ交換形式です。
科学計算と機械学習
配列の保存、モデルの実行、重みの配布は別の用途です。NPY・NPZ、ONNX、Safetensorsなどを目的と対応ソフトで選びます。
ゲノム解析
FASTQは配列と品質値、SAM・BAM・CRAMはアラインメント情報を扱います。参照配列と索引の要件も確認します。
点群と測位
LAS・LAZ・E57は点群、RINEX・SP3は測位に関係するデータです。座標参照系、属性、対応バージョンを確認します。
所属形式
Apache Arrow IPC列指向テーブルデータを対応するプログラムや言語間で交換する・分析処理用のデータセットをArrow対応ツール間で受け渡すAvroスキーマ付きレコードデータのシリアライズと交換BAM大規模なシーケンスリードと参照アラインメントをバイナリで保管・交換する・座標順データを索引化して領域単位で解析するBEDゲノム上の対象領域や表示トラックを渡すbedGraphゲノム上の信号値をトラックとして渡すbigBed大きなゲノム注釈トラックを配信するbigWig大規模なゲノム信号を配信するBSONMongoDB文書データのシリアライズ・BSON対応アプリ間での文書データ交換BUFR地上・高層・衛星などの気象観測データを符号化・交換するCBOR制約のある機器や通信での構造化データ交換・COSEやIoTプロトコルなどでのデータ表現CRAM配列アラインメントデータを参照配列差分圧縮で効率よく保存・交換する・設定を選んで品質値等を含む保持データを管理するDICOM医療画像と関連する検査情報の保存・交換・DICOM対応の医療機器や医療情報システムでの画像管理E573Dスキャナーで取得した点群と関連する計測情報を交換する・点群の色・強度属性や計測システムで撮影した画像をまとめて受け渡す.env開発環境の環境変数管理・アプリケーションやツールへの設定値の受け渡しFASTA参照配列や組み立てた塩基配列を保存するFASTQ塩基配列リードと塩基ごとの品質スコアをシーケンス解析工程間で受け渡す・paired-endなどの未アラインメントリードを解析前に保管するFITスポーツ・フィットネス機器の活動記録やセンサーデータを保存・交換する・対応デバイスへワークアウトやコース情報を転送するFITS天文学・科学分野で画像配列、スペクトル、表データを保存・交換するFlatGeobuf静的な地物レイヤーを配布するGeoJSON地理空間データの交換・Web地図表示GeoPackageベクター地物・地図タイル・属性をまとめた地理空間データの配布・利用GeoParquet分析向けの地理テーブルを保存するGeoTIFF座標参照付きの地図・衛星画像・標高ラスターデータの交換GFF3遺伝子・転写産物・エクソンなどを注釈するGGUFGGML系の対応ランタイムで使う推論モデルを保存・配布する・モデル情報とテンソルを一体の形式で扱う.gitignoreGitリポジトリで追跡しないファイルの指定・チーム間で共有する除外ルールの管理GML地物と属性をXMLで交換するGPXGPSのウェイポイント・ルート・トラックをアプリ間で交換する・ハイキングやサイクリングなどの位置記録を保存するGRIB数値予報・気象観測などの格子状気象データの配布と交換GTF遺伝子・転写産物・エクソンの位置を渡すHDF5大規模な科学・技術データを階層構造で保存する・多次元配列と関連メタデータを一つのコンテナーで扱うiCalendar予定・タスク・空き時間情報の交換INIアプリケーション設定の保存・セクション別のキーと値の管理Jupyter Notebookコードと説明をまとめたノート・データ分析の再現・共有JSONWeb API・設定ファイル・データ交換JSON5手作業で編集する設定ファイル・コメントを残した構造化データJSON Lines行単位で処理するログや記録・JSONレコードのストリーミング交換JWKWeb APIで公開鍵や鍵メタデータをJSONとして配布する用途・JOSEの署名検証や暗号化で鍵を表現する用途KerasKeras v3のモデル構成・重み・利用可能な学習状態を一つのアーカイブに保存する・Keras対応環境間でモデルを保存・再読み込みするKML地図や地球儀上に表示する地理情報を記述する・Placemark・経路・領域・説明や表示スタイルを共有するLASLiDAR等から得た分類・属性付き3D点群をツール間で交換する・非圧縮の点データを標準的な形式で検査・処理するLAZLAS 1.4点群のサイズを可逆圧縮で削減して保存・転送する・チャンク単位の解凍と対応ソフトによる直接アクセスを利用するMAT-fileMATLABワークスペースの複数変数をバイナリ保存・交換する・MATLABの数値配列や構造データを解析環境間で受け渡すMBTiles縮尺別の地図タイルを一つのファイルで渡すMetaImage医用画像や研究用画像ボリュームをITK・VTK系ツールで受け渡す・画素型・寸法・間隔などをテキストヘッダーと画像データで記録するMRCクライオ電子顕微鏡の画像・マップや電子密度ボリュームを保存する・構造生物学や結晶学の対応ツール間で3Dグリッドデータを受け渡すMessagePackJSONに似たデータのバイナリシリアライズ・対応するアプリ間での構造化データ交換MVT地物をタイルに分けて配信するnetCDF気候・気象・地球科学などの配列型科学データの保存と交換NIfTI脳画像・神経画像の解析や研究データ交換NPY単一のNumPy配列を型やshapeとともにバイナリ保存する・NumPy対応の科学計算や機械学習処理へ配列を受け渡すNPZ複数のNumPy配列を一つのZIPアーカイブにまとめる・名前付き配列をNumPyの科学計算処理間で受け渡すNRRD科学可視化や画像処理でN次元のラスターデータを保存する・画像ボクセルと軸・空間情報を研究用ツール間で受け渡すONNX機械学習モデルの演算グラフと重みを対応ランタイムへ受け渡す・異なる学習フレームワークと推論環境の間でモデルを交換するORCHadoop系分析基盤での列指向データ保存Parquet分析基盤向けの列指向データ保存PCAPネットワークパケットの記録と解析・広い互換性を必要とするキャプチャデータの交換PCAPNGネットワークパケットの記録と解析・複数インターフェースやキャプチャ情報を含む調査データの保存PCD点群処理の入力・出力を保存するJava PropertiesJavaアプリケーションの設定・ResourceBundleによる翻訳文言の管理Protocol Buffers schemaProtocol Buffersメッセージの構造定義・複数言語間で共有するデータ契約RINEXGNSS受信機の観測データ・航法メッセージ・気象データを解析ソフト間で交換する・複数衛星系の測距・位相などの観測を後処理するSafetensors機械学習モデルのテンソル重みを保存・配布する・対応するフレームワーク間で重みを読み込むSAM塩基配列リード・フラグメントと参照配列へのアラインメント情報をテキストで交換する・ヘッダーや任意タグを目視点検しながら解析結果を引き渡すShell ScriptUnix系環境でのコマンド自動化・開発・運用作業の繰り返し実行Shapefile既存のGIS環境へ地物レイヤーを渡すSP3GNSS解析向けの衛星精密軌道・時計情報をエポックごとに交換する・複数衛星系の軌道解や精密プロダクトを解析ソフトへ渡すSQLデータベースの問い合わせ・定義・SQLスクリプトの管理SQLite databaseSQLite対応アプリのローカルデータベース・小規模から中規模のアプリ内データ保存TOML設定ファイルBitTorrent metainfo fileBitTorrentクライアントに配布対象や取得方法のメタ情報を渡す・トラッカー・ファイル一覧・piece情報を記述するTSV表データ交換・テキストベースの表UBXu-blox受信機のメッセージを保存・解析するvCard連絡先情報の交換WARCWebクロールや保存で取得した複数リソースと取得メタデータをまとめて保管する・Webアーカイブの収集・交換・再生システムへ記録を渡すWSDLWebサービスの操作・メッセージ・接続先を記述・SOAPなどの通信方式とサービス契約を共有XML構造化データ交換XMP資産の説明・権利・編集関連情報の管理XML SchemaXML文書の要素・属性・データ型を定義・XMLデータが構造や値の制約に適合するか検証YAML設定ファイル・構造化データの記述Zarr大規模な多次元配列をチャンク単位で保存・交換する・クラウドストレージ上の科学データを扱う
関連比較
Apache Arrow IPC vs CSVApache Arrow IPC vs netCDFApache Arrow IPC vs ORCApache Arrow IPC vs ParquetApache Arrow IPC vs ZarrAvro vs CBORAvro vs JSONAvro vs ORCAvro vs ParquetAvro vs Protocol Buffers schemaBAM vs CRAMBED vs bigBedBED vs GFF3bedGraph vs bigWigBSON vs JSONBSON vs MessagePackBUFR vs GRIBCBOR vs JSONCBOR vs MessagePackCSV vs JSONCSV vs ParquetDICOM vs JPEGDICOM vs TIFFE57 vs LASFASTA vs FASTQFIT vs GPXFITS vs HDF5FITS vs netCDFFITS vs ZarrFlatGeobuf vs GeoPackageGeoJSON vs JSONGeoPackage vs GeoJSONGeoPackage vs KMLGeoParquet vs GeoPackageGeoTIFF vs netCDFGeoTIFF vs TIFFGeoTIFF vs ZarrGGUF vs SafetensorsGML vs GeoJSONGPX vs KMLGRIB vs netCDFGRIB vs ZarrGTF vs GFF3HDF5 vs netCDFHDF5 vs ZarriCalendar vs CSVJSON vs TOMLJSON vs YAMLJSON5 vs JSONJSON Lines vs AvroJSON Lines vs CSVJSON Lines vs JSONJSON Lines vs ParquetKeras vs ONNXLAS vs LAZMBTiles vs MVTMVT vs GeoJSONnetCDF vs ParquetnetCDF vs ZarrNIfTI vs DICOMNPY vs NPZNPZ vs HDF5ORC vs CSVParquet vs JSONParquet vs ORCParquet vs ZarrPCAP vs PCAPNGPLY vs PCDProtocol Buffers schema vs JSONRINEX vs SP3Safetensors vs ONNXSAM vs BAMShapefile vs GeoPackageSQLite database vs CSVTSV vs CSVUBX vs RINEXvCard vs CSVWeb App Manifest vs JSONXML vs CSVXML vs JSONYAML vs TOMLYAML vs XML