機械最適化ファイルフォーマット - YAML

- code: "protobuf"
  slug: "protocol-buffers"
  name: "Protocol Buffers"
  description: "Googleが開発したバイナリ形式で、高速かつコンパクトな構造化データシリアライゼーションのための言語ニュートラルなメカニズムです。"
  extensions:
    - ".proto"
    - ".pb"
- code: "msgpack"
  slug: "messagepack"
  name: "MessagePack"
  description: "JSONよりもコンパクトで高速な、スキーマレスのバイナリシリアライゼーションフォーマットです。"
  extensions:
    - ".msgpack"
    - ".mp"
- code: "bson"
  slug: "binary-json"
  name: "BSON"
  description: "MongoDBで使用されるバイナリ形式のJSONで、JSONよりも効率的なデータ保存と高速な処理を実現します。"
  extensions:
    - ".bson"
- code: "cbor"
  slug: "concise-binary-object-representation"
  name: "CBOR"
  description: "JSONのバイナリ版として設計された、コンパクトで拡張可能なデータ表現フォーマットで、IoTデバイスなどで使用されます。"
  extensions:
    - ".cbor"
- code: "parquet"
  slug: "apache-parquet"
  name: "Apache Parquet"
  description: "分析クエリのパフォーマンス向上と高い圧縮効率を目的とした、列指向のデータストレージフォーマットです。"
  extensions:
    - ".parquet"
- code: "orc"
  slug: "apache-orc"
  name: "Apache ORC"
  description: "Hadoopエコシステムで使われる列指向フォーマットで、高い圧縮率と高速な読み取り性能を提供します。"
  extensions:
    - ".orc"
- code: "avro"
  slug: "apache-avro"
  name: "Apache Avro"
  description: "スキーマをデータと共に保存することで高い互換性を提供し、ストリーミングデータ処理や大量データの永続化に適したバイナリシリアライゼーション形式です。"
  extensions:
    - ".avro"
- code: "arrow"
  slug: "apache-arrow"
  name: "Apache Arrow"
  description: "インメモリでの列指向データ処理のための標準化されたフォーマットで、異なるシステム間でのゼロコピーデータ交換を可能にします。"
  extensions:
    - ".arrow"
    - ".feather"
- code: "feather"
  slug: "feather"
  name: "Feather"
  description: "PythonとR間でのデータフレーム交換を高速化するためのバイナリフォーマットで、Apache Arrowをベースにしています。"
  extensions:
    - ".feather"
- code: "thrift"
  slug: "apache-thrift"
  name: "Apache Thrift"
  description: "異なる言語間でのサービス通信とデータシリアライゼーションを可能にする、Facebookが開発したバイナリ形式です。"
  extensions:
    - ".thrift"
- code: "flatbuffers"
  slug: "flatbuffers"
  name: "FlatBuffers"
  description: "Googleが開発した、デシリアライゼーション不要でメモリ効率に優れたバイナリフォーマットで、ゲーム開発などで使用されます。"
  extensions:
    - ".fbs"
- code: "capnproto"
  slug: "cap-n-proto"
  name: "Cap'n Proto"
  description: "Protocol Buffersの後継として開発された、エンコード・デコード処理を必要としない高速なデータ交換フォーマットです。"
  extensions:
    - ".capnp"
- code: "sqlite"
  slug: "sqlite"
  name: "SQLite"
  description: "軽量な組み込み型リレーショナルデータベースのファイル形式で、モバイルアプリや小規模アプリケーションで広く使われます。"
  extensions:
    - ".db"
    - ".sqlite"
    - ".sqlite3"
- code: "hdf5"
  slug: "hdf5"
  name: "HDF5"
  description: "大量の科学技術データを階層的に保存・管理するためのフォーマットで、研究分野や機械学習で広く使われます。"
  extensions:
    - ".h5"
    - ".hdf5"
- code: "netcdf"
  slug: "netcdf"
  name: "NetCDF"
  description: "配列指向の科学データを保存するための自己記述型フォーマットで、気象学や海洋学などで標準的に使用されます。"
  extensions:
    - ".nc"
    - ".nc4"
- code: "pickle"
  slug: "pickle"
  name: "Pickle"
  description: "Pythonオブジェクトをバイナリ形式でシリアライズ・デシリアライズするための、Python専用のフォーマットです。"
  extensions:
    - ".pkl"
    - ".pickle"
- code: "rdata"
  slug: "rdata"
  name: "RData"
  description: "R言語でオブジェクトを保存するためのバイナリ形式で、統計解析やデータサイエンスで使用されます。"
  extensions:
    - ".rda"
    - ".rdata"