機械最適化ファイルフォーマット - CSV

code,slug,name,description,extensions
protobuf,protocol-buffers,Protocol Buffers,Googleが開発したバイナリ形式で、高速かつコンパクトな構造化データシリアライゼーションのための言語ニュートラルなメカニズムです。,"["".proto"","".pb""]"
msgpack,messagepack,MessagePack,JSONよりもコンパクトで高速な、スキーマレスのバイナリシリアライゼーションフォーマットです。,"["".msgpack"","".mp""]"
bson,binary-json,BSON,MongoDBで使用されるバイナリ形式のJSONで、JSONよりも効率的なデータ保存と高速な処理を実現します。,"["".bson""]"
cbor,concise-binary-object-representation,CBOR,JSONのバイナリ版として設計された、コンパクトで拡張可能なデータ表現フォーマットで、IoTデバイスなどで使用されます。,"["".cbor""]"
parquet,apache-parquet,Apache Parquet,分析クエリのパフォーマンス向上と高い圧縮効率を目的とした、列指向のデータストレージフォーマットです。,"["".parquet""]"
orc,apache-orc,Apache ORC,Hadoopエコシステムで使われる列指向フォーマットで、高い圧縮率と高速な読み取り性能を提供します。,"["".orc""]"
avro,apache-avro,Apache Avro,スキーマをデータと共に保存することで高い互換性を提供し、ストリーミングデータ処理や大量データの永続化に適したバイナリシリアライゼーション形式です。,"["".avro""]"
arrow,apache-arrow,Apache Arrow,インメモリでの列指向データ処理のための標準化されたフォーマットで、異なるシステム間でのゼロコピーデータ交換を可能にします。,"["".arrow"","".feather""]"
feather,feather,Feather,PythonとR間でのデータフレーム交換を高速化するためのバイナリフォーマットで、Apache Arrowをベースにしています。,"["".feather""]"
thrift,apache-thrift,Apache Thrift,異なる言語間でのサービス通信とデータシリアライゼーションを可能にする、Facebookが開発したバイナリ形式です。,"["".thrift""]"
flatbuffers,flatbuffers,FlatBuffers,Googleが開発した、デシリアライゼーション不要でメモリ効率に優れたバイナリフォーマットで、ゲーム開発などで使用されます。,"["".fbs""]"
capnproto,cap-n-proto,Cap'n Proto,Protocol Buffersの後継として開発された、エンコード・デコード処理を必要としない高速なデータ交換フォーマットです。,"["".capnp""]"
sqlite,sqlite,SQLite,軽量な組み込み型リレーショナルデータベースのファイル形式で、モバイルアプリや小規模アプリケーションで広く使われます。,"["".db"","".sqlite"","".sqlite3""]"
hdf5,hdf5,HDF5,大量の科学技術データを階層的に保存・管理するためのフォーマットで、研究分野や機械学習で広く使われます。,"["".h5"","".hdf5""]"
netcdf,netcdf,NetCDF,配列指向の科学データを保存するための自己記述型フォーマットで、気象学や海洋学などで標準的に使用されます。,"["".nc"","".nc4""]"
pickle,pickle,Pickle,Pythonオブジェクトをバイナリ形式でシリアライズ・デシリアライズするための、Python専用のフォーマットです。,"["".pkl"","".pickle""]"
rdata,rdata,RData,R言語でオブジェクトを保存するためのバイナリ形式で、統計解析やデータサイエンスで使用されます。,"["".rda"","".rdata""]"