XML

ビッグデータ技術 - XML

ビッグデータ技術とは、従来のデータベース管理システムでは扱いきれない大量・多種・高速のデータを効率的に処理するための技術群です。Hadoop、Spark、Kafka、Flinkなどの分散処理フレームワークを中心に、データの収集、保存、処理、分析、可視化を行う包括的なエコシステムを構成しています。これらの技術は、リアルタイム分析、機械学習、IoTデータ処理、ビジネスインテリジェンスなど、現代のデータ駆動型社会の基盤となっています。

ビッグデータ分散処理 Hadoop Spark Kafka Flink データエンジニアリングストリーム処理バッチ処理

<?xml version="1.0" encoding="UTF-8"?>
<items>
  <item>
    <code>1</code>
    <slug>apache-hadoop</slug>
    <name>Apache Hadoop</name>
    <description>分散ストレージとバッチ処理のためのオープンソースフレームワークです。</description>
    <category>分散ストレージ・バッチ処理</category>
    <initialRelease>2006</initialRelease>
    <latency>分〜時間単位</latency>
    <license>Apache License 2.0</license>
    <processingType>バッチ処理</processingType>
  </item>
  <item>
    <code>2</code>
    <slug>apache-spark</slug>
    <name>Apache Spark</name>
    <description>インメモリ計算による高速データ処理エンジンです。</description>
    <category>汎用分散処理エンジン</category>
    <initialRelease>2014</initialRelease>
    <latency>秒単位</latency>
    <license>Apache License 2.0</license>
    <processingType>バッチ・ストリーム処理（マイクロバッチ）</processingType>
  </item>
  <item>
    <code>3</code>
    <slug>apache-kafka</slug>
    <name>Apache Kafka</name>
    <description>高スループットの分散ストリーミングプラットフォームです。</description>
    <category>メッセージング・ストリーミングプラットフォーム</category>
    <initialRelease>2011</initialRelease>
    <latency>ミリ秒単位</latency>
    <license>Apache License 2.0</license>
    <processingType>ストリーム処理（メッセージング）</processingType>
  </item>
  <item>
    <code>4</code>
    <slug>apache-flink</slug>
    <name>Apache Flink</name>
    <description>真のストリーム処理を実現する分散処理エンジンです。</description>
    <category>ストリーム処理エンジン</category>
    <initialRelease>2015</initialRelease>
    <latency>ミリ秒単位</latency>
    <license>Apache License 2.0</license>
    <processingType>真のストリーム処理</processingType>
  </item>
  <item>
    <code>5</code>
    <slug>apache-hive</slug>
    <name>Apache Hive</name>
    <description>Hadoop上でSQLライクなクエリを実行するデータウェアハウスソフトウェアです。</description>
    <category>データウェアハウス</category>
    <initialRelease>2010</initialRelease>
    <latency>分〜時間単位</latency>
    <license>Apache License 2.0</license>
    <processingType>バッチ処理</processingType>
  </item>
  <item>
    <code>6</code>
    <slug>apache-storm</slug>
    <name>Apache Storm</name>
    <description>分散リアルタイム計算システムです。</description>
    <category>ストリーム処理エンジン</category>
    <initialRelease>2011</initialRelease>
    <latency>ミリ秒単位</latency>
    <license>Apache License 2.0</license>
    <processingType>ストリーム処理</processingType>
  </item>
  <item>
    <code>7</code>
    <slug>apache-hbase</slug>
    <name>Apache HBase</name>
    <description>Hadoop上で動作する分散型NoSQLデータベースです。</description>
    <category>NoSQLデータベース</category>
    <initialRelease>2010</initialRelease>
    <latency>ミリ秒単位</latency>
    <license>Apache License 2.0</license>
    <processingType>リアルタイム読み書き</processingType>
  </item>
  <item>
    <code>8</code>
    <slug>apache-presto-trino</slug>
    <name>Apache Trino（旧PrestoSQL）</name>
    <description>大規模データの分散SQLクエリエンジンです。</description>
    <category>分散SQLクエリエンジン</category>
    <initialRelease>2012</initialRelease>
    <latency>秒〜分単位</latency>
    <license>Apache License 2.0</license>
    <processingType>インタラクティブクエリ</processingType>
  </item>
</items>