
このガイドでは、2026年におけるリアルタイム分析ワークロード向けのDuckDBとClickHouseのデータ駆動型エンジニアリングベンチマークとアーキテクチャ比較を提供します。Google Cloud上での様々なデータ規模、並行処理要件、インフラコストプロファイルにおける両者の適合性を分析します。
DuckDBは、組み込み型のインプロセスOLAPデータベースとして動作します。その主な強みは、単一ノードでの高性能分析クエリに最適化された、カラム型ベクトル化実行エンジンにあります。Parquet、CSV、その他のファイル形式を、別のサーバープロセスへの事前取り込みなしに直接クエリできるため、ローカルデータ処理に優れています。
ClickHouseは、ペタバイト規模のデータウェアハウジングとリアルタイム分析のために設計された、分散型カラム型OLAPデータベースです。大規模な並列処理、洗練されたインデックス(例:MergeTreeファミリー)、および分散アーキテクチャを活用して、膨大なデータセットにわたる高スループットの取り込みと複雑な分析クエリを処理します。
当社のベンチマークは、クエリパフォーマンス、並行処理下でのメモリオーバーヘッド、取り込みスループットの3つの主要分野に焦点を当てています。すべてのテストはGoogle Cloud Platform(GCP)で実施されます。
(timestamp DATETIME, user_id UUID, event_type VARCHAR, value FLOAT, region VARCHAR, properties JSON)。
データ規模: 1,000万(10M)、1億(100M)、10億(1B)行。
データ形式: Snappyで圧縮されたParquet。
DuckDB(シングルノード):
n2-standard-16(16 vCPU、64 GB RAM)n2-standard-32(32 vCPU、128 GB RAM)ClickHouse(分散クラスター):
n2-standard-16(16 vCPU、64 GB RAM)。リアルタイムダッシュボードとアドホック分析を代表する一連の分析クエリを定義します。
SELECT region, count() FROM events WHERE timestamp BETWEEN ? AND ? GROUP BY region ORDER BY count() DESC LIMIT 10;SELECT toStartOfHour(timestamp) AS hour, avg(value) FROM events WHERE event_type = ? AND timestamp BETWEEN ? AND ? GROUP BY hour ORDER BY hour;SELECT user_id, count() FROM events WHERE timestamp BETWEEN ? AND ? GROUP BY user_id HAVING count() > 50 ORDER BY count() DESC LIMIT 100;SELECT JSONExtractString(properties, 'campaign_id'), count() FROM events WHERE timestamp BETWEEN ? AND ? GROUP BY 1 ORDER BY count() DESC LIMIT 10;(DuckDBの場合、事前に抽出されたカラムまたはUDFでシミュレートします)。並行処理は、ClickHouseにはlocustを、DuckDBにはマルチスレッドPythonスクリプトを使用してシミュレートし、10、50、100の並行クエリ下での平均クエリレイテンシとメモリフットプリントを測定します。
DuckDBの強みは、Parquetファイルを直接クエリできる点です。
import duckdb
import pandas as pd
import time
import os
# Ensure Parquet files are available locally
# For 1B rows, this would be multiple Parquet files
PARQUET_FILE_PATH = "s3://your-bucket/events_100M.parquet" # Or local path
def run_duckdb_query(query: str, params: tuple = None):
"""
Executes a DuckDB query against a Parquet file.
"""
start_time = time.perf_counter()
try:
# DuckDB can directly query S3/GCS paths if credentials are set up
# For local files, just use the path
con = duckdb.connect(database=':memory:', read_only=False)
con.execute(f"INSTALL httpfs; LOAD httpfs;") # For S3/GCS access
con.execute(f"SET s3_region='us-central1';") # Example for GCS, adjust as needed
# Register the Parquet file as a table
con.execute(f"CREATE OR REPLACE VIEW events AS SELECT * FROM '{PARQUET_FILE_PATH}';")
if params:
result = con.execute(query, params).fetchall()
else:
result = con.execute(query).fetchall()
end_time = time.perf_counter()
return (end_time - start_time) * 1000 # ms
except Exception as e:
print(f"DuckDB Query failed: {e}")
return -1
# Example Q1 execution
start_date = "2026-01-01 00:00:00"
end_date = "2026-01-01 23:59:59"
query_q1 = """
SELECT region, count()
FROM events
WHERE timestamp BETWEEN ? AND ?
GROUP BY region
ORDER BY count() DESC
LIMIT 10;
"""
# print(f"DuckDB Q1 (100M rows): {run_duckdb_query(query_q1, (start_date, end_date)):.2f} ms")
# DuckDB ingestion (if needed, e.g., from CSV to Parquet)
def duckdb_ingest_csv_to_parquet(csv_path: str, parquet_path: str):
con = duckdb.connect(database=':memory:', read_only=False)
con.execute(f"COPY (SELECT * FROM '{csv_path}') TO '{parquet_path}' (FORMAT PARQUET, COMPRESSION SNAPPY);")
con.close()
ClickHouseは、データをテーブルに取り込む必要があります。Pythonにはclickhouse-driverを使用します。
from clickhouse_driver import Client
import time
import json
CLICKHOUSE_HOST = "your-clickhouse-cluster-ip"
CLICKHOUSE_PORT = 9000 # Native protocol
CLICKHOUSE_USER = "default"
CLICKHOUSE_PASSWORD = "your-password"
CLICKHOUSE_DB = "default"
def get_clickhouse_client():
return Client(
host=CLICKHOUSE_HOST,
port=CLICKHOUSE_PORT,
user=CLICKHOUSE_USER,
password=CLICKHOUSE_PASSWORD,
database=CLICKHOUSE_DB
)
def run_clickhouse_query(query: str, params: dict = None):
"""
Executes a ClickHouse query.
"""
client = get_clickhouse_client()
start_time = time.perf_counter()
try:
result = client.execute(query, params)
end_time = time.perf_counter()
return (end_time - start_time) * 1000 # ms
except Exception as e:
print(f"ClickHouse Query failed: {e}")
return -1
finally:
client.disconnect()
# Example Q1 execution
start_date = "2026-01-01 00:00:00"
end_date = "2026-01-01 23:59:59"
query_q1_ch = """
SELECT region, count()
FROM events
WHERE timestamp BETWEEN %(start_date)s AND %(end_date)s
GROUP BY region
ORDER BY count() DESC
LIMIT 10;
"""
# print(f"ClickHouse Q1 (100M rows): {run_clickhouse_query(query_q1_ch, {'start_date': start_date, 'end_date': end_date}):.2f} ms")
# ClickHouse Ingestion (example using HTTP interface for bulk)
def clickhouse_ingest_parquet(parquet_file_path: str, table_name: str):
"""
Ingests a Parquet file into ClickHouse using the HTTP interface.
Requires 'clickhouse-client' or similar tool for direct file upload.
For Python, usually involves reading Parquet into DataFrame and then inserting.
"""
# This is a simplified example. For 1B rows, use `clickhouse-client` or Kafka Connect.
# Example using pandas and clickhouse-driver for smaller batches:
import pandas as pd
df = pd.read_parquet(parquet_file_path)
client = get_clickhouse_client()
start_time = time.perf_counter()
try:
# Ensure table schema matches DataFrame
client.execute(f"INSERT INTO {table_name} VALUES", df.to_dict(orient='records'))
end_time = time.perf_counter()
return (end_time - start_time) * 1000 # ms
except Exception as e:
print(f"ClickHouse Ingestion failed: {e}")
return -1
finally:
client.disconnect()
# For large-scale ingestion, consider:
# 1. `clickhouse-client --query="INSERT INTO events FORMAT Parquet"` < your_file.parquet
# 2. Kafka Connect with ClickHouse Sink Connector
# 3. Materialize views from object storage (e.g., S3/GCS) using `s3` or `gcs` table functions.
これらの結果は、現在の傾向と予想される最適化に基づいて推定されたものです。
| クエリ | 行数 | DuckDB (n2-std-16) | DuckDB (n2-std-32) | ClickHouse (3x n2-std-16) |
|---|---|---|---|---|
| Q1 | 10M | 25 | 18 | 15 |
| Q1 | 100M | 180 | 110 | 80 |
| Q1 | 1B | 2500 | 1500 | 450 |
| Q2 | 10M | 30 | 22 | 18 |
| Q2 | 100M | 220 | 140 | 100 |
| Q2 | 1B | 3000 | 1800 | 550 |
| Q3 | 10M | 40 | 30 | 25 |
| Q3 | 100M | 300 | 190 | 150 |
| Q3 | 1B | 4000 | 2500 | 800 |
| Q4 | 10M | N/A* | N/A* | 35 |
| Q4 | 100M | N/A* | N/A* | 250 |
| Q4 | 1B | N/A* | N/A* | 1200 |
N/A: DuckDBは効率的なJSONクエリのためにUDFまたは事前パースが必要であり、これはClickHouseのネイティブなJSONExtract関数と直接比較できない複雑さとオーバーヘッドを追加します。
所見:
MergeTreeとminmaxおよびsetインデックス)は、大規模データセットでの優れたパフォーマンスに貢献しています。| 並行処理 | 行数 | DuckDB (n2-std-32) | ClickHouse (3x n2-std-16) |
|---|---|---|---|
| 10 | 100M | 10 GB | 15 GB |
| 50 | 100M | 40 GB | 30 GB |
| 100 | 100M | 80 GB (スラッシング) | 45 GB |
| 10 | 1B | 30 GB | 25 GB |
| 50 | 1B | 100 GB (スラッシング) | 50 GB |
| 100 | 1B | OOM | 70 GB |
所見:
| データサイズ | DuckDB (CSVからParquetへ) | ClickHouse (Parquetからテーブルへ) |
|---|---|---|
| 10M | 500,000 | 1,200,000 |
| 100M | 400,000 | 800,000 |
| 1B | 200,000 | 500,000 |
所見:
MergeTreeエンジンと分散取り込み機能(例:Kafka Connect、INSERT INTO ... SELECT FROM S3)により、大幅に高い取り込みスループットを提供します。| メトリック | DuckDB (n2-std-32) | ClickHouse (3x n2-std-16) |
|---|---|---|
| コンピューティング (VM/GKE) | $1,200 | $3,600 |
| ストレージ (ローカルSSD/永続SSD) | $150 | $450 |
| ネットワーク (エグレス) | $50 | $150 |
| 合計月額推定 | $1,400 | $4,200 |
注記:
| 機能 | DuckDB | ClickHouse |
|---|---|---|
| アーキテクチャ | 組み込み型、インプロセス | 分散型、サーバークライアント |
| データ規模 | 数MBから数百GB(シングルノード) | 数TBから数PB(分散型) |
| 並行処理 | 低から中程度(CPU/RAMに依存) | 高(分散型、共有リソース) |
| 取り込み | バッチ(ファイル間)、中程度のスループット | ストリーミング、高スループット |
| クエリレイテンシ | 小~中規模データに優れる | 大規模データに優れる |
| セットアップの複雑さ | 低(ライブラリのインポート) | 高(クラスターデプロイ、運用) |
| 運用オーバーヘッド | 最小限(アプリの一部) | 高(監視、スケーリング、HA) |
| コスト効率 | 組み込みユースケースで高 | 大規模データウェアハウジングで高 |
| ユースケース | ローカル分析、ETL、エッジコンピューティング、データアプリ | リアルタイムダッシュボード、BI、大規模データレイク |
| データ形式 | 直接Parquet/CSV/JSON | 内部カラム型ストレージ (MergeTree) |
LIMITとOFFSETを使用する。PRAGMA memory_limit='XGB';を使用してOSレベルのスラッシングを防ぎ、DuckDBが適切にエラーを処理できるようにする。Too many open filesエラーが発生する。ulimit -n)を増やす。httpfs拡張機能を使用し、S3/GCS認証情報を正しく設定する。GROUP BY:
GROUP BYを含むクエリが、Memory limit exceededで失敗するか、極端に遅い。GROUP BY操作のためにメモリ内にハッシュテーブルを構築する必要があります。単一シャードで利用可能なRAMに対してカーディナリティが高すぎると、失敗する可能性があります。max_memory_usageとmax_bytes_before_external_group_byの設定を増やす。shardキーにGROUP BYを持つDISTRIBUTEDテーブルエンジンを使用するか、データが均等に分散されていることを確認する。MergeTreeテーブルのmerge_tree_min_rows_for_wide_partとmerge_tree_min_bytes_for_wide_partを調整する。No space left on deviceエラーが発生する。MergeTreeテーブルは、小さなデータパーツを定期的に大きなパーツにマージします。このプロセスには、一時的に追加のディスク容量(マージするパーツの最大2倍のサイズ)が必要です。merge_tree_max_bytes_to_merge_at_onceとmerge_tree_max_parts_to_merge_at_onceを調整してマージ動作を制御するが、これはクエリパフォーマンスに影響を与える可能性があるため注意が必要。データエンジニアリングチームは、モバイルアプリケーション向けのリアルタイム分析ダッシュボードを構築しています。ダッシュボードはユーザーイベントから派生したメトリクスを表示する必要があり、データ量は毎日数億行に達すると予想されます。チームは最近のデータに対する低レイテンシクエリを優先し、運用オーバーヘッドを最小限に抑えたいと考えています。彼らはDuckDBとClickHouseの両方を検討しています。次のシナリオのうち、DuckDBよりもClickHouseを選択する最も良い理由は何ですか?
DuckDBを選択すべきなのは、次のような場合です。
ClickHouseが優れた選択肢となるのは、次のような場合です。
はい、互いに補完的に使用できます。
MergeTreeテーブルとストリーミング取り込み(例:Kafka)を使用すると、データは取り込み後数ミリ秒以内にクエリ可能になります。これにより、リアルタイム分析に最適です。AI CLIログの整形、Cron式の作成、JWTの解析、chmod権限の計算をオフラインで実行。

モダンWebアプリにおけるduckdb-wasmの包括的なガイド。クライアントサイドOLAP、Parquetストリーミング、そして本番環境レベルのアーキテクチャとコード例による超高速ダッシュボードについて解説します。
続きを読む
ClickHouseのMaterializedViewとReplacingMergeTreeを網羅したガイドで、本番環境レベルのアーキテクチャとコード例を用いてサブ秒リアルタイム分析を実現します。
続きを読む
Next.jsでDuckDB-Wasmを使用し、本番環境レベルのアーキテクチャとコード例で1000万行に対する超高速クライアントサイド分析を実現する包括的なガイド。
続きを読む