
Apache Kafkaの従来のアーキテクチャでは、コンピューティングとストレージが密接に結合されています。ブローカーはローカルのログセグメントを管理し、通常はAWS EBSやGCP Persistent Diskのような高性能ブロックストレージによってバックアップされています。この設計は、最近のデータに対しては比類のないスループットと低遅延アクセスを提供しますが、特にデータ量がペタバイト規模に拡大すると、長期的なデータ保持には経済的に持続不可能になります。履歴データやアクセス頻度の低いデータに対して、ブロックデバイスのプロビジョニングされたIOPSとストレージ容量のコストは、インフラ予算をすぐに圧迫する可能性があります。
KIP-405として導入されたKafka Tiered Storageは、Kafkaのストレージ層を根本的に再構築します。これにより、古くアクセス頻度の低いログセグメントを、ローカルのブローカーストレージから、AWS S3やGoogle Cloud Storage(GCS)のような費用対効果が高く、耐久性の高いオブジェクトストレージソリューションにシームレスにオフロードできます。このコンピューティングとストレージの分離により、Kafkaのコア保証を損なうことなく、大幅なコスト削減、スケーラビリティの向上、運用管理の簡素化が可能になります。
KIP-405は、2層のストレージモデルを導入しています。Kafkaブローカー上のローカル層と、オブジェクトストレージ上のリモート層です。主な目的は、ホットデータに対してローカルストレージのパフォーマンス上の利点を維持しつつ、履歴データに対してクラウドオブジェクトストレージの費用対効果と実質的に無限のスケーラビリティを活用することです。
階層型ストレージアーキテクチャは、Kafkaがログセグメントを管理する方法を根本的に変更します。データフローとコンポーネントの相互作用を理解することは、効果的なデプロイと最適化のために不可欠です。
log.segment.bytes)または時間(log.segment.ms)の制限に達すると、ロールオーバーされ、不変のクローズドセグメントになります。local.retention.bytesまたはlocal.retention.msを適用します。このポリシーよりも古いセグメントは、オフロード対象としてマークされます。RemoteLogManagerは、これらのマークされたセグメントを設定されたオブジェクトストレージバケット(S3またはGCS)に非同期的にアップロードします。このプロセスは、ブローカーの操作をブロックしません。remote.log.storage.enable: 階層型ストレージを有効/無効にするグローバルブローカー設定。trueである必要があります。remote.log.storage.manager.impl.class: リモートストレージマネージャーの実装クラスを指定します。
org.apache.kafka.server.log.remote.metadata.storage.S3RemoteLogMetadataManagerorg.apache.kafka.server.log.remote.metadata.storage.GcsRemoteLogMetadataManagerremote.log.storage.manager.impl.prefix: すべてのリモートストレージマネージャー関連設定のプレフィックス。例: remote.log.storage.manager.impl.aws.region。local.retention.bytes: パーティションごとにローカルディスクに保持する最大バイト数。この制限を超えると、古いセグメントがオフロードされます。local.retention.ms: パーティションごとにローカルディスクにセグメントを保持する最大時間(ミリ秒)。log.segment.bytes: ログセグメントファイルの最大サイズ。セグメントが小さいほど、ロールオーバーとアップロードの頻度が高くなり、オブジェクトストレージAPI呼び出しが増加する可能性があります。log.segment.ms: ログセグメントがロールオーバーされるまでの最大時間。Kafka Tiered Storageを実装するには、ブローカーレベルとトピックレベルの両方で慎重な設定が必要です。AWS S3とGoogle Cloud Storageのセットアップについて詳しく説明します。
s3:PutObject、s3:GetObject、s3:DeleteObject、s3:ListBucket、s3:GetBucketLocationの権限を持つIAMロールまたはユーザー。Storage Object AdminまたはStorage Object CreatorおよびStorage Object Viewerロールを持つサービスアカウントキー。server.properties)以下のパラメータは、各Kafkaブローカーのserver.propertiesに追加されます。
# Enable remote storage
remote.log.storage.enable=true
# Set the local retention policy.
# Example: Retain 10GB per partition locally.
# This value should be carefully chosen based on hot data access patterns.
local.retention.bytes=10737418240 # 10 GB
# Alternatively, or in addition to bytes, set time-based local retention.
# Example: Retain 24 hours of data locally.
# local.retention.ms=86400000 # 24 hours
# Configure the segment size and time for optimal offloading.
# Smaller segments mean more frequent uploads but faster local deletion.
log.segment.bytes=1073741824 # 1 GB
log.segment.ms=604800000 # 7 days (default)
# S3 Remote Log Storage Manager implementation class
remote.log.storage.manager.impl.class=org.apache.kafka.server.log.remote.metadata.storage.S3RemoteLogMetadataManager
# S3 bucket name for remote storage
remote.log.storage.manager.impl.aws.bucket.name=your-kafka-tiered-storage-s3-bucket
# AWS region of the S3 bucket
remote.log.storage.manager.impl.aws.region=us-east-1
# (Optional) AWS endpoint for S3, useful for S3-compatible storage or private endpoints
# remote.log.storage.manager.impl.aws.endpoint=https://s3.us-east-1.amazonaws.com
# (Optional) AWS credentials provider. Default is DefaultAWSCredentialsProviderChain.
# remote.log.storage.manager.impl.aws.credentials.provider.class=com.amazonaws.auth.DefaultAWSCredentialsProviderChain
# (Optional) Number of threads for S3 uploads/downloads
# remote.log.storage.manager.impl.aws.num.client.threads=10
# GCS Remote Log Storage Manager implementation class
remote.log.storage.manager.impl.class=org.apache.kafka.server.log.remote.metadata.storage.GcsRemoteLogMetadataManager
# GCS bucket name for remote storage
remote.log.storage.manager.impl.gcp.bucket.name=your-kafka-tiered-storage-gcs-bucket
# GCP Project ID
remote.log.storage.manager.impl.gcp.project.id=your-gcp-project-id
# Path to the service account key file (JSON).
# Ensure this file is accessible by the Kafka broker process.
# Alternatively, if running on GCP, use default credentials via instance service account.
# remote.log.storage.manager.impl.gcp.credentials.file=/path/to/your/gcp-service-account-key.json
# (Optional) Number of threads for GCS uploads/downloads
# remote.log.storage.manager.impl.gcp.num.client.threads=10
階層型ストレージは、ブローカーレベルのデフォルトを上書きして、トピックレベルで有効化および設定できます。
# Create a new topic with remote storage enabled and specific local retention
kafka-topics.sh --create --topic my-tiered-topic \
--bootstrap-server localhost:9092 \
--partitions 3 --replication-factor 3 \
--config remote.storage.enable=true \
--config local.retention.bytes=5368709120 # 5 GB local retention for this topic
# Modify an existing topic to enable remote storage
kafka-configs.sh --bootstrap-server localhost:9092 --entity-type topics --entity-name my-existing-topic \
--alter --add-config remote.storage.enable=true
# Modify local retention for an existing tiered topic
kafka-configs.sh --bootstrap-server localhost:9092 --entity-type topics --entity-name my-existing-topic \
--alter --add-config local.retention.ms=172800000 # 48 hours local retention
StrimziはKubernetes上でのKafkaの実行を簡素化します。階層型ストレージを有効にするには、Kafkaカスタムリソースを変更します。
Kafka CR の例apiVersion: kafka.strimzi.io/v1beta2
kind: Kafka
metadata:
name: my-kafka-cluster
spec:
kafka:
version: 3.6.0 # Ensure Kafka version supports KIP-405
replicas: 3
listeners:
- name: plain
port: 9092
type: internal
tls: false
- name: tls
port: 9093
type: internal
tls: true
storage:
type: jbod
volumes:
- id: 0
type: persistent-claim
size: 100Gi # Smaller local storage needed due to tiered storage
deleteClaim: false
config:
# Common Tiered Storage Settings
remote.log.storage.enable: "true"
local.retention.bytes: "10737418240" # 10 GB
log.segment.bytes: "1073741824" # 1 GB
# AWS S3 Specific Configuration
remote.log.storage.manager.impl.class: "org.apache.kafka.server.log.remote.metadata.storage.S3RemoteLogMetadataManager"
remote.log.storage.manager.impl.aws.bucket.name: "your-kafka-tiered-storage-s3-bucket"
remote.log.storage.manager.impl.aws.region: "us-east-1"
# For AWS, ensure the EC2 instance profile or Kubernetes service account has the necessary IAM role.
# Strimzi can inject environment variables for AWS_ACCESS_KEY_ID and AWS_SECRET_ACCESS_KEY if needed,
# but IAM roles are preferred.
# OR Google Cloud Storage Specific Configuration
# remote.log.storage.manager.impl.class: "org.apache.kafka.server.log.remote.metadata.storage.GcsRemoteLogMetadataManager"
# remote.log.storage.manager.impl.gcp.bucket.name: "your-kafka-tiered-storage-gcs-bucket"
# remote.log.storage.manager.impl.gcp.project.id: "your-gcp-project-id"
# For GCP, use Workload Identity to bind a Kubernetes Service Account to a GCP Service Account.
# The GCP Service Account should have Storage Object Admin permissions.
# Strimzi will automatically pick up credentials if the pod's service account is configured correctly.
# Example of how to configure a KafkaTopic with remote storage enabled
entityOperator:
topicOperator: {}
userOperator: {}
---
apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaTopic
metadata:
name: my-tiered-topic
labels:
strimzi.io/cluster: my-kafka-cluster
spec:
partitions: 3
replicas: 3
config:
remote.storage.enable: "true"
local.retention.bytes: "5368709120" # 5 GB local retention for this topic
s3:PutObject、s3:GetObject、s3:DeleteObject、s3:ListBucket、s3:GetBucketLocation権限を付与するIAMロールがアタッチされている必要があります。Storage Object Adminまたは同等の権限が必要です。Kafka Tiered Storageの主な動機はコスト削減です。現実的なシナリオで潜在的な節約を定量化してみましょう。
シナリオ:
us-east-1、GCPはus-east4。1年間の保持の場合、必要なストレージの合計は30 TB/日 * 365日 = 10,950 TB(約11 PB)です。これは従来のKafkaにとって極端なケースであり、保持期間が短くなることがよくあります。コスト制約のため、従来のKafkaではより一般的な30日間の保持を想定しましょう。
gp3(費用対効果が高く、バランスの取れたパフォーマンス)gp3コスト: $0.08/GB-月0.08/GB-月 = **72,000/月**この計算はストレージのみをカバーしています。EC2インスタンスコスト、ネットワーク転送、IOPSは含まれていません。高いストレージコストは、多くの場合、組織に保持期間を大幅に短縮することを強制します。
階層型ストレージを使用すると、ローカルに30日間、リモートに1年間データを保持できます。
ローカルストレージ (30日間):
local.retention.bytesはパーティションごとです。アクティブデータ用にブローカーあたり100GiBと仮定しましょう。gp3コスト: 1,000 GB * 0.08/GB-月 = **80/月**リモートストレージ (1年間):
0.023/GB、次の450TBは0.022/GBなど(この規模では平均$0.022/GB-月)0.022/GB-月 = **80,300/月**0.020/GBなど(この規模では平均0.020/GB-月)0.020/GB-月 = **73,000/月**オブジェクトストレージAPI呼び出し:
0.005。10,000 * 30日 = 300,000 PUT。コスト: 0.005 * 300 = $1.5/月。(無視できる)0.0004。0.0004 * 365 = $0.146/月。(無視できる)階層型ストレージの総コスト (AWS S3): 80 (ローカルEBS) + 80,300 (S3ストレージ) + ~2 (API呼び出し) = **~80,382/月**
階層型ストレージの総コスト (GCS): 80 (ローカルEBS) + 73,000 (GCSストレージ) + ~2 (API呼び出し) = **~73,082/月**
この比較は、従来のKafkaでは1年間の保持ができないことが多いため、難しいです。EBSでの30日間の保持と、階層型ストレージでの1年間の保持を比較してみましょう。
これでは節約は示されず、大幅に保持期間を延長したことによるコスト増を示しています。真の節約は、長期データのGB-月あたりのコストにあります。
シナリオを再評価しましょう: EBSで1年間のデータを保存しなければならなかったらどうなるでしょうか?
gp3コスト: 10,950,000 GB * 0.08/GB-月 = **876,000/月**これを1年間の階層型ストレージと比較します。
節約計算 (AWS S3 vs. EBS 1年間保持):
(876,000 - 80,382) / $876,000 = 0.908 = 90.8%の節約
節約計算 (GCS vs. EBS 1年間保持):
(876,000 - 73,082) / $876,000 = 0.916 = 91.6%の節約
これは、長期保持の場合、階層型ストレージがオールEBSソリューションと比較してストレージコストを90%以上節約できることを示しています。EBSで3ヶ月の保持しか必要なかったとしても、コストは30日間のEBS + 1年間のS3/GCS階層型アプローチの3倍になります。
さらに、ブローカーのコンピューティングコストも削減できます。ローカルディスクの要件が小さくなるため、より小さなEC2インスタンスタイプを使用したり、ブローカーの数を減らしたりできる可能性があり、さらなる節約につながります。
コスト削減は大きいですが、オブジェクトストレージ層を導入することによるパフォーマンスへの影響を理解することが重要です。
local.retention期間内のデータの場合、パフォーマンスは従来のKafkaと同一です。レイテンシは通常1ミリ秒未満です。| 機能 | 従来のKafka (EBS/Persistent Disk) | Kafka Tiered Storage (ローカルEBS + リモートS3/GCS)
Tiered Storage (KIP-405) を利用しているKafkaクラスターで、AWS S3にオフロードされた履歴データ(例:3ヶ月前のデータ)に対するコンシューマーリクエストが突然、継続的に急増しました。最も可能性の高い即時の運用上の影響は何ですか?
AI CLIログの整形、Cron式の作成、JWTの解析、chmod権限の計算をオフラインで実行。

Google Cloud Platformの実践的な本番環境ガイド。Cloud RunがGKEを上回る理由、BigQueryとSecret Managerの活用方法、クラウド予算を食い荒らす5つの隠れたコストの罠を学びます。
続きを読む
概要:CiliumTetragonを用いたeBPFセキュリティオブザーバビリティを網羅したガイド。Kubernetesにおけるリアルタイムランタイム強制を、本番環境レベルのアーキテクチャとコード例で解説します。
続きを読む
Claude CodeとAgentic Workflowsの包括的なガイドで、自律的なコーディングループ、評価ゲート、マルチエージェントアーキテクチャを本番環境レベルのアーキテクチャとコード例で解説します。
続きを読む