
Kiến trúc truyền thống của Apache Kafka gắn chặt tính toán và lưu trữ. Các broker quản lý các phân đoạn nhật ký cục bộ, thường được hỗ trợ bởi bộ nhớ khối hiệu suất cao như AWS EBS hoặc GCP Persistent Disk. Mặc dù thiết kế này mang lại thông lượng vượt trội và truy cập độ trễ thấp cho dữ liệu gần đây, nhưng nó trở nên không bền vững về mặt kinh tế đối với việc lưu giữ dữ liệu dài hạn, đặc biệt khi khối lượng dữ liệu tăng lên đến petabyte. Chi phí IOPS được cấp phát và dung lượng lưu trữ trên các thiết bị khối cho dữ liệu lịch sử, ít được truy cập có thể nhanh chóng chiếm ưu thế trong ngân sách cơ sở hạ tầng.
Kafka Tiered Storage, được giới thiệu dưới dạng KIP-405, tái kiến trúc cơ bản lớp lưu trữ của Kafka. Nó cho phép chuyển liền mạch các phân đoạn nhật ký cũ hơn, ít được truy cập hơn từ bộ nhớ broker cục bộ sang các giải pháp lưu trữ đối tượng hiệu quả về chi phí, có độ bền cao như AWS S3 và Google Cloud Storage (GCS). Việc tách biệt tính toán và lưu trữ này cho phép giảm đáng kể chi phí, tăng cường khả năng mở rộng và đơn giản hóa quản lý vận hành mà không ảnh hưởng đến các đảm bảo cốt lõi của Kafka.
KIP-405 giới thiệu mô hình lưu trữ hai tầng: một tầng cục bộ trên các broker Kafka và một tầng từ xa trên bộ nhớ đối tượng. Mục tiêu chính là tận dụng hiệu quả chi phí và khả năng mở rộng gần như vô hạn của bộ nhớ đối tượng đám mây cho dữ liệu lịch sử trong khi vẫn giữ được lợi ích hiệu suất của bộ nhớ cục bộ cho dữ liệu nóng.
Kiến trúc lưu trữ theo tầng thay đổi cơ bản cách Kafka quản lý các phân đoạn nhật ký của nó. Hiểu luồng dữ liệu và tương tác thành phần là rất quan trọng để triển khai và tối ưu hóa hiệu quả.
log.segment.bytes) hoặc thời gian (log.segment.ms), nó sẽ được chuyển đổi, trở thành một phân đoạn đóng, bất biến.local.retention.bytes hoặc local.retention.ms để xác định phân đoạn nào sẽ giữ cục bộ. Các phân đoạn cũ hơn chính sách này được đánh dấu để chuyển đi.RemoteLogManager tải lên bất đồng bộ các phân đoạn được đánh dấu này vào nhóm lưu trữ đối tượng đã cấu hình (S3 hoặc GCS). Quá trình này không chặn các hoạt động của broker.remote.log.storage.enable: Cài đặt broker toàn cầu để bật/tắt lưu trữ theo tầng. Phải là true.remote.log.storage.manager.impl.class: Chỉ định lớp triển khai cho trình quản lý lưu trữ từ xa.
org.apache.kafka.server.log.remote.metadata.storage.S3RemoteLogMetadataManagerorg.apache.kafka.server.log.remote.metadata.storage.GcsRemoteLogMetadataManagerremote.log.storage.manager.impl.prefix: Tiền tố cho tất cả các cấu hình liên quan đến trình quản lý lưu trữ từ xa. Ví dụ: remote.log.storage.manager.impl.aws.region.local.retention.bytes: Số byte tối đa để giữ trên đĩa cục bộ cho mỗi phân vùng. Khi giới hạn này bị vượt quá, các phân đoạn cũ hơn sẽ được chuyển đi.local.retention.ms: Thời gian tối đa (tính bằng mili giây) để giữ các phân đoạn trên đĩa cục bộ cho mỗi phân vùng.log.segment.bytes: Kích thước tối đa của một tệp phân đoạn nhật ký. Các phân đoạn nhỏ hơn có nghĩa là chuyển đổi và tải lên thường xuyên hơn, có khả năng tăng các cuộc gọi API lưu trữ đối tượng.log.segment.ms: Thời gian tối đa trước khi một phân đoạn nhật ký được chuyển đổi.Triển khai Kafka Tiered Storage yêu cầu cấu hình cẩn thận ở cả cấp độ broker và chủ đề. Chúng tôi sẽ trình bày chi tiết thiết lập cho AWS S3 và Google Cloud Storage.
s3:PutObject, s3:GetObject, s3:DeleteObject, s3:ListBucket, s3:GetBucketLocation trên nhóm S3 mục tiêu.Storage Object Admin hoặc Storage Object Creator và Storage Object Viewer trên nhóm GCS mục tiêu.server.properties)Các tham số sau được thêm vào server.properties trên mỗi broker Kafka.
# Enable remote storage
remote.log.storage.enable=true
# Set the local retention policy.
# Example: Retain 10GB per partition locally.
# This value should be carefully chosen based on hot data access patterns.
local.retention.bytes=10737418240 # 10 GB
# Alternatively, or in addition to bytes, set time-based local retention.
# Example: Retain 24 hours of data locally.
# local.retention.ms=86400000 # 24 hours
# Configure the segment size and time for optimal offloading.
# Smaller segments mean more frequent uploads but faster local deletion.
log.segment.bytes=1073741824 # 1 GB
log.segment.ms=604800000 # 7 days (default)
# S3 Remote Log Storage Manager implementation class
remote.log.storage.manager.impl.class=org.apache.kafka.server.log.remote.metadata.storage.S3RemoteLogMetadataManager
# S3 bucket name for remote storage
remote.log.storage.manager.impl.aws.bucket.name=your-kafka-tiered-storage-s3-bucket
# AWS region of the S3 bucket
remote.log.storage.manager.impl.aws.region=us-east-1
# (Optional) AWS endpoint for S3, useful for S3-compatible storage or private endpoints
# remote.log.storage.manager.impl.aws.endpoint=https://s3.us-east-1.amazonaws.com
# (Optional) AWS credentials provider. Default is DefaultAWSCredentialsProviderChain.
# remote.log.storage.manager.impl.aws.credentials.provider.class=com.amazonaws.auth.DefaultAWSCredentialsProviderChain
# (Optional) Number of threads for S3 uploads/downloads
# remote.log.storage.manager.impl.aws.num.client.threads=10
# GCS Remote Log Storage Manager implementation class
remote.log.storage.manager.impl.class=org.apache.kafka.server.log.remote.metadata.storage.GcsRemoteLogMetadataManager
# GCS bucket name for remote storage
remote.log.storage.manager.impl.gcp.bucket.name=your-kafka-tiered-storage-gcs-bucket
# GCP Project ID
remote.log.storage.manager.impl.gcp.project.id=your-gcp-project-id
# Path to the service account key file (JSON).
# Ensure this file is accessible by the Kafka broker process.
# Alternatively, if running on GCP, use default credentials via instance service account.
# remote.log.storage.manager.impl.gcp.credentials.file=/path/to/your/gcp-service-account-key.json
# (Optional) Number of threads for GCS uploads/downloads
# remote.log.storage.manager.impl.gcp.num.client.threads=10
Lưu trữ theo tầng có thể được bật và cấu hình ở cấp độ chủ đề, ghi đè các giá trị mặc định ở cấp độ broker.
# Create a new topic with remote storage enabled and specific local retention
kafka-topics.sh --create --topic my-tiered-topic \
--bootstrap-server localhost:9092 \
--partitions 3 --replication-factor 3 \
--config remote.storage.enable=true \
--config local.retention.bytes=5368709120 # 5 GB local retention for this topic
# Modify an existing topic to enable remote storage
kafka-configs.sh --bootstrap-server localhost:9092 --entity-type topics --entity-name my-existing-topic \
--alter --add-config remote.storage.enable=true
# Modify local retention for an existing tiered topic
kafka-configs.sh --bootstrap-server localhost:9092 --entity-type topics --entity-name my-existing-topic \
--alter --add-config local.retention.ms=172800000 # 48 hours local retention
Strimzi đơn giản hóa việc chạy Kafka trên Kubernetes. Để bật lưu trữ theo tầng, bạn sửa đổi tài nguyên tùy chỉnh Kafka.
Kafka của StrimziapiVersion: kafka.strimzi.io/v1beta2
kind: Kafka
metadata:
name: my-kafka-cluster
spec:
kafka:
version: 3.6.0 # Ensure Kafka version supports KIP-405
replicas: 3
listeners:
- name: plain
port: 9092
type: internal
tls: false
- name: tls
port: 9093
type: internal
tls: true
storage:
type: jbod
volumes:
- id: 0
type: persistent-claim
size: 100Gi # Smaller local storage needed due to tiered storage
deleteClaim: false
config:
# Common Tiered Storage Settings
remote.log.storage.enable: "true"
local.retention.bytes: "10737418240" # 10 GB
log.segment.bytes: "1073741824" # 1 GB
# AWS S3 Specific Configuration
remote.log.storage.manager.impl.class: "org.apache.kafka.server.log.remote.metadata.storage.S3RemoteLogMetadataManager"
remote.log.storage.manager.impl.aws.bucket.name: "your-kafka-tiered-storage-s3-bucket"
remote.log.storage.manager.impl.aws.region: "us-east-1"
# For AWS, ensure the EC2 instance profile or Kubernetes service account has the necessary IAM role.
# Strimzi can inject environment variables for AWS_ACCESS_KEY_ID and AWS_SECRET_ACCESS_KEY if needed,
# but IAM roles are preferred.
# OR Google Cloud Storage Specific Configuration
# remote.log.storage.manager.impl.class: "org.apache.kafka.server.log.remote.metadata.storage.GcsRemoteLogMetadataManager"
# remote.log.storage.manager.impl.gcp.bucket.name: "your-kafka-tiered-storage-gcs-bucket"
# remote.log.storage.manager.impl.gcp.project.id: "your-gcp-project-id"
# For GCP, use Workload Identity to bind a Kubernetes Service Account to a GCP Service Account.
# The GCP Service Account should have Storage Object Admin permissions.
# Strimzi will automatically pick up credentials if the pod's service account is configured correctly.
# Example of how to configure a KafkaTopic with remote storage enabled
entityOperator:
topicOperator: {}
userOperator: {}
---
apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaTopic
metadata:
name: my-tiered-topic
labels:
strimzi.io/cluster: my-kafka-cluster
spec:
partitions: 3
replicas: 3
config:
remote.storage.enable: "true"
local.retention.bytes: "5368709120" # 5 GB local retention for this topic
s3:PutObject, s3:GetObject, s3:DeleteObject, s3:ListBucket, s3:GetBucketLocation cho nhóm S3 mục tiêu.Storage Object Admin hoặc các quyền tương đương trên nhóm GCS.Động lực chính cho Kafka Tiered Storage là giảm chi phí. Hãy định lượng các khoản tiết kiệm tiềm năng với một kịch bản thực tế.
Kịch bản:
us-east-1 cho AWS, us-east4 cho GCP.Để lưu giữ 1 năm, tổng dung lượng lưu trữ cần thiết là 30 TB/ngày * 365 ngày = 10.950 TB (khoảng 11 PB). Đây là một trường hợp cực đoan đối với Kafka truyền thống, thường dẫn đến thời gian lưu giữ ngắn hơn. Hãy giả sử thời gian lưu giữ 30 ngày phổ biến hơn cho Kafka truyền thống do hạn chế về chi phí.
gp3 (hiệu quả về chi phí, hiệu suất cân bằng)gp3 của EBS: $0,08/GB-tháng0,08/GB-tháng = **72.000/tháng**Tính toán này chỉ bao gồm lưu trữ. Nó không bao gồm chi phí phiên bản EC2, truyền mạng hoặc IOPS. Chi phí lưu trữ cao thường buộc các tổ chức phải giảm đáng kể thời gian lưu giữ.
Với lưu trữ theo tầng, chúng ta có thể giữ 30 ngày cục bộ và 1 năm từ xa.
Lưu trữ cục bộ (30 ngày):
local.retention.bytes là trên mỗi phân vùng. Hãy giả sử 100GiB trên mỗi broker cho dữ liệu hoạt động.gp3 của EBS: 1.000 GB * 0,08/GB-tháng = **80/tháng**Lưu trữ từ xa (1 năm):
0,023/GB cho 50TB đầu tiên, 0,022/GB cho 450TB tiếp theo, v.v. (trung bình $0,022/GB-tháng cho quy mô này)0,022/GB-tháng = **80.300/tháng**0,020/GB cho 1PB đầu tiên, v.v. (trung bình 0,020/GB-tháng cho quy mô này)0,020/GB-tháng = **73.000/tháng**Các cuộc gọi API lưu trữ đối tượng:
0,005 cho 1.000 yêu cầu. 10.000 * 30 ngày = 300.000 PUT. Chi phí: 0,005 * 300 = $1,5/tháng. (Không đáng kể)0,0004 cho 1.000 yêu cầu. 0,0004 * 365 = $0,146/tháng. (Không đáng kể)Tổng chi phí Tiered Storage (AWS S3): 80 (EBS cục bộ) + 80.300 (Lưu trữ S3) + ~2 (Cuộc gọi API) = **~80.382/tháng**
Tổng chi phí Tiered Storage (GCS): 80 (EBS cục bộ) + 73.000 (Lưu trữ GCS) + ~2 (Cuộc gọi API) = **~73.082/tháng**
So sánh này rất khó vì Kafka truyền thống thường không thể chi trả 1 năm lưu giữ. Nếu chúng ta so sánh 30 ngày lưu giữ trên EBS với 1 năm lưu giữ với Tiered Storage:
Điều này không cho thấy sự tiết kiệm, nó cho thấy chi phí tăng lên cho thời gian lưu giữ tăng đáng kể. Khoản tiết kiệm thực sự nằm ở chi phí trên mỗi GB-tháng cho dữ liệu dài hạn.
Hãy đánh giá lại kịch bản: Điều gì sẽ xảy ra nếu chúng ta phải lưu trữ 1 năm dữ liệu trên EBS?
gp3 của EBS: 10.950.000 GB * 0,08/GB-tháng = **876.000/tháng**Bây giờ, hãy so sánh điều này với Tiered Storage trong 1 năm:
Tính toán tiết kiệm (AWS S3 so với EBS cho 1 năm lưu giữ):
(876.000 - 80.382) / $876.000 = 0,908 = tiết kiệm 90,8%
Tính toán tiết kiệm (GCS so với EBS cho 1 năm lưu giữ):
(876.000 - 73.082) / $876.000 = 0,916 = tiết kiệm 91,6%
Điều này cho thấy rằng đối với việc lưu giữ dài hạn, lưu trữ theo tầng mang lại tiết kiệm hơn 90% chi phí lưu trữ so với giải pháp chỉ dùng EBS. Ngay cả khi bạn chỉ cần 3 tháng lưu giữ trên EBS, chi phí sẽ cao gấp 3 lần so với phương pháp theo tầng 30 ngày EBS + 1 năm S3/GCS.
Hơn nữa, chi phí tính toán cho các broker có thể được giảm. Với yêu cầu đĩa cục bộ nhỏ hơn, bạn có thể sử dụng các loại phiên bản EC2 nhỏ hơn hoặc giảm số lượng broker, góp phần tiết kiệm hơn nữa.
Mặc dù tiết kiệm chi phí là đáng kể, nhưng điều quan trọng là phải hiểu các tác động về hiệu suất của việc giới thiệu một lớp lưu trữ đối tượng.
local.retention, hiệu suất vẫn giống hệt Kafka truyền thống. Độ trễ thường dưới mili giây.| Tính năng | Kafka truyền thống (EBS/Persistent Disk) | Kafka Tiered Storage (EBS cục bộ + S3/GCS từ xa)
Một Kafka cluster sử dụng Tiered Storage (KIP-405) gặp phải tình trạng tăng đột biến, kéo dài trong các yêu cầu của consumer đối với dữ liệu lịch sử (ví dụ: 3 tháng tuổi) đã được offload sang AWS S3. Tác động vận hành tức thời CÓ KHẢ NĂNG NHẤT là gì?
Làm sạch log AI CLI, tạo biểu thức cron, giải mã JWT và tính quyền chmod offline.

Cẩm nang production đã được kiểm chứng về Google Cloud Platform. Tìm hiểu vì sao Cloud Run thắng GKE trong 90% workload, cách tận dụng BigQuery và Secret Manager, cùng 5 bẫy chi phí ẩn đang làm cạn kiệt ngân sách cloud.
Đọc tiếp
Hướng dẫn toàn diện về các định dạng bảng mở vào năm 2026: apache iceberg v2 so với delta lake 3.0 trên cloud object storage với kiến trúc cấp độ sản xuất và ví dụ mã.
Đọc tiếp
Hướng dẫn toàn diện về quan sát bảo mật eBPF với Cilium Tetragon: thực thi runtime theo thời gian thực trong Kubernetes với kiến trúc cấp độ sản xuất và các ví dụ mã.
Đọc tiếp