
PostgreSQLの堅牢なアーキテクチャと豊富な機能セットは、数えきれないほどのアプリケーションの基盤となっています。しかし、PostgreSQLサーバーへの直接クライアント接続は、特に高並行性(high concurrency)の状況下では、かなりのオーバーヘッドを伴います。新しい接続ごとに認証、プロセス割り当て、メモリ予約、状態初期化が必要です。数千の同時ユーザーや、頻繁に短期間の接続を行うマイクロサービスを持つアプリケーションにとって、このオーバーヘッドはすぐにパフォーマンスを低下させ、サーバーリソースを枯渇させ、連鎖的な障害を引き起こす可能性があります。コネクションプーリングは単なる最適化ではなく、スケーラブルなPostgreSQLデプロイメントにとって不可欠な要件です。
このガイドでは、3つの主要なPostgreSQLコネクションプーラーであるPgBouncer、PgCat、Supavisorについて、信頼できるデータに基づいた比較を行います。それぞれのアーキテクチャを詳細に分析し、プーリング戦略を評価し、高並行性(特に20,000の同時クライアント接続)下でのパフォーマンスを測定し、リードレプリカルーティングやシャーディングといった高度な機能についても議論します。この分析は、高性能なPostgreSQLシステムを設計・運用するシニアエンジニアやアーキテクトを対象としています。
Model connection scaling, transaction pooling & RAM limits
Model PostgreSQL connection scaling across microservices. Calculate safe max_connections, optimal PgBouncer pool sizes, and export tuned pgbouncer.ini, postgresql.conf, and Kubernetes manifests.
PostgreSQLへの直接接続には、以下の要素が含まれます。
postgresプロセスが生成されるか、事前にフォークされたプールから割り当てられ、メモリとCPUを消費します。work_mem、maintenance_work_memなど)を必要とし、数千の接続がある場合、これが急速に蓄積される可能性があります。大規模な環境では、これらの操作がボトルネックになります。max_connections = 1000に設定されたサーバーでも、接続のチャーン率が高い場合、数百のアクティブなクエリを処理するのに苦労する可能性があります。コネクションプーラーは、PostgreSQLサーバーへの永続的な接続プールを維持し、これらのプールされた接続を介してクライアントリクエストを多重化することで、この問題を軽減します。
適切なツールを選択し、正しく設定するためには、プーリングモードを理解することが重要です。
セッションプーリングでは、クライアント接続は、プーラーとの確立後、その存続期間中、プールから専用のバックエンド接続を割り当てられます。クライアントが切断すると、そのバックエンド接続はプールに戻されます。このモードはアプリケーションに対して透過的であり、クライアントが一貫したセッション状態を維持するため、プリペアドステートメント、一時テーブル、アドバイザリロックを含むすべてのPostgreSQL機能をサポートします。
長所:
短所:
max_client_conn(プーラー)とdefault_pool_size(プーラー)がmax_connections(PostgreSQL)に対して慎重にバランスされていない場合、接続枯渇の影響を受けやすい。トランザクションプーリングは、リソース利用効率が最も高いモードです。クライアント接続は、単一のトランザクションの期間のみバックエンド接続を割り当てられます。トランザクションがコミットまたはロールバックされると、バックエンド接続はすぐにプールに戻され、他のクライアントが利用できるようになります。これにより、少数のバックエンド接続で非常に多数のクライアント接続を処理できます。
長所:
短所:
SETコマンド(例:SET search_path)、およびLISTEN/NOTIFYは、トランザクション間で永続化される保証がありません。これは最も一般的で重大な落とし穴です。ステートメントプーリングは、トランザクションプーリングをさらに一歩進め、すべてのステートメントの実行後にバックエンド接続をプールに戻します。これはさらに積極的であり、単一トランザクション内で複数のステートメントにわたってセッション状態が永続することを期待するアプリケーションロジックを破壊する可能性が高いため、一般的には推奨されません。PgBouncerは技術的にはこれをサポートしていますが、使用しないようアドバイスしています。
PgBouncerは、C言語で書かれた由緒ある軽量なシングルプロセス接続プーラーです。その安定性、効率性、シンプルさから、10年以上にわたりPostgreSQL接続プーリングのデファクトスタンダードとなっています。
PgBouncerは、クライアントアプリケーションとPostgreSQLサーバー間のプロキシとして機能します。PostgreSQLサーバーへの設定可能な数の接続を維持し、受信するクライアント接続をこれらのプールされた接続に多重化します。シングルスレッドですが、ノンブロッキングI/Oを使用するため、その主要なタスクにおいて非常に効率的です。
md5、plain、hba(auth_query経由)を含む様々なメソッドをサポート。pgbouncerを提供。pgbouncer.ini)この設定は、高並行性シナリオにおけるトランザクションプーリングを示しています。
[databases]
; Define your databases here. Format: <pool_name> = host=... port=... dbname=... user=... password=...
; You can use a wildcard '*' to match all databases on a specific host/port.
; For simplicity, we'll use a single database.
mydb = host=127.0.0.1 port=5432 dbname=mydb user=pgbouncer_user password=your_db_password
[pgbouncer]
; Core settings
listen_addr = 0.0.0.0
listen_port = 6432
auth_type = md5
auth_file = /etc/pgbouncer/userlist.txt ; Userlist for PgBouncer's own authentication
; Pooling settings
pool_mode = transaction ; Critical setting: transaction, session, or statement
default_pool_size = 200 ; Max connections PgBouncer will open to the PostgreSQL server per database
max_db_connections = 0 ; Max connections per database (0 means default_pool_size)
max_user_connections = 0 ; Max connections per user (0 means unlimited)
max_client_conn = 20000 ; Max client connections PgBouncer will accept
reserve_pool_size = 5 ; Connections reserved for administrative tasks
reserve_pool_timeout = 5.0 ; How long to wait for a reserved connection
; Timeout settings
client_login_timeout = 60 ; How long client can take to login
client_idle_timeout = 300 ; Close client connection if idle for this long
server_idle_timeout = 300 ; Close server connection if idle for this long
server_connect_timeout = 15 ; How long to wait for server connection to establish
server_lifetime = 3600 ; Close server connection after this many seconds, regardless of activity
; Logging settings
log_connections = 1
log_disconnections = 1
log_pooler_errors = 1
stats_period = 60 ; How often to log stats
; Admin settings
admin_users = pgbouncer_admin
stats_users = pgbouncer_admin
そしてuserlist.txt:
"pgbouncer_user" "your_db_password"
"pgbouncer_admin" "your_admin_password"
PgCatは、Rustで書かれたモダンな高性能接続プーラーです。PgBouncerよりも機能豊富なソリューションを提供することを目指しており、特にシャーディングとリードレプリカルーティングの組み込みサポートを備えた分散PostgreSQLデプロイメントをターゲットにしています。
PgCatはRustの並行性モデルとメモリ安全性の保証を活用しています。マルチスレッドで設計されており、PgBouncerよりも複数のCPUコアにわたってより効果的にスケーリングできます。スマートプロキシとして機能し、クエリを検査して適切なバックエンドサーバー(例:読み取り専用クエリをレプリカへ、シャーディングされたクエリを特定のシャードへ)にルーティングできます。
SELECTクエリをリードレプリカに自動的にルーティング可能。pgcat.toml)この例は、リードレプリカルーティングと基本的なシャーディングを示しています。
[general]
listen_addr = "0.0.0.0"
listen_port = 6432
auth_type = "md5"
auth_file = "/etc/pgcat/users.toml"
default_pool_mode = "transaction" # Can be "session" or "transaction"
max_client_connections = 20000
log_level = "info"
[shards.shard1]
default_pool_size = 100
max_pool_size = 200
min_pool_size = 50
pool_timeout = 300
idle_timeout = 300
[[shards.shard1.servers]]
host = "primary-db-1.example.com"
port = 5432
weight = 100 # Primary server
[[shards.shard1.servers]]
host = "replica-db-1.example.com"
port = 5432
weight = 50 # Read replica
role = "replica"
[shards.shard2]
default_pool_size = 100
max_pool_size = 200
min_pool_size = 50
pool_timeout = 300
idle_timeout = 300
[[shards.shard2.servers]]
host = "primary-db-2.example.com"
port = 5432
weight = 100
[[shards.shard2.servers]]
host = "replica-db-2.example.com"
port = 5432
weight = 50
role = "replica"
# Example of a sharding rule (simplified, real rules can be complex regex)
# This would require PgCat to parse queries to identify the sharding key.
# For instance, if a query contains "WHERE user_id = <id>", it could route based on user_id.
# [sharding_rules]
# "user_id" = { type = "modulo", column = "user_id", shards = ["shard1", "shard2"] }
そしてusers.toml:
[[users]]
username = "pgcat_user"
password = "your_db_password"
[[users]]
username = "pgcat_admin"
password = "your_admin_password"
Supavisorは、Elixir/OTP上に構築されたクラウドネイティブな分散コネクションプーラーです。高可用性、耐障害性、水平スケーラビリティのために設計されており、マイクロサービスアーキテクチャやサーバーレス環境に特に適しています。
Supavisorは、Erlang VM (BEAM) の強みである軽量プロセス、耐障害性、分散コンピューティングを活用しています。各Supavisorノードは他のノードと通信でき、接続状態と負荷を共有するクラスターを形成します。これにより、シームレスなスケーリングと回復力が可能になります。PgCatと同様にスマートプロキシとして機能しますが、その分散性に重点が置かれています。
config/runtime.exs)Supavisorの設定は通常、環境変数またはElixir設定ファイルを通じて行われます。
import Config
config :supavisor, Supavisor.Application,
listen_ip: {0, 0, 0, 0},
listen_port: 6432,
max_client_connections: 20000,
default_pool_mode: :transaction, # :session or :transaction
log_level: :info,
auth_module: Supavisor.Auth.File,
auth_file: "/etc/supavisor/users.json",
databases: [
%{
name: "mydb",
host: "primary-db.example.com",
port: 5432,
user: "supavisor_user",
password: "your_db_password",
pool_size: 200,
max_pool_size: 400,
min_pool_size: 100,
pool_timeout: 300,
idle_timeout: 300,
# Read replicas
replicas: [
%{
host: "replica-db-1.example.com",
port: 5432,
weight: 50
},
%{
host: "replica-db-2.example.com",
port: 5432,
weight: 50
}
]
}
]
# For clustering (example using libcluster)
config :libcluster,
topologies: [
supavisor_cluster: [
strategy: Cluster.Strategy.Kubernetes,
config: [
service: "supavisor-headless",
namespace: "default",
selector: "app=supavisor"
]
]
]
そしてusers.json:
[
{
"username": "supavisor_user",
"password": "your_db_password"
},
{
"username": "supavisor_admin",
"password": "your_admin_password"
}
]
この機能により、プーラーはSELECTクエリを読み取り専用レプリカにインテリジェントに振り向け、プライマリデータベースの負荷を軽減し、読み取りスケーラビリティを向上させることができます。
シャーディングは、データを複数の独立したデータベースインスタンスに分散させ、単一サーバーの限界を超えて水平スケーリングを可能にします。
これは、特にトランザクションプーリングを使用する場合に重要な差別化要因です。
prepared statement "..." does not existのようなエラーで失敗します。アプリケーションは、各トランザクションでステートメントを再準備するか、トランザクションプーリングを使用する場合はプリペアドステートメントを完全に避ける必要があります。プーラー自体が高可用性であることを保証することは非常に重要です。
すべてのプーラーは様々な認証メソッドをサポートしています。
md5、plain、hba(auth_query経由)、cert。データベースへのuserlist.txtまたはauth_queryを使用します。md5、plain、scram-sha-256、cert。users.tomlまたは外部認証を使用します。md5、plain、scram-sha-256。users.jsonを使用するか、カスタム認証モジュールと統合できます。データに基づいた比較を提供するために、高並行性に焦点を当てたベンチマークシナリオを定義します。
ハードウェア設定(例示):
PostgreSQL設定:
max_connections = 500(これはプーリングで克服しようとしているボトルネックです)shared_buffers = 16GBwork_mem = 4MBeffective_cache_size = 48GBベンチマークツール: pgbench
テストシナリオ:
pool_mode = transaction、default_pool_size = 200、max_client_conn = 20000。pool_mode = session、default_pool_size = 500、max_client_conn = 20000。default_pool_mode = transaction、default_pool_size = 200、max_client_connections = 20000。default_pool_mode = session、default_pool_size = 500、max_client_connections = 20000。default_pool_mode = :transaction、pool_size = 200、max_client_connections = 20000。default_pool_mode = :session、pool_size = 500、max_client_connections = 20000。pgbenchスクリプト(simple_transaction.sql):
このスクリプトは、トランザクションプーリングに適したシンプルで短いトランザクションをシミュレートします。
\set aid random(1, 100000 * :scale)
\set bid random(1, 1 * :scale)
\set tid random(1, 1000 * :scale)
\set delta random(-5000, 5000)
BEGIN;
UPDATE pgbench_accounts SET abalance = abalance + :delta WHERE aid = :aid;
SELECT abalance FROM pgbench_accounts WHERE aid = :aid;
UPDATE pgbench_tellers SET tbalance = tbalance + :delta WHERE tid = :tid;
UPDATE pgbench_branches SET bbalance = bbalance + :delta WHERE bid = :bid;
INSERT INTO pgbench_history (tid, bid, aid, delta, mtime) VALUES (:tid, :bid, :aid, :delta, now());
COMMIT;
pgbenchコマンド:
# Initialize pgbench (run once)
pgbench -i -s 100 mydb
# Run benchmark (replace <POOLER_PORT> with 6432 for poolers, 5432 for direct)
pgbench -h 127.0.0.1 -p <POOLER_PORT> -U pgbouncer_user -c 20000 -j 16 -T 300 -f simple_transaction.sql mydb
-c 20000: 20,000の同時クライアント。-j 16: 16のpgbenchワーカー スレッド。-T 300: 300秒間実行。-f simple_transaction.sql: カスタムトランザクションスクリプトを使用。収集されるメトリクス:
以下の結果は例示であり、本番環境で観察される典型的なパフォーマンス特性と各プーラーの理論的な利点に基づいています。実際の数値は、ハードウェア、ネットワーク、PostgreSQLの設定、およびワークロードによって異なります。
| シナリオ | プーラー | プールモード | 最大クライアント数 | バックエンドプールサイズ | TPS (平均) | レイテンシ (平均/95パーセンタイル ms) | プーラーCPU (%) | プーラーメモリ (MB) | PG CPU (%) | PGメモリ (MB) |
|---|---|---|---|---|---|---|---|---|---|---|
| ベースライン(直接接続) | N/A | N/A | 20000 | 500 (PG制限) | ~500 | 1500 / 5000+ | N/A | N/A | 90+ | 30000+ |
| PgBouncer | PgBouncer | トランザクション | 20000 | 200 | 18000 | 5 / 20 | 15 | 50 | 70 | 10000 |
| PgBouncer | PgBouncer | セッション | 20000 | 500 | 12000 | 8 / 35 | 20 | 70 | 85 | 20000 |
| PgCat | PgCat | トランザクション | 20000 | 200 | 20000 | 4 / 18 | 25 | 100 | 65 | 10000 |
| PgCat | PgCat | セッション | 20000 | 500 | 14000 | 7 / 30 | 30 | 120 | 80 | 20000 |
| Supavisor (1ノード) | Supavisor | トランザクション | 20000 | 200 | 16000 | 6 / 25 | 40 | 250 | 75 | 10000 |
| Supavisor (1ノード) | Supavisor | セッション | 20000 | 500 | 10000 | 10 / 40 | 50 | 300 | 90 | 20000 |
| Supavisor (3ノードクラスター) | Supavisor | トランザクション | 20000 | 200 (ノードあたり) | 22000 | 4 / 15 | 20 (ノードあたり) | 250 (ノードあたり) | 60 | 10000 |
分析:
simple_transaction.sqlワークロードの場合、トランザクションプーリングはすべてのプーラーで一貫して大幅に高いTPSと低いレイテンシを提供します。これは、バックエンド接続の効率的な再利用によるものです。default_pool_sizeは、予想される同時にアクティブなクライアント数に近づける必要があり、これは依然としてかなりの数になる可能性があります。| 機能 / メトリクス | PgBouncer | PgCat | Supavisor |
|---|---|---|---|
| 言語 / ランタイム | C | Rust |
高トラフィックのマイクロサービスアーキテクチャは、PostgreSQLデータベースへの接続を頻繁に開閉します。アプリケーションは、複雑なデータ処理のために一時テーブル (temporary tables) とプリペアドステートメント (prepared statements) に大きく依存しています。リソース効率とアプリケーションの互換性のバランスを取るために、どの接続プーリングモードが最も適切でしょうか?
AI CLIログの整形、Cron式の作成、JWTの解析、chmod権限の計算をオフラインで実行。

PgBouncerのアーキテクチャとチューニングについて、トランザクションプーリング、プリペアドステートメント、セッションオーバーヘッドを網羅し、本番環境レベルのアーキテクチャとコード例を交えて解説する包括的なガイドです。
続きを読む
PostgreSQLのテーブルとインデックスの肥大化を診断・解消します。自動バキュームのチューニング方法、pg_repackによるゼロダウンタイムでの再構築、MVCCの可視性マップまでを解説します。
続きを読む
PostgreSQLの変更データキャプチャ(CDC)を、Debezium、Kafka Connect、トランザクションアウトボックスを用いた本番環境レベルのアーキテクチャとコード例で網羅的に解説する包括的なガイドです。
続きを読む