Apache Kafkaの意味

Apache Kafkaは、イベントストリームを発行・保存・処理するための分散イベントストリーミングプラットフォームです。プロデューサーがイベントをトピックへ書き込み、コンシューマーが購読して処理します。イベントは一定期間保持でき、コンシューマーはオフセットを使って自分の位置から読み直せるため、リアルタイム通知と後からの再処理を同じ基盤で扱えます。複数のパーティションへ分けることで処理を分散し、レプリケーションで障害への耐性を高めます。Kafkaは単純な一度きりのメッセージキューではなく、保持期間、順序の範囲、重複、スキーマ、容量、コンシューマーの遅延、アクセス制御を設計する必要があります。イベントの意味や互換性を決めるのはKafkaではないため、スキーマ管理、個人情報、再送時の冪等性も別途定義します。大量イベントを扱う場合は、パーティション数とキーの偏りが性能や順序性に影響します。読み方は「アパッチ・カフカ」です。

Kafkaが広がった背景には、サービス間で発生するイベントを一度だけ特定の宛先へ渡すのではなく、複数の利用者が独立して受け取り、後から再処理できる形で蓄積したい需要がありました。ログのような連続データを共通基盤に載せる考え方です。

Kafkaを理解すると、イベントの発生元と利用者を疎結合にできます。一方で、トピック設計、パーティションキー、保持期間、順序性、再送、重複、スキーマ互換性、監視を決めないまま導入すると、イベントが増えるほど復旧と調査が難しくなります。

現在のKafkaは、サービス連携、ログ・クリックストリーム、CDC、リアルタイム集計、データパイプラインで使われます。公式説明の中心はイベントストリームの発行・保存・処理であり、Airflowのような定期ワークフロー基盤とは役割が異なります。