Kafka Connect
Kafka Connect 是一套官方提供的工具程式
- Source Connector:把外部系統的資料匯入至 topic
- Sink Connector:把 topic 的資料匯出至外部系統
優勢
不影響既有系統
Kafka Connect 是和 Kafka Server 不同的程式。不影響也不需要重啟 Server 就可以使用
減少開發時間
設定正確的話的確不用寫任何一行 Consumer, parse, 及 insert 資料到目的端的 code
外掛豐富
Postgres, Mysql 等各家廠牌有已經寫好的匯入/匯出工具。這些工具會以外掛的形式被 Kafka Connect 使用
彈性充足
匯入跟匯出是可以獨立執行的,可以根據需求及外部系統安裝不同的外掛。