跳轉到

Kafka Connect

Kafka Connect 是一套官方提供的工具程式

  • Source Connector:把外部系統的資料匯入至 topic
  • Sink Connector:把 topic 的資料匯出至外部系統

優勢

不影響既有系統

Kafka Connect 是和 Kafka Server 不同的程式。不影響也不需要重啟 Server 就可以使用

減少開發時間

設定正確的話的確不用寫任何一行 Consumer, parse, 及 insert 資料到目的端的 code

外掛豐富

Postgres, Mysql 等各家廠牌有已經寫好的匯入/匯出工具。這些工具會以外掛的形式被 Kafka Connect 使用

彈性充足

匯入跟匯出是可以獨立執行的,可以根據需求及外部系統安裝不同的外掛。

img

Reference