[Kafka] 소개

아파치 카프카(Apache kafka)는 오픈소스 분산 스트리밍 플랫폼입니다

LinkedIn에서 인하우스로 만들어서 쓰던걸 오픈해 현재는 아파치 재단에서 관리되고 있습니다

(참고: https://engineering.linkedin.com/distributed-systems/log-what-every-software-engineer-should-know-about-real-time-datas-unifying)

 

왜 써야 하는가

링크드인에서는 이런식으로 로그 전송 파이프라인이 거미줄처럼 엮여 있었습니다. (잘보면 화살표가 양쪽으로 있기도 합니다)

유지보수도 힘들고.. 로그를 만드는 쪽이나 쌓는 쪽이나 모듈이 하나가 생기면 다른쪽 파이프라인을 N개를 만들어야 하는 문제도 있고.. 아무튼 애로사항이 많아 개선을 해보려고 하게 되었습니다

이런식으로 로그 수발신을 담당하는 모듈인 카프카를 만들었고, 덕분에 풀메쉬 구조를 떼어낼 수 있게 되었습니다.