즐거운 사람과 컴퓨터 즐거운 사람과 컴퓨터

아파치 카프카(Apache Kafka)는 지난 15년간 대규모 분산 스트리밍의 표준으로 군림했다. 2011년 링크드인(LinkedIn)의 NetDB 논문에서 제시된 설계 철학은 명확했다. 디스크의 순차 I/O(Sequential I/O), OS 페이지 캐시(Page Cache), 커널 공간에서 네트워크 소켓으로 버퍼를 직접 전달하는 sendfile 제로 카피(Zero-copy)다. 이 구조에서 브로커는 파티션 로그 파일(partition-N.log)을 로컬 디스크에 직접 저장하고, 복제본 상태를 스스로 관리했다.온프레미스 베어메탈 서버를 위해 태어난 이 설계는 퍼블릭 클라우드 환경에서 막대한 인프라 비용과 운영 마찰을 일으킨다. 3개 가용 영역(AZ)에 걸쳐 복제본을 유지하는 클러스터는 기가바이트(GiB..