즐거운 사람과 컴퓨터 즐거운 사람과 컴퓨터

참고: 본 글은 링크드인(LinkedIn)의 분산 인프라를 설계하고 아파치 카프카(Apache Kafka)를 창시한 제이 크렙스(Jay Kreps)의 기념비적 논고, "The Log: What every software engineer should know about real-time data's unifying abstraction" (2013)의 핵심 통찰을 바탕으로 현대 분산 시스템과 데이터베이스 아키텍처의 기저 원리를 심층 분석합니다.📌 한 줄 요약카프카는 단순한 고성능 메시지 큐가 아니라, 물리적 시계의 불완전성을 논리적 순번(Offset)으로 극복하는 분산 커밋 로그(Distributed Commit Log)이며, $O(N^2)$ 거미줄 파이프라인을 $O(N)$으로 단순화하고 모든 분산 시스..

참고: 본 글은 Shopify Engineering 팀의 아키텍처 전환 사례("We replaced Redis with MySQL for inventory reservations—and it scaled", 2026)를 기반으로 핵심 엔지니어링 통찰을 정리한 글입니다.📌 한 줄 요약체크아웃 오버셀(과판매) 방지를 위한 재고 예약을 수년간 Redis로 운영하다가, 예약과 재고 원장 간의 이중 시스템·비원자적 Claim 문제를 근본적으로 해결하기 위해 MySQL 8 SKIP LOCKED + 단위당 1행 + 가용 풀 상한 구조로 재설계했습니다. 그리고 이 과정에서 밝혀진 진짜 병목은 쿼리 성능이 아닌 커넥션 점유 시간이었습니다.1. 배경: 분리된 이중 시스템의 한계이커머스 결제 흐름에서 재고 처리는 통상 2..

ClickHouse란?ClickHouse는 고성능 컬럼형(columnar) 데이터베이스로, 빠른 데이터 분석을 위해 설계된 오픈소스 DBMS(Database Management System)다. Yandex에서 개발했으며, 대규모 로그 분석, BI(Business Intelligence), 실시간 데이터 분석 등에 최적화되어 있다.1. ClickHouse의 주요 특징🚀 1) 빠른 데이터 처리 속도컬럼 기반 저장(Columnar Storage)일반적인 행 기반(row-based) DBMS보다 분석 쿼리에 최적화됨.필요한 컬럼만 읽기 때문에 입출력 비용(IO) 감소.벡터 연산(Vectorized Execution)SIMD(단일 명령어 다중 데이터) 방식으로 연산을 병렬 처리하여 성능 향상.압축(Compre..

* 데이터를 검색하는 것은 GPU가 처리할 수 있는 최상의 비 그래픽 작업 중 한 가지일 뿐이다 * 영구 기록이 필요 없게 되어도 사람들이 여전히 데이터베이스를 사용하고 있을 것인가 * 아니면 검색 작업과 인덱스 작업이 데이터베이스를 계속해서 필요로 할 것인가 * 그래프 데이터베이스는 이런 쿼리를 더 쉽게 실행할 수 있게 해준다 * 모든 것을 클라우드 서비스 업체를 믿을 수밖에 없다원문보기: http://www.itworld.co.kr/news/106518

현재 서비스 중인 앱의 기능을 강화하기 위해 다른 회사와 제휴를 맺어 데이터를 정기적으로 받고 있는 것이 있습니다. 제휴사에서 제공한 DB 정의서에 따라 PK, FK 를 설정해서 개발중이었는데, 테스트를 하던중 중대한 문제가 발생하였습니다. PK 로 잡혀 있는 키 값이 제휴사 사정에 의해 변경된다는 것입니다. 이 값이 변경되면, FK 로 연결되어 있는 모든 테이블의 데이터가 변경되어야 하는데, 오라클은 UPDATE CASCADE 기능을 제공하지 않고 있어, 데이터 수정이 불가능 합니다. 이번만 그렇다면, 잠시 FK 제거하고 데이터 변경후 다시 FK 설정을 하면 되는데, 제휴사에서 종종(혹은 자주) 서비스 개선을 위한 작업의 일환(?)으로 변경될 수 있다고 합니다. 더군다나, 운영계 시스템에서는 DDL 에..

빅데이터가 뜨는 것은 스페셜리스트의 시대에서 제너럴리스트의 시대로 이동하는 현상이다.지혜의 시대 > 지식의 시대 > 정보화의 시대 > 빅데이터의 시대로 이동중이다.지식이 없던 시절 몇몇의 지혜를 가진 사람이 세상을 이끌었다. 지식의 시대로 들어와 지혜를 가진 소수 보다 지식을 가진 집단이 세상을 이끌었다.정보화 시대로 들어와 지식을 가진 집단보다 정보를 가진 집단이 세상을 이끌었다.빅데이터는 전혀 관계 없는 A라는 정보와 B 라는 정보가 결합되는 것을 말한다.빅데이터 시대는 모든 것이 예측이 가능한 시대일 것이다. 정보화의 시대에는 목적을 정하고 목적을 이루기 위해 대화를 진행하였으나, 빅데이터 시대에는 대화를 통해 목적을 만들게 될 것이다.