즐거운 사람과 컴퓨터 즐거운 사람과 컴퓨터

대규모 AI 분산 환경의 네트워크 병목이 대역폭(Throughput)에서 극단적인 마이크로 지연 시간(Tail Latency)으로 이동했다.과거 모델 학습(Training) 중심 워크로드는 수 기가바이트 단위의 가중치와 그래디언트를 전송하는 벌크 트래픽이 지배했다. 반면 최신 분산 추론과 복합 에이전트 시스템은 수십 바이트에서 수 킬로바이트 수준의 소형 메타데이터, 분산 KV 캐시 동기화, 라운드별 배리어 동기화(Barrier Synchronization)를 쉼 없이 교환한다.수백 개의 최신 GPU가 밀리초 단위로 연산을 마쳐도 단 하나의 네트워크 패킷 지연 때문에 전체 노드가 멈춘다. 스탠포드 대학교 존 오스터하우트(John Ousterhout) 교수가 이끄는 연구진은 반세기 동안 인터넷을 지탱한 TC..