TLX로 GPU 커널 최적화하기: Triton 확장으로 워프 특화·파이프라이닝·공유메모리 직접 제어
메타가 공개한 Triton 확장 TLX 강연을 정리했다. 타일 중심 모델은 그대로 두면서 파이프라이닝과 워프 특화, 공유메모리 관리, 2-CTA 모드를 직접 제어해 cuBLAS급 성능에 접근하는 기법을 사례로 살펴본다.
핵심 내용 읽기 →
AI TOPIC
CUDA 최신 뉴스와 핵심 해설
CUDA 관련 핵심 뉴스와 활용 인사이트 8편을 최신순으로 모았습니다.
eBPF로 GPU 관측하기: PTX에 계측 코드를 심어 워프 단위 실행과 드라이버 정책까지 들여다보는 방법
GPU 스택은 대부분 닫혀 있어 성능 문제의 원인을 짚기 어렵다. 리눅스 커널의 안전한 확장 기술 eBPF를 GPU 커널과 드라이버에 심어 워프 단위 관측과 정책 교체를 시도한 연구 발표를 정리했다.
핵심 내용 읽기 →
GPU 학습 성능 최적화: CPU-GPU 동기화 제거부터 커널 퓨전, 커스텀 CUDA 커널까지
제인스트리트 엔지니어들이 GPU 학습을 느리게 만드는 세 가지 병목을 짚었다. 숨은 CPU-GPU 동기화와 메모리 대역폭, 커널 실행 오버헤드를 프로파일러로 찾아내고 커스텀 커널로 20밀리초를 30마이크로초까지 줄인 과정을 정리했다.
핵심 내용 읽기 →
CUDA 행렬곱 최적화 단계별 정리: 타일링부터 텐서코어와 CUTLASS 추상화까지
GPU 행렬곱 커널을 가장 느린 형태부터 직접 고쳐 나가며 cuBLAS 성능에 다가간 기록이다. 메모리 접근 정렬, 타일링, 벡터화 로드, 텐서코어, 더블 버퍼링을 거쳐 CUTLASS가 왜 필요한지 짚는다.
핵심 내용 읽기 →
CuTe 레이아웃 대수 해설: GPU 커널의 데이터 배치를 범주론으로 다시 읽는 법
GPU MODE 강연에서 Colfax 연구팀이 CuTe 레이아웃의 모양과 스트라이드, 합성·여집합·논리적 분할을 차례로 정리하고, 이를 범주론의 튜플 사상으로 바꿔 계산하는 방법과 남은 과제까지 짚었다.
핵심 내용 읽기 →
PyTorch torch.compile CUDA 스트림 지원: 비동기 실행과 활성값 오프로딩으로 메모리 줄이기
메타 엔지니어가 발표한 torch.compile의 CUDA 스트림 지원 정리. 스트림 컨텍스트에서 그래프가 끊기던 문제를 Dynamo·AOT Autograd·Inductor 세 단계에서 어떻게 풀었는지와, 활성값 오프로딩의 실측 결과를 다뤘다.
핵심 내용 읽기 →
GPU 작동 원리 완전 정리: CUDA 코어와 텐서 코어, AI 연산이 빨라지는 진짜 이유
GPU와 CPU의 차이를 주방에 비유해 풀어낸 해설. CUDA 코어와 텐서 코어의 역할, 메모리 대역폭이 진짜 병목인 이유, 게임 렌더링과 AI 학습이 같은 수학 문제인 이유, 엔비디아 CUDA 생태계의 힘까지 정리했다.
핵심 내용 읽기 →
트라이톤(Triton) 콘퍼런스 정리: CUDA 대신 파이썬으로 GPU 커널 최적화하기
머신러닝 엔지니어가 직접 참관한 트라이톤 콘퍼런스 현장 요약. CUDA와 트라이톤의 근본적인 차이부터 헬리온·글루온·TLX·라이거로 이어지는 GPU 커널 도구 계층, 그리고 개발 생산성과 성능 사이의 트레이드오프까지 정리했다.
핵심 내용 읽기 →