반응형 KV캐시1 [GPU 프로그래밍/CUDA] AI에 활용되는 행렬연산 최적화 (1편) 1. AI의 기반을 이루는 연산은 행렬 곱셈입니다.ChatGPT, Gemini, Claude, Grok 모두 Deep Neural Network (DNN)로 이루어져 있으며DNN에서 수행하는 대부분의 연산은 행렬 곱셈(matrix multiplication)입니다. 2. AWS의 서버 효율이 1%만 개선되어도 연간 약 6천억 원의 비용 절감 효과가 있음을 고려하면빅테크에서 행렬 연산 최적화는 천문학적인 경제적 가치가 있습니다. 3. 행렬 연산의 특징: n * n 행렬 2개를 곱한다면, 원소의 수는 O(n^2)이지만 연산의 횟수는 O(n^3)입니다.즉, 동일한 원소가 여러 번 사용된다는 특징이 있습니다. 동일한 원소가 여러 번 사용되므로, locality를 최대화하여 cache miss를 최소화하는 것이 .. 2026. 5. 12. 이전 1 다음 반응형
