퍼플렉시티, AWS에서 고성능 GPU 메모리 전송 기술 개발 성공 > AI포럼

퍼플렉시티, AWS에서 고성능 GPU 메모리 전송 기술 개발 성공

인공지능 검색 엔진 퍼플렉시티(Perplexity)가 아마존 웹 서비스(AWS)의 세이지메이커 하이퍼포드(Sagemaker Hyperpod) 플랫폼에서 GPU 메모리를 효율적으로 전송하기 위한 고성능 네트워킹 솔루션을 자체적으로 개발했다고 발표했습니다. 이 기술은 최대 3200Gbps에 달하는 네트워크 대역폭을 최대한 활용하는 것을 목표로 했습니다.

주요 내용:

• GPU 메모리 전송의 중요성: 대규모 언어 모델(LLM)과 같은 AI 모델을 효율적으로 운영하려면 여러 GPU 간에 데이터를 빠르게 주고받는 것이 매우 중요합니다.
• 기존 라이브러리의 한계 극복: 퍼플렉시티는 엔비디아(NVIDIA)의 NCCL 라이브러리와 같은 기존 솔루션이 자신들의 특정 요구사항에 완벽하게 맞지 않아, 맞춤형 솔루션 개발에 나섰습니다.
• RDMA 기술 활용: 기존 인터넷 통신 방식(TCP/IP) 대신 '원격 직접 메모리 접근(RDMA)' 기술을 사용하여 고성능 네트워크에서 데이터 전송 속도를 크게 향상시켰습니다. RDMA는 CPU 개입 없이 네트워크 어댑터가 직접 데이터를 전송하는 방식입니다.
• 하드웨어 최적화: 퍼플렉시티는 하드웨어 구조를 깊이 이해하고, 작업 대기열 관리, 네트워크 예열, 멀티 스레딩, NUMA(Non-Uniform Memory Access)를 고려한 자원 할당 등 다양한 최적화 기술을 적용했습니다.
• 놀라운 성과: 이러한 노력 덕분에 퍼플렉시티는 이론상 최대 대역폭의 97.1%에 해당하는 3,108Gbps의 전송 성능을 달성하는 데 성공했습니다. 이는 거의 이론적인 최고 속도에 근접한 수치입니다.

이번 퍼플렉시티의 성과는 특정 요구사항을 충족하기 위해 맞춤형 솔루션이 필요할 수 있으며, 올바른 접근 방식을 통해 AWS와 같은 클라우드 환경에서도 이론에 가까운 네트워크 성능을 달성할 수 있음을 보여줍니다.

관련 링크:

• 고성능 GPU 메모리 전송 on AWS (Perplexity AI Blog)