Apple, DeepPCR 알고리즘 발표 : 신경망에서 순차적 연산 병렬화

 

애플 연구진이 DeepPCR을 공개 : 신경망의 추론과 훈련 속도를 높이기 위해 일반적으로 순차적인 연산을 병렬화하는 새로운 머신러닝 알고리즘 발표

 

인공 지능과 딥 러닝 분야의 발전으로 인해 몇 가지 새로운 혁신이 가능해졌습니다. 텍스트 또는 사진 합성, 분할, 분류와 같은 복잡한 작업은 신경망의 도움으로 성공적으로 처리되고 있습니다. 그러나 신경망 훈련은 컴퓨팅 요구 사항으로 인해 적절한 결과를 얻는 데 며칠 또는 몇 주가 걸릴 수 있습니다. 특히 복잡한 디자인의 경우 사전 학습된 모델의 추론 속도가 느려지는 경우도 있습니다.

병렬화 기법은 심층 신경망의 훈련과 추론 속도를 높여줍니다. 이러한 방법이 널리 사용되고 있지만, 신경망의 일부 연산은 여전히 순차적으로 수행됩니다. 확산 모델은 일련의 노이즈 제거 단계를 통해 출력을 생성하며, 전진 및 후진 패스는 레이어별로 이루어집니다. 단계 수가 증가함에 따라 이러한 프로세스의 순차적 실행은 계산 비용이 많이 들기 때문에 잠재적으로 계산 병목 현상이 발생할 수 있습니다.

이 문제를 해결하기 위해 Apple의 연구팀은 신경망 훈련 및 추론 속도를 높이기 위한 고유한 알고리즘인 DeepPCR을 도입했습니다. DeepPCR은 일련의 L 단계를 특정 방정식 집합에 대한 해답으로 인식하는 방식으로 작동합니다. 연구팀은 이 해답을 찾기 위해 병렬 순환 감소(PCR) 알고리즘을 사용했습니다. 순차적 프로세스의 계산 비용을 O(L)에서 O(log2 L)로 줄이는 것이 DeepPCR의 가장 큰 장점입니다. 이러한 복잡성 감소의 결과로 속도가 향상되며, 특히 L의 값이 높을수록 속도가 빨라집니다.

연구팀은 DeepPCR의 복잡성 감소에 대한 이론적 주장을 검증하고 속도 향상을 위한 조건을 결정하기 위해 실험을 수행했습니다. 연구팀은 다층 퍼셉트론에서 전진 및 후진 패스를 병렬화하기 위해 DeepPCR을 적용하여 전진 패스의 경우 최대 30배, 후진 패스의 경우 최대 200배의 속도 향상을 달성했습니다.

연구팀은 또한 1024개의 레이어로 구성된 레스넷을 훈련하는 데 DeepPCR을 사용하여 적응성을 입증했습니다. 이 훈련은 DeepPCR 덕분에 최대 7배 더 빠르게 완료할 수 있습니다. 이 기술은 확산 모델의 생성 단계에 사용되어 순차적 접근 방식보다 11배 빠른 생성을 생성합니다.

 

연구팀의 주요 공헌을 요약하면 다음과 같습니다.

1. 신경망 훈련 및 추론에서 순차적 프로세스를 병렬화하는 혁신적인 접근 방식인 DeepPCR이 도입되었습니다. 이 방법의 주요 특징은 계산 복잡도를 O(L)에서 O(log2 L)로 낮출 수 있다는 점입니다(여기서 L은 시퀀스 길이).

2. DeepPCR은 다층 퍼셉트론(MLP)에서 순방향 및 역방향 패스를 병렬화하는 데 사용되었습니다. 이 기술의 성능에 대한 광범위한 분석도 수행되어 기본 설계 매개변수를 고려하면서 이 방법의 고성능 체제를 정확히 찾아냈습니다. 이 연구에서는 속도, 솔루션의 정확성, 메모리 사용량 간의 상충 관계도 조사했습니다.

3. DeepPCR은 MNIST에 대한 심층 ResNet 훈련과 MNIST, CIFAR-10, CelebA 데이터 세트에 대해 훈련된 확산 모델 생성 속도를 높이는 데 사용되었습니다. 그 결과, DeepPCR은 상당한 속도 향상을 보여줬으며, ResNet 훈련의 경우 7배, 확산 모델 생성의 경우 11배 빠른 속도로 데이터를 복구하면서도 여전히 순차적 기법과 비슷한 결과를 생성했습니다.