큰사진보기
|
| ▲ KAIST PIM반도체 연구센터와 인공지능반도체 대학원 유회준 교수 연구팀이 400mW 초저전력을 소모하면서 0.4초 초고속으로 GPT 등 거대언어 모델(LLM)을 처리할 수 있는 인공지능 반도체인 '상보형-트랜스포머(Complementary-Transformer)'를 삼성 28나노 공정을 통해 세계 최초로 개발했다. 사진은 유회준 교수(사진 오른쪽에서 두 번째)와 김상엽 박사(사진 왼쪽)가 이번에 개발한 상보형-트랜스포머를 시연하고 있는 모습. |
| ⓒ 유창재 | 관련사진보기 |
400mW(밀리와트) 초저전력을 소모하면서 0.4초 초고속으로 GPT 등 거대언어 모델(Large Language Model, LLM)을 처리할 수 있는 인공지능(AI) 반도체인 '상보형-트랜스포머(Complementary-Transformer)'가 삼성 28나노 공정을 통해 세계 최초로 개발됐다.
과학기술정보통신부(장관 이종호, 아래 과기정통부)는 6일 오전 11시 정부세종청사에서 브리핑을 통해 "KAIST(총장 이광형) PIM반도체 연구센터와 인공지능반도체 대학원 유회준 교수 연구팀이 그동안 다량의 GPU와 250와트의 전력소모를 통해 구동되는 GPT 등 거대 언어 모델(LLM)을 4.5mm x 4.5mm의 작은 한 개의 AI 반도체 칩 상에서 초저전력으로 구현하는 것에 성공했다"고 밝혔다.
과기정통부는 "상보형 트랜스포머란 스파이킹 뉴럴 네트워크(SNN)과 심층 인공신경망(DNN)을 선택적으로 사용하여 트랜스포머 기능을 구현하는 것"이라며 "특히 인간 뇌의 구조와 동작을 모사하는 뉴로모픽 컴퓨팅(Neuromorphic Computing) 기술, 즉 스파이킹 뉴럴 네트워크(Spiking Neutral Network, SNN)을 활용하여 트랜스포머 동작을 구현한 것이 특징"이라고 설명했다.
스파이킹 뉴럴 네트워크(SNN)는 뉴로모픽 컴퓨팅의 한 형태로, 뇌의 뉴런이 스파이크라는 시간에 따른 신호를 사용해 정보를 처리하는 방식이며, 생물학적 뇌의 작동 방식에 가까워 에너지 효율이 높고, 실시간 처리와 복잡한 시계열 데이터 분석에 적합하다.
큰사진보기
|
| ▲ 스파이킹 뉴럴 네트워크와 심층 신경망 사이의 상보적 특성 |
| ⓒ 과학기술정보통신부 제공 | 관련사진보기 |
과기정통부에 따르면, 기존의 뉴로모픽 컴퓨팅 기술은 심층인공신경망의 하나인 합성곱신경망(Convolutional Neural Network, CNN)에 비해 부정확하며 주로 간단한 이미지 분류 작업만 가능했다고 한다. 합성곱신경망(CNN)은 이미지 인식, 비디오 분석, 이미지 분류와 같은 시각적 데이터 처리에 사용되는 딥러닝 모델로써, 여러 인공 신경망 계층을 통해 이미지의 특징을 추출하고, 이를 분류하거나 인식하는 데 사용된다.
이에 연구팀은 뉴로모픽 컴퓨팅 기술의 정확도를 CNN과 동일 수준으로 끌어올리고, 단순 이미지 분류를 넘어 다양한 응용 분야에 적용할 수 있는 상보형-심층신경망(C-DNN, Complementary-DNN)을 제안했다.
큰사진보기
|
| ▲ 상보형(Complementary)-심층신경망(DNN) 2023년 국제고체회로설계학회(ISSCC)에 제안된 상보형-심층신경망 |
| ⓒ 과학기술정보통신부 제공 | 관련사진보기 |
큰사진보기
|
| ▲ 상보형(Complementary)-트랜스포머 칩(Chip) 뉴로모픽 컴퓨팅을 활용해 GPT-2와 같은 거대 언어 모델 응용을 성공적으로 구동한 거대 언어 모델 구동용 AI 반도체로써, 기존 GPU 보다 전력은 625배 효율적이고, 칩 면적도 동일공정으로 환산하였을 때 0.024배 작은 인공지능 반도체. |
| ⓒ 과학기술정보통신부 제공 | 관련사진보기 |
과기정통부는 "상보형 심층신경망 기술은 작년 2월에 개최된 국제고체회로설계학회(ISSCC)에서 이번 연구의 제1저자인 김상엽 박사가 발표한 것"이라며 "작년 연구에서는 이러한 특징을 활용해 작은 입력값들만을 스파이킹 뉴럴 네트워크(SNN)에 할당하고 큰 값들은 심층 인공 신경망(DNN)에 할당해 전력 소모를 최소화했다"고 설명했다.
이어 "이번 연구는 작년의 상보형-심층신경망 기술을 거대 언어 모델에 적용함으로써 초저전력·고성능의 온디바이스 AI가 가능하다는 것을 실제로 입증한 것"이라며 "그동안 이론적인 연구에만 머물렀던 연구내용을 세계 최초로 인공지능반도체 형태로 구현한 것에 의의가 있다"고 강조했다.
심층인공신경망(DNN)이란 여러 신경망 층으로 구성되어 복잡한 패턴을 인식하고 학습할 수 있는 AI모델로, 추상적인 특성을 계층적으로 학습하는 딥러닝에 사용된다.
큰사진보기
|
| ▲ 심층인공/스파이킹 신경망 동종 코어 이 그림은 복잡한 신경망 연산을 수행하기 위해 설계된 하이브리드 심층인공/스파이킹 신경망 코어의 구조를 보여준다. |
| ⓒ 과학기술정보통신부 제공 | 관련사진보기 |
큰사진보기
|
| ▲ 출력 스파이크 추측 방식 이 그림은 스파이킹 신경망(Spiking Neural Network, SNN)의 입력 스파이크 패턴 처리와 관련된 샘플링 기반 접근 방법을 설명하고 있다. 이 접근 방법은 신경망의 연산량과 에너지 소비를 줄이는 데 중점을 두고 있다. 전체 시간 영역에 분포된 입력 스파이크 패턴 중 일부만을 샘플링하여 스파이킹 신경망을 구동하는 새로운 방식이다. |
| ⓒ 과학기술정보통신부 제공 | 관련사진보기 |
특히 연구팀은 뉴로모픽 컴퓨팅의 실용적인 확장 가능성에 중점을 두고 문장 생성, 번역, 요약 등과 같은 고도의 언어 처리 작업을 성공적으로 수행할 수 있는지를 연구했는데, 그 과정에서 가장 큰 관건은 '뉴로모픽 네트워크에서 높은 정확도 달성'이었다.
일반적으로 뉴로모픽 시스템은 에너지 효율은 높지만 학습 알고리즘의 한계로 인해 복잡한 작업을 수행할 때 정확도가 떨어지는 경향이 있으며, 거대언어 모델과 같이 높은 정밀도와 성능이 요구되는 작업에서 큰 장애 요소로 작용했다.
이런 문제를 해결하기 위해 연구팀은 독창적인 DNN-to-SNN 등가변환기법을 개발해 적용했다. 기존의 심층 인공 신경망(DNN) 구조를 스파이킹 뉴럴 네트워크(SNN)로 변환하는 방법의 정확도를 더욱 끌어올리기 위해 스파이크의 발생 문턱값을 정밀 제어하는 방법이다. 이를 통해 SNN의 에너지 효율성을 유지하면서도 심층 인공 신경망(DNN) 수준의 정확도를 달성할 수 있었다고 한다.
또한 연구팀은 엣지 디바이스에서 언어 생성을 위해 널리 사용되는 GPT-2 거대(Large) 모델의 708M개에 달하는 파라미터를 191M개로 줄였으며, 번역을 위해 사용되는 T5(Text–to-Text Transfer Transformer)모델의 402M개에 달하는 파라미터 역시 동일한 방식을 통해 76M개로 줄일 수 있었다. 이런 압축을 통해 언어 모델의 파라미터를 외부 메모리로부터 불러오는 작업에 소모되는 전력을 약 70% 감소시키는데 성공했다.
큰사진보기
|
| ▲ 3단계 파라미터 압축법 이 그림은 C-Transformer에서 채택한 외부 메모리 접근 (EMA:External Memory Access) 횟수를 줄이는 3단계 파라미터 압축법을 설명한다. 1단계는 빅-리틀 네트워크, 2단계는 암시적 가중치 생성이며 3단계는 부호 압축이다. |
| ⓒ 과학기술정보통신부 제공 | 관련사진보기 |
그 결과, 상보형-트랜스포머는 전력 소모를 GPU(앤비디아(NVIDIA) A100) 대비 625배만큼 줄이면서도 GPT-2 모델을 활용한 언어 생성에는 0.4초의 고속 동작이 가능하며, T5 모델을 활용한 언어 번역에는 0.2초의 고속 동작이 가능한 성과를 거뒀다.
동시에 연구팀은 파라미터 압축에 따른 정확도 하락을 방지하기 위해 경량화 정도에 따른 정확도 하락률을 반복 측정해 최적화했다. 언어 생성의 경우 1.2 분기계수(perplexity, 언어모델의 생성 성능을 판단하기 위한 지표 중 하나로 낮을수록 언어 모델이 잘 학습되었음을 의미)만큼 정확도가 감소했으나, 이는 생성된 문장을 사람이 읽기에 어색함을 느끼지 않을 수준이다.
연구팀은 이번 연구 성과에 대해 "모바일 장치 등 에너지 제약이 높은 환경에서도 정확하게 거대 언어모델을 구동할 수 있어 온디바이스AI 구현을 위한 최적의 기술"이라며 "이번 연구는 거대모델의 파라메타 수를 줄이는 데에만 집중된 최근 연구 트렌드와 달리 파라미터 수 감소에 더해 초저전력 처리가 가능한 뉴로모픽 컴퓨팅을 거대언어 모델 처리에 적용하여 에너지 효율을 극대화하였다는 점이 획기적"이라고 의미를 부여했다.
향후 연구팀은 뉴로모픽 컴퓨팅을 언어 모델에 국한하지 않고 다양한 응용 분야로 연구범위를 확장할 계획이며, 상용화에 관련된 문제점들도 파악해 개선할 예정이다.
큰사진보기
|
| ▲ 상보형-트랜스포머 데모 이 그림은 상보형-트랜스포머를 활용한 대형 언어 모델(Large Language Model, LLM) 데모 시연의 모습을 보여준다. C-Transformer는 다양한 언어 처리 작업을 위한 전용 하드웨어 가속기를 사용하여, 거대 언어 모델의 실시간 처리 능력을 향상시킨 것으로 보인다. 이미지에는 네 개의 데모 시나리오가 포함되어 있다: |
| ⓒ 과학기술정보통신부 제공 | 관련사진보기 |
유회준 KAIST 전기및전자공학부 교수는 "이번 연구는 기존 인공지능반도체가 가지고 있던 전력 소모 문제를 해소했을 뿐만 아니라, GPT-2와 같은 실제 거대언어모델 응용을 성공적으로 구동했다는데 큰 의의가 있다"면서 "뉴로모픽 컴퓨팅은 인공지능시대에 필수적인 초저전력·고성능 온디바이스AI의 핵심기술인만큼 앞으로도 관련 연구를 지속할 것"이라고 말했다.
전영수 과기정통부 정보통신산업정책관은 "이번 연구성과는 인공지능반도체가 NPU와 PIM을 넘어 뉴로모픽 컴퓨팅으로 발전할 수 있는 가능성을 실제로 확인했다는 것에 큰 의미가 있다"며 "지난 1월 대통령 주재 반도체 민생토론회에서 AI반도체의 중요성이 강조되었듯이, 앞으로도 이러한 세계적인 연구성과를 지속적으로 낼 수 있도록 적극적으로 지원하겠다"고 전했다.
한편, 김상엽 박사가 제1저자로 참여한 이번 연구는 지난 2월 19일부터 23일까지 미국 샌프란시스코에서 개최된, '반도체 설계 올림픽'으로 불리는 국제고체회로설계학회(ISSCC)에서 발표 및 시연됐다.
ISSCC는 반도체 집적회로 관련 학회 중 세계적으로 가장 큰 규모와 높은 권위를 자랑하는 학회로 1954년 첫 개최됐으며, 올해로 70주년를 맞았다. 매년 30여 개국에서 3000명 이상의 연구자가 참여하며, 삼성·SK하이닉스·엔비디아, TSMC 등은 신기술 발표의 장으로 활용하고 있다.
큰사진보기
|
| ▲ 김상엽 박사가 지난 2월 19일부터 23일까지 미국 샌프란시스코에서 개최된, '반도체 설계 올림픽'으로 불리는 국제고체회로설계학회(ISSCC)에서 발표하고 있다. |
| ⓒ 과학기술정보통신부 제공 | 관련사진보기 |