Chapter    2-2
딥러닝 커널 및 활성화 데이터
인코딩/디코딩 소프트웨어

●

●

●


최병호  ||  한국전자기술연구원 본부장


I. 결과물 개요

개발목표시기 2021. 12. 기술성숙도 (TRL) 개발 전 개발 후
4 7
결과물 형태 SW/HW-IP (Module) 검증방법 자체검증 & 3자검증
Keywords 딥러닝, 커널, 활성화, 인코딩, 디코딩, Deeplearning, kernel, activation, encoding, decoding
외부기술요소 100% 자체 개발기술 권리성 특허, SW/HW-IP(Module)


 

*  본 내용은 최병호 본부장(☎ 031-739-7470, bhchoi@keti.re.kr)에게 문의하시기 바랍니다.

**  본 내용은 필자의 주관적인 의견이며 IITP의 공식적인 입장이 아님을 밝힙니다.

***  정보통신기획평가원은 현재 개발 진행 및 완료 예정인 ICT R&D 성과 결과물을 과제 종료 이전에 공개하는 “ICT R&D 사업화를 위한 기술예고”를 2014년부터 실시하고 있는
  바, 본 칼럼에서는 이를 통해 공개한 결과물의 기술이 전, 사업화 등 기술 활용도 제고를 위해 매주 1~2건의 관련 기술을 소개함



II. 기술의 개념 및 내용



1. 딥러닝 네트워크의 커널/활성화 데이터 압축을 위한 인코딩/디코딩 기술

 

딥러닝 가속기 연산에 필요한 커널/활성화 데이터의 외부 메모리 사용량을 줄이고, 온-칩 메모리 사용량을 확보해 초저전력 딥러닝 가속기 설계를 위한 압축 기술
- 커널 데이터 인코더(SW)/커널 데이터 디코더(HW)
- 활성화 데이터 인코더(HW)/활성화 데이터 디코더(HW)
- 비트스트림 파서(SW)


 


III. 국내외 기술 동향 및 경쟁력

1. 기술의 특성 및 성능

본 기술은 저전력 반도체를 타겟으로 하여 RLC(Run Length Coding) 및 허프만 코딩 기법에 기반한 저복잡도 엔트로피 인/디코더 개발
커널 데이터는 허프만 인코딩, 활성화 데이터는 RLC를 사용하는 등 데이터의 특성에 맞는 엔트로피 기술 적용
저복잡도의 엔트로피 부호화기의 성능을 보상하기 위해 데이터 군집 기술을 사용하여 개별 데이터에 최적화된 엔트로피 테이블 설계
네트워크 레이어의 종류 및 가중치/활성화 데이터 특징에 최적화된 적응적인 양자화 기법 적용

2. 경쟁기술/대체기술 동향 및 현황

미국 스탠포드 대학은 대용량의 커널 데이터를 압축하기 위해 프루닝, 양자화, 엔트로피 코딩 기법을 기반한 Deep Compression 기술을 제안
중국 북경 대학은 딥러닝 커널 데이터를 압축하기 위해 DCT를 이용하여 주파수 영역으로 변환하는 기법을 사용, 약 39배의 압축율을 달성
MPEG은 현재 커널 데이터의 압축을 위한 표준인 Nueral Network Representation(NNR)을 진행하고 있으며 2021년 완성할 예정임
독일 HHI는 커널 데이터를 효율적으로 압축하기 위해 Context adaptive Binary Arithmetic Coding(CABAC) 기반의 엔트로피 부호화기인 DeepCABAC를 개발함

3. 우수성 및 차별성

경쟁기술 본 기술의 우수성/차별성
- 커널 데이터 및 활성화 데이터를 압축하기 위한 기술은 크게 양자화
  기술과 엔트로피 부호화 기술로 분류할 수 있음
- 양자화 기술은 학습 후 양자화 기술(Post training quantization)과
  학습 인지 양자화 기술(Quantization aware training)이 있음
- 엔트로피 부호화 기술로 DeepCABAC이 가장 성능이 우수하나 복잡한
  단점이 있음
- RLC 및 허프만 코딩에 기반하여 경쟁 기술 대비
    저복잡도/고효율을 갖는 엔트로피 부호화기를 개발
- 레이어 별 적응적으로 양자화 기법을 적용함으로써
    손실 없이 네트워크 경량화를 달성


4. 표준화 및 특허

표준화 동향
- 2019년 1월, MPEG 125차 회의에서 NNR(Neural Network Representation)이라고 하는 딥러닝 네트워크 모델 데이터 압축과 관련한
  국제 표준화가 시작됨
- 2020년 6월, HHI(독일), Nokia(핀란드), Tencent(중국), Interdigital(미국), 인시그널(한국), 항공대학교/전자부품연구원(한국) 등 20여개 기관에서
  활발한 표준화가 진행 중

 

관련 보유 특허

No. 국가 출원‧등록번호 상태 명칭
1 대한민국 10-2019-0164757 출원  계층적 파일 구조를 가진 딥러닝 네트워크 모델 데이터 인코딩/디코딩 장치 및 방법
2 대한민국 10-2019-0164756 출원  심층 신경망 모델의 가중치 부호화 및 복호화 방법 및 장치

 


IV. 국내외 시장 동향 및 전망

1. 국내 시장 동향 및 전망

인공지능 반도체(모바일 엣지 시스템) 시장은 주로 Google, Qualcomm, 화웨이 등 미국, 중국 기업이 중심이며, 삼성전자가 메모리 반도체 1위에 이어 시스템 반도체의 선두가 되기 위해 막대한 투자를 하고 있어 수요처가 다양함
MarketsAndMarkets에서 2017년 발표한 ‘Mobile Edge Computing Market by Component, Application, Organization Size and Region -Global Forecast to 2022’에서는 세계 시장이 연평균 33.5% 성장할 것으로 예측하고, Gartner는 시스템 반도체 시장이 연평균 5.4% 성장할 것으로 전망함

2. 제품화 및 활용 분야

활용 분야(제품 / 서비스) 제품 및 활용 분야 세부내용
모바일 엣지 디바이스 감시 카메라, 인공지능 스피커, 웨어러블 디바이스 및 소비자 가전

 


V. 기대효과

1. 기술도입으로 인한 경제적 효과

본 과제에서 개발된 초경량 딥러닝 네트워크 구조, 딥러닝 데이터 압축/복원 등의 원천 기술을 국내가 강점을 가지고 있는 모바일 디바이스에 더함으로써 현재 미국·중국에 뒤쳐진 인공지능 분야에서의 기술적인 우위를 확보할 것으로 기대됨

2. 기술사업화로 인한 파급효과

본 과제의 결과로 인한 주요 부품의 국산화는 현제 중국에 밀려 고전하고 있는 국내 팹리스 업체들에게 새로운 시장 진입의 기회를 제공할 것으로 기대됨
향후 막대한 시장 성장이 예상되는 모바일 엣지 시스템용 인공지능 반도체 시장에서의 점유율 확대와 기술 로열티 및 생태계 확대 등으로 인한 직간접적 경제적 파급효과가 매우 클 것으로 예상되며, 또한 이로 인한 많은 양질의 일자리가 창출될 것으로 기대됨

* 본 자료는 공공누리 제2유형 이용조건에 따라 정보통신기획평가원의 자료를 활용하여 제작되었습니다.