KDST

오늘 소개드릴 논문은 "Zero-shot Adversarial Quantization"으로 CVPR 2021에 oral paper로 accept된 논문입니다. 해당 논문을 참조하시려면 논문링크와 github을 참고해주세요 관련논문 DFQ: Data-Free Quantization Through Weight Equalization and Bias Correction ACIQ: Analytical Clipping For Integer Qunatization of Neural Networks ZeroQ: A Novel Zero shot Quantization Framework GDFQ : Generative Low-bitwidth Data Free Quantization Overview 양자화 논문이지만 새로..

Generative model(생성 모델) 기존의 데이터셋 X의 분포를 근사하는 새로운 data를 생성하는 것으로 기존의 데이터셋 x이 나타날 수 있는 확률 분포 p(x)를 구하는 것이라고 생각할 수 있습니다. 이는 기존의 discriminative model과는 차이점이 있는데, discriminative model이란 데이터 x가 주어졌을때, 그에 해당하는 레이블 Y가 나타날 수 있는 조건부 확률 P(x|y)를 구하는 것 입니다. 그렇기 때문에 discriminative model은 레이블 y정보가 있어야 하기 때문에 supervised learning의 범주에 속합니다. 이와 반대로 generative model은 레이블 y에 대한 정보없이 데이터 x를 주고 P(x|x) = P(x)로 근사하는 확률..

본 게시글은 Generative Adversarial Networks(GAN)를 공부하며 흥미로웠던 CycleGAN에 대한 포스팅입니다. 해당 논문은 버클리 AI Research (BAIR) lab에서 진행된 연구로, 2017년 ICCV에 accept되었습니다. 해당 논문을 참조하시려면 논문 링크를 클릭해주세요. CycleGAN은 training set이 {X,Y} 처럼 paired data가 아닌 unpaired된 data인 경우, source 도메인 X에서 target 도메인 Y로 이미지를 변환하는 image-to-image translation 방식입니다. 아래의 예시는 CycleGAN을 활용했을때의 두가지의 도메인에 대해서 이미지를 translation 하는 예시입니다. 이러한 두가지 도메인에 대..

저희 팀이 참여하는 "고위험 재난의료 및 산업재해 대응기술 개발" 과제가 선정되었습니다. 과제 내에서 저희 팀의 역할은 센서로부터의 생체 신호를 딥러닝 기술 등에 기반한 시계열 분석으로 중증도 예측 등으로 활용하는 내용은 맡게 되었습니다. 재미있는 주제이고 과제 규모도 적지 않은 만큼 열심히 수행해서 좋은 결과 내도록 최선을 다할 생각입니다.

안녕하세요, KDST에서 인턴 연구원으로 근무했던 김우정입니다. 이번에 김수현 박사님, 박민철 인턴 연구원님, 전근석 학연님과 함께 제출했던 논문이 NeurIPS (NIPS) 2020에 poster presentation으로 accept 되었습니다. 논문 제목은 "Neuron Merging: Compensating for Pruned Neurons" 입니다. 기존 structured network pruning 논문들에서는 신경망에서 덜 중요한 뉴런이나 필터를 제거하고 accuracy를 회복하기 위하여 fine-tuning을 합니다. 하지만 이때 제거된 뉴런에 상응하는 다음 layer의 차원 또한 제거됩니다. 따라서 pruning 직후에 다음 layer의 output feature map이 원래 모델과 ..

이제 https://kdst.re.kr 또는 http://www.kdst.re.kr 주소로도 저희 블로그에 접속하실 수 있습니다. 물론 기존 그대로 kdst.tistory.com 주소도 동작합니다.

KDST 팀에서 대학원생(석사, 박사, 석박 통합)을 모집합니다. 공고는 아래 링크에서 확인하실 수 있으며, 기간은 8.24(월) 까지입니다. www.kist.re.kr/kist_web/?state=view&sub_num=3884&searchKind=&searchWord=&v_pagesize=10&v_page=1&idx=6125&seqNo=1&reportMediaTypeCode= 세부전공에서 영상미디어연구단 부서 아래에 "딥러닝 경량화/가속화, 딥러닝 한계 극복 모델, 시계열 데이터 분석, 지능형 첨단 미디어"를 선택하시면 됩니다. 고려대, 연세대 등의 학위를 받으면서 KIST에서 실험실 생활할 수 있는 좋은 기회입니다. KIST가 대학교들과 공동 운영하고 있는 학연과정이며, 아래에 자세히 소개되어 있습..

본 게시글에서는 얼마전 진행되었던 2020 CVPR에서 인상깊었던 논문인 "Dreaming to Distill: Data-free Knowledge Transfer via DeepInversion"을 소개해드리고자 합니다. Training dataset에 대한 사전 정보 없이 network inversion 방식을 통해 noise 이미지에서 해당 클래스에 속하는 이미지를 생성하는 방법론에 대한 논문입니다. 논문 링크는 이곳을 클릭해주세요. 논문 포스팅에 앞서 Neural network inversion 방법론에 대해 간략히 소개합니다. 기존에 모델을 학습시켰던 training dataset에 대한 정보가 없을때, training dataset 이미지의 input space를 복원하는 방법론 중에는 Neu..

개요: 요즘 스마트 엣지 혹은 엣지 단에서의 고속 스트림 프로세싱과 같은 표현들이 많이 보입니다. 데이터 처리 파이프라인에서, 보통 엣지 디바이스들은 센서 네트워크 등의 데이터 수집 및 전달, 그리고 서버 혹은 클라우드는 머신 러닝 및 딥 러닝 등의 알고리즘으로 데이터를 분석하는 것으로 역할이 나뉘었습니다. 따라서, 앞에서 언급한 새로이 보이는 표현들이 왜 점점 더 자주 보이는지 궁금해 하시는 분들이 많을 것 같습니다. 이번 포스팅에서는 왜 이러한 새로운 시스템 디자인 트렌드가 생겼는지 살펴보고, 국내외 스마트 엣지 플랫폼에는 현재 어떠한 것들이 있는지 살펴 보겠습니다. 스마트 엣지와 스마트 시티, 홈, 팩토리 플랫폼: 인공지능을 이용해서 가정, 공장, 그리고 주거 및 인프라를 최적화하여 가용성을 높일 ..

본 포스팅은 NIPS2018에 발표된 Knowledge distllation 연구 결과를 리뷰하도록 하겠습니다. 포스팅에 앞서, 주제와 관련된 모든 연구 내용은 Knowledge Distillation by On-the-Fly Native Ensemble을 참조했음을 먼저 밝힙니다. Preliminary Knowledge distillation은 기계 학습 모델의 인상적인 성능 향상을 달성한 방법 중 하나입니다. 2014년 Hinton 교수 (NIPS 2014 Workshop)가 재해석한 distillation에 의하면 representation capacity가 큰 teacher model을 smaller capacity를 가진 student model이 aligning 할 수 있도록 하면, stude..