KDST

본 게시글은 Generative Adversarial Networks(GAN)를 공부하며 흥미로웠던 CycleGAN에 대한 포스팅입니다. 해당 논문은 버클리 AI Research (BAIR) lab에서 진행된 연구로, 2017년 ICCV에 accept되었습니다. 해당 논문을 참조하시려면 논문 링크를 클릭해주세요. CycleGAN은 training set이 {X,Y} 처럼 paired data가 아닌 unpaired된 data인 경우, source 도메인 X에서 target 도메인 Y로 이미지를 변환하는 image-to-image translation 방식입니다. 아래의 예시는 CycleGAN을 활용했을때의 두가지의 도메인에 대해서 이미지를 translation 하는 예시입니다. 이러한 두가지 도메인에 대..

저희 팀이 참여하는 "고위험 재난의료 및 산업재해 대응기술 개발" 과제가 선정되었습니다. 과제 내에서 저희 팀의 역할은 센서로부터의 생체 신호를 딥러닝 기술 등에 기반한 시계열 분석으로 중증도 예측 등으로 활용하는 내용은 맡게 되었습니다. 재미있는 주제이고 과제 규모도 적지 않은 만큼 열심히 수행해서 좋은 결과 내도록 최선을 다할 생각입니다.

안녕하세요, KDST에서 인턴 연구원으로 근무했던 김우정입니다. 이번에 김수현 박사님, 박민철 인턴 연구원님, 전근석 학연님과 함께 제출했던 논문이 NeurIPS (NIPS) 2020에 poster presentation으로 accept 되었습니다. 논문 제목은 "Neuron Merging: Compensating for Pruned Neurons" 입니다. 기존 structured network pruning 논문들에서는 신경망에서 덜 중요한 뉴런이나 필터를 제거하고 accuracy를 회복하기 위하여 fine-tuning을 합니다. 하지만 이때 제거된 뉴런에 상응하는 다음 layer의 차원 또한 제거됩니다. 따라서 pruning 직후에 다음 layer의 output feature map이 원래 모델과 ..

이제 https://kdst.re.kr 또는 http://www.kdst.re.kr 주소로도 저희 블로그에 접속하실 수 있습니다. 물론 기존 그대로 kdst.tistory.com 주소도 동작합니다.

KDST 팀에서 대학원생(석사, 박사, 석박 통합)을 모집합니다. 공고는 아래 링크에서 확인하실 수 있으며, 기간은 8.24(월) 까지입니다. www.kist.re.kr/kist_web/?state=view&sub_num=3884&searchKind=&searchWord=&v_pagesize=10&v_page=1&idx=6125&seqNo=1&reportMediaTypeCode= 세부전공에서 영상미디어연구단 부서 아래에 "딥러닝 경량화/가속화, 딥러닝 한계 극복 모델, 시계열 데이터 분석, 지능형 첨단 미디어"를 선택하시면 됩니다. 고려대, 연세대 등의 학위를 받으면서 KIST에서 실험실 생활할 수 있는 좋은 기회입니다. KIST가 대학교들과 공동 운영하고 있는 학연과정이며, 아래에 자세히 소개되어 있습..

본 게시글에서는 얼마전 진행되었던 2020 CVPR에서 인상깊었던 논문인 "Dreaming to Distill: Data-free Knowledge Transfer via DeepInversion"을 소개해드리고자 합니다. Training dataset에 대한 사전 정보 없이 network inversion 방식을 통해 noise 이미지에서 해당 클래스에 속하는 이미지를 생성하는 방법론에 대한 논문입니다. 논문 링크는 이곳을 클릭해주세요. 논문 포스팅에 앞서 Neural network inversion 방법론에 대해 간략히 소개합니다. 기존에 모델을 학습시켰던 training dataset에 대한 정보가 없을때, training dataset 이미지의 input space를 복원하는 방법론 중에는 Neu..

개요: 요즘 스마트 엣지 혹은 엣지 단에서의 고속 스트림 프로세싱과 같은 표현들이 많이 보입니다. 데이터 처리 파이프라인에서, 보통 엣지 디바이스들은 센서 네트워크 등의 데이터 수집 및 전달, 그리고 서버 혹은 클라우드는 머신 러닝 및 딥 러닝 등의 알고리즘으로 데이터를 분석하는 것으로 역할이 나뉘었습니다. 따라서, 앞에서 언급한 새로이 보이는 표현들이 왜 점점 더 자주 보이는지 궁금해 하시는 분들이 많을 것 같습니다. 이번 포스팅에서는 왜 이러한 새로운 시스템 디자인 트렌드가 생겼는지 살펴보고, 국내외 스마트 엣지 플랫폼에는 현재 어떠한 것들이 있는지 살펴 보겠습니다. 스마트 엣지와 스마트 시티, 홈, 팩토리 플랫폼: 인공지능을 이용해서 가정, 공장, 그리고 주거 및 인프라를 최적화하여 가용성을 높일 ..

본 포스팅은 NIPS2018에 발표된 Knowledge distllation 연구 결과를 리뷰하도록 하겠습니다. 포스팅에 앞서, 주제와 관련된 모든 연구 내용은 Knowledge Distillation by On-the-Fly Native Ensemble을 참조했음을 먼저 밝힙니다. Preliminary Knowledge distillation은 기계 학습 모델의 인상적인 성능 향상을 달성한 방법 중 하나입니다. 2014년 Hinton 교수 (NIPS 2014 Workshop)가 재해석한 distillation에 의하면 representation capacity가 큰 teacher model을 smaller capacity를 가진 student model이 aligning 할 수 있도록 하면, stude..

이번에 "Journal of Statistical Physics"에 accept된 논문 제목입니다. 실제 네트워크의 공통 특성들을 반영하는 그래프 생성 모델이 몇가지 있는데 이론적인 특성에 치우친 경우가 많습니다. 본 논문에서는 현실을 반영한 "기존 노드간의 연결 추가"라는 새로운 모델 속에서 두 가지 종류의 연결을 섞어서 더 실제와 유사한 그래프를 생성하는 방법을 제안했습니다. 내용은 아래 링크 누르시면 바로 확인이 가능합니다. (SharedIt이라고 읽기는 되지만 저장은 안 되는 서비스입니다) https://rdcu.be/b2D3T 학부를 물리학과 나온 제게는 처음으로 물리학 관련 저널에 논문이 실려서 더 의미있게 다가옵니다.

오늘은 2019 ICLR에 발표된 Network Pruning 관련 논문 중 하나인 "Rethinking the Value of Network Pruning"을 리뷰하도록 하겠습니다. 흔히 Neural Network Pruning은 1. Training, 2. Pruning, 3. Fine-tuning 세 과정을 거쳐 이루어집니다. One-shot pruning의 경우에는 1->2->3의 과정을 한 번만 거치게 되고, Iterative pruning의 경우에는 1 이후에 2와 3의 과정을 원하는 모델 사이즈에 도달할 때까지 반복하게 되죠. 이 논문에서는 이렇게 우리가 흔히 알고 있는 pruning 방식, 즉 먼저 큰 모델(Full model, overparameterized)을 학습시킨 다음에 필요 없는..