본 게시글은 Generative Adversarial Networks(GAN)를 공부하며 흥미로웠던 CycleGAN에 대한 포스팅입니다. 해당 논문은 버클리 AI Research (BAIR) lab에서 진행된 연구로, 2017년 ICCV에 accept되었습니다. 해당 논문을 참조하시려면 논문 링크 클릭해주세요.

 

CycleGAN은 training set이 {X,Y} 처럼 paired data가 아닌 unpaired된 data인 경우, source 도메인 X에서 target 도메인 Y로 이미지를 변환하는 image-to-image translation 방식입니다. 아래의 예시는 CycleGAN을 활용했을때의 두가지의 도메인에 대해서 이미지를 translation 하는 예시입니다. 

CycleGAN을 활용한 image-to-image translation 예시

이러한 두가지 도메인에 대해 image-to-image translation을 진행하기 위해서는 training set이 이미지 i에 대해 pair가 되는 X와 Y 도메인 데이터(paired data)가 존재해야 합니다. CycleGAN이전에 연구되었던 Pix2Pix 모델에서는 반드시 두 도메인 양쪽에 대응되는 paried data가 존재해야 했지만 CycleGAN에서는 paired data 없이도 하나의 이미지 도메인을 다른 도메인으로 바꾸는 것이 가능합니다.

paired data, unpaired data 설명

CycleGAN에서는 아래 그림과 같이 2가지 generator인 $G$와 $F$를 사용합니다. generator $G$는 source 도메인 X를 target 도메인 Y로 translate해주며 generator $F$는 $G$와 반대로 Y 도메인을 X 도메인으로 translate 시키는 generator입니다.

 

또한 Disciriminator도 $D_x$, $D_y$로 2가지를 사용합니다. $D_x$ $D_y$는 각각 X 도메인과 Y 도메인으로 생성된 이미지를 판별하는 역할을 수행합니다. $D_x$는 generator $F$가 만들어낸 ${F(y)}$ 이미지와 실제 X 도메인의 이미지 {$x$}를 구별하며 $D_y$는 generator $G$가 만들어낸 Y 도메인의 이미지 ${G(x)}$ 가 실제 Y 도메인의 데이터 {$y$}와 얼마나 다른지를 구별해냅니다.

 

따라서 G를 통해 Y 도메인으로 변환된 X 데이터 ${G(x)}$ 가 있을 때, 이를 다시 generator $F$를 통해 X 도메인으로 보내면 source 도메인인 X로 다시 되돌아와야 한다는 것입니다. 즉, F(G(X)) {x}가 되어야 하며 (forward cycle consistency) G(F(Y))는 ${y}$가 되어야 합니다. (backward cycle consistency) 이러한 특징을 본 논문에서는 cycle consistency 라고 칭하고 있습니다. 

 

따라서 CycleGAN에서는 기존의 Adversarial loss와 cycle consistency loss, 총 2가지의 loss를 사용합니다. CycleGAN에서는 generator와 discriminator를 각각 2개씩 사용하므로 Adversarial loss term인 $L_{GAN}$이 2개로 나누어집니다. 

CycleGAN full objective

Adversarial loss는 기존의 GAN의 loss와 같으므로 $G$는 {$G(x)$}가 Y 도메인의 실제 데이터 {$y$}와 유사하게 만들어내는것을 목표로 합니다. $D_y$는 {$G(x)$}와 {${y}$}를 구별합니다.  $L_{GAN} (F,D_x,Y,X)$ 또한 마찬가지로 $F$는 {$F(y)$}가 실제 X 도메인 데이터 {$x$}와 유사한 이미지를 만드려고하며 $D_x$는 {$F(y)$}와 {${x}$}를 구별합니다.

Adversarial loss

Cycle Consistency loss는 {$x$} 이미지를 $G$에 통과시켜 {$G(x)$}로 만들어 Y도메인의 데이터를 만든 후 이를 다시 $F$에 넣어 다시 X 도메인으로 inverse 과정을 거친 이미지로 만듭니다. 이러한 과정으로 inverse된 $F(G(x))$와 실제 X 도메인의 이미지 {$x$}를 pixel-wise하게 loss를 구성하였습니다. 마찬가지로 {$y$} 이미지를 $F$를 통해 X 도메인에 속하는 {$F(y)$} 이미지로 만든 후 이를 다시 $G$를 통해 Y 도메인으로 inverse 과정을 거칩니다. $G(F(y))$ 이미지와 실제 Y 도메인의 이미지 {$y$}와의 pixel-wise한 차이를 loss에 반영합니다. 이러한 두개의 term을 cycle consistency loss로 정의하고 있으며 해당 loss를 통해 unpaired한 X와 Y 도메인의 쌍을 연결할 수 있게 됩니다.  

Cycle Consistency loss

CycleGAN의 최종 loss는 아래식과 같으며 해당 loss를 통해 generator는 실제 이미지에 가까운 이미지를 만들기 위해 노력하며 discriminator는 generated된 이미지를 실제 이미지와 판별하는것을 목표로 합니다.

아래의 그림은 CycleGAN을 활용하여 실제 풍경데이터 (X 도메인 데이터)와 각 화가의 스타일 (Y 도메인 데이터) 를 활용하여 Image-to-Image translation을 진행한 결과입니다. X 도메인의 데이터가 각 Y 도메인으로 style transfer가 된것을 볼 수 있습니다. 

두번째 예시로 말과 얼룩말, 겨울과 여름 등 서로다른 도메인으로의 Image-to-Image translation 결과입니다.

CycleGAN의 구현 및 자세한 실험 결과는 논문을 참조해주세요. 이상 논문 리뷰를 마치겠습니다. 

댓글을 달아 주세요

융합연구단 과제 선정

카테고리 없음 2020. 12. 30. 09:15 Posted by KDST

저희 팀이 참여하는 "고위험 재난의료 및 산업재해 대응기술 개발" 과제가 선정되었습니다. 

과제 내에서 저희 팀의 역할은 센서로부터의 생체 신호를 딥러닝 기술 등에 기반한 시계열 분석으로 중증도 예측 등으로 활용하는 내용은 맡게 되었습니다. 

재미있는 주제이고 과제 규모도 적지 않은 만큼 열심히 수행해서 좋은 결과 내도록 최선을 다할 생각입니다. 

 

댓글을 달아 주세요

안녕하세요, KDST에서 인턴 연구원으로 근무했던 김우정입니다.

 

이번에 김수현 박사님, 박민철 인턴 연구원님, 전근석 학연님과 함께 제출했던 논문이 NeurIPS (NIPS) 2020에 poster presentation으로 accept 되었습니다. 논문 제목은 "Neuron Merging: Compensating for Pruned Neurons" 입니다.

 

기존 structured network pruning 논문들에서는 신경망에서 덜 중요한 뉴런이나 필터를 제거하고 accuracy를 회복하기 위하여 fine-tuning을 합니다. 하지만 이때 제거된 뉴런에 상응하는 다음 layer의 차원 또한 제거됩니다. 따라서 pruning 직후에 다음 layer의 output feature map이 원래 모델과 매우 달라지게 되어 accuracy loss가 발생합니다.

본 논문에서는 제거된 neuron의 효과를 보상할 수 있는 "Neuron Merging" 컨셉을 제안했습니다. 또한 Neuron Merging 컨셉 안에서의 한가지 방법론으로, 추가적인 training이나 data 없이 pruning 직후 accuracy를 향상시키는 알고리즘을 제안했습니다. 

 

더욱 자세한 내용은 Conference 후에 다른 게시글로 소개하겠습니다. 감사합니다.

 

댓글을 달아 주세요

새 도메인 주소 (kdst.re.kr)

카테고리 없음 2020. 9. 26. 14:00 Posted by KDST

이제 https://kdst.re.kr 또는 http://www.kdst.re.kr 주소로도 저희 블로그에 접속하실 수 있습니다. 

물론 기존 그대로 kdst.tistory.com 주소도 동작합니다. 

 

댓글을 달아 주세요

대학원생 모집

카테고리 없음 2020. 8. 13. 15:09 Posted by KDST

KDST 팀에서 대학원생(석사, 박사, 석박 통합)을 모집합니다. 

공고는 아래 링크에서 확인하실 수 있으며, 기간은 8.24(월) 까지입니다. 

www.kist.re.kr/kist_web/?state=view&sub_num=3884&searchKind=&searchWord=&v_pagesize=10&v_page=1&idx=6125&seqNo=1&reportMediaTypeCode=

세부전공에서 영상미디어연구단 부서 아래에

"딥러닝 경량화/가속화, 딥러닝 한계 극복 모델, 시계열 데이터 분석, 지능형 첨단 미디어"를 선택하시면 됩니다. 

 

고려대, 연세대 등의 학위를 받으면서 KIST에서 실험실 생활할 수 있는 좋은 기회입니다. 

KIST가 대학교들과 공동 운영하고 있는 학연과정이며, 아래에 자세히 소개되어 있습니다. 

https://www.kist.re.kr/kist_web/?sub_num=2926

 

KIST 한국과학기술연구원

학·연협동연구 석·박사과정 어린이 학·연협동연구 석·박사과정 소개 KIST 학연 석 · 박사과정은 연구를 주임무로 하는 KIST와 인력양성을 주임무로하는 대학이 협동하여, 기존의 석ㆍ박사과정�

www.kist.re.kr

딥러닝 분야로 연구하고 싶은 분들의 많은 지원 부탁드립니다. 

궁금하신 점 있으시면 언제든 이메일로 문의 주세요. (suhyun_kim 애ㅌ kist.re.kr)

 

댓글을 달아 주세요