KDST

안녕하세요 서울대학교 VMO 연구실 김민재입니다. 7/28 세미나 내용 간략히 공유해 드립니다. 연합 학습은 각 클라이언트가 가지고 있는 데이터에 직접 접근하지 않으면서도, 여러 클라이언트가 서로 협력하여 글로벌 모델을 학습할 수 있게 하지만 각 클라이언트가 가지고 있는 데이터가 heterogeneous 할 경우 그 성능이 떨어지는 문제를 가지고 있습니다. 이러한 차이는 더 나아가 다음과 같은 딜레마로 이어집니다. "학습된 모델의 일반 성능(Generic) 혹은 개인화된 성능(Personalized)을 우선시해야 하는가?" 겉보기에 상충되는 이 두 가지 목표는 FL paper 들이 둘 중 하나에 초점을 맞추게 하였지만, 본 논문에서는 두 가지 목표에 동시에 접근할 수 있음을 보여줍니다. 구체적으로, 모델..

안녕하세요. 서울대학교 석박통합연구생 유상윤 입니다. 8월 25일 세미나 관련 내용 요약입니다. Fairness는 모호한 개념이지만 Fairness를 achieve하는 방법은 크게 두가지로 나눌 수 있다. 1. Fairness through Blindness. 2. Fairness through Awareness. Fairness through Blindness가 필요한 상황은 단순히 Subpopulation Shift로 인해서 Bias가 발생한 경우로, Sensitive Attribute을 의도적으로 무시하는 것이 Fairness에 도움이 되는 경우이다. Subpopulation Shift 문제란 group별로 sample의 갯수가 다르다거나, entropy가 달라 단순히 전체 loss를 minimiz..

안녕하세요, KDST 팀원 김동진입니다. 괜찮은 논문을 읽게 되어 간략한 내용 공유해 드립니다. 해당 논문은 Transfer learning에서 fine-tuning이 언제 그리고 왜 linear proving보다 out-of-distribution에 대한 높은 error를 보이는지 이론 및 실험으로 잘 설명한 논문입니다. 논문에서는 fine-tuning 시 feature distortion이 발생하게 되고 이는 큰 out-of-distribution error를 가져와 linear probing에 비해 낮은 성능을 보이게 된다고 주장하였습니다. (feature distortion: feature가 특정 방향으로만 update 되는 현상. 여기서는 ID의 subspace 방향으로만 학습되는 것을 의미합니..

올해 들어서 저희 팀이 글을 한번도 못 올렸네요. 활동이 뜸해진건 아니고 오히려 정반대로 모두들 연구를 열심히 하고 계셔서 글을 올리지 못했습니다. 특히 다들 학회에 논문 제출을 준비하다보니 아무래도 블로그에 글을 올릴 여력이 없었네요. 그래도 그 사이에 새로운 분들이 많이 합류해주셨고, 저희 팀 내부의 학술적 교류는 이전보다 더 다양하고 넓은 범위로 더 끈끈하게 진행하고 있습니다. 최근 사진들 몇 장을 공유하면서 오늘은 마무리하고, 앞으로 가끔씩이라도 괜찮은 논문 공유하겠습니다.

안녕하세요. KDST&고려대학교 컴퓨터학과 박사과정생 김유진 입니다. 이번에 김수현 박사님, 박도균 연구원님, 김도희 학연님과 제출했던 논문이 AAAI-2022에 accept 되었습니다. 함께 많은 노력을 기울여주신 모든 저자들께 다시한번 감사의 말씀을 전합니다. 논문 제목은 "NaturalInversion: Data-Free Image Synthesis Improving Real-World Consistency" 입니다. 해당 논문 코드: https://github.com/kdst-team/NaturalInversion 본 논문에서 제안하는 NaturalInversion은 Data-free 환경에서 pre-trained classifier를 활용하여 모델이 학습했던 분포와 유사한 이미지를 만들어냅니다...

안녕하세요, KDST에서 학생 연구원으로 근무 중인 강민수입니다. 이번에 강민구 전문연구 요원님, 김동진 학생 연구원님과 함께 Team 'Machine Running'으로 함께 참여했던 성균관대학교 삼성융합의과학원(SAIHST) 디지털 헬스 학과와 디지털 헬스케어 파트너스(DHP)가 공동 주최하는 제 6회 Digital Health Hackathon 2021에서 공동 1위로 최우수상을 수상하였습니다. 해커톤 주제는 'bio-health simulation data를 이용하여 치료의 효과를 증가시키는 인과관계가 있는 유전자를 찾아내는 것'입니다. 환자 맞춤형 치료는 특히 암 환자의 맞춤형 항암 치료 분야에서 뚜렷한 성과를 보입니다. 이는 암 유전자 분석을 통해 변이 유전자에 타깃이 되는 약물을 찾아내는 과..

안녕하세요. 오늘 소개드릴 논문은 AAAI'2021에 게재된 DegAug입니다. 논문 제목에서 알 수 있듯이 Feature representation을 나누고 semantic augmentation을 통해 Out-of-Distribution generalization을 달성한 논문입니다. About Out-of-Distribution 논문에 대한 내용에 앞서 IID와 OoD의 개념을 말씀드리겠습니다. Independent, Identical Distribution (I.I.D)→예를 들면 CIFAR10의 train-set과 test-set이 나눠져 있지만 그 둘은 동일한 분포를 가지고 있습니다. 따라서 이 둘은 I.I.D입니다. 어떤 랜덤 확률 변수 집합이 있을 때 각각의 랜덤 확률변수들은 독립적이면서 ..

이번에는 CVPR 2021에 poster paper로 accept 된 Revisiting Knowledge Distillation: An Inheritance and Exploration Framework을 리뷰하려고 합니다. 자세한 내용은 원문을 참고해주세요. 코드의 경우, 비공식 코드로 구현해두었습니다. Introduction Class distribution사이에서 similarity와 consistency의 정보를 전달함으로써 knowledge distillation 분야가 성공할 수 있었다고 저자는 말하고 있습니다.(Hinton의 KD, Tf-KD etc.) 또한, layer 중간의 output에서 feature representation을 transfer하는 방법도 성공을 이끌었다고 말하고 있..

이번 글에서는 CVPR 2021에 accept된 Pruning 논문 중 하나인 Manifold Regularized Dynamic Network Pruning 을 리뷰하도록 하겠습니다. 먼저 Dynamic pruning에 대해 알아보겠습니다. 기존의 channel pruning 방식들은 channel을 static하게 제거하기 때문에 모든 sample에 같은 구조의 network를 사용합니다. 하지만 실제로는 filter/channel의 중요도는 input에 따라 매우 다릅니다. 아래 그림은 Dynamic pruning을 처음 제안한 Dynamic channel pruning: Feature boosting and suppression 에서 가져왔습니다. Pretrained ResNet-18로 image..

이번 글에서는 CVPR 2021에 oral로 선정된 “Representative Batch Normalization with Feature Calibration”이란 논문을 소개합니다. 본 논문은 기존의 Batch normalization의 문제를 분석하고 이를 보완하는 Representative Batch normalization을 제안합니다. Introduction Batch Normalization의 효과를 감소시키는 요인 Batch Normalization(BN)은 convolution 연산의 결과로 나온 feature들을 mini-batch의 통계 정보를 사용하여 normalize 된 분포로 제한하는 과정을 수행합니다. 이 과정은 학습의 어려움을 낮춰 CNN 모델의 성능을 가져왔습니다. 하지만,..