채스

Taming Transformers for High Resolution Image Synthesis(VQGAN)

chaeniverse — Fri, 16 Jan 2026 16:51:41 +0900

VAE

데이터 $x$에 대한 사후확률 $p(z|x)$를 추정하기 위한 변분추론을 활용한 다른 tractable한 분포 $q(z|x)$를 추정 → latent feature $z$를 구하고 이로부터 $x'$를 sampling (생성)

이때 Reparameterization trick을 활용해 $e$를 sampling하고 $z=\mu+\sigma\epsilon$ 을 구하게 됨.

VQ-VAE

VAE와 다르게 posterior $p(z|x)$와 prior $p(z)$를 가우시안 분포가 아닌 categorical 분포로 정의하며, sampling 되는 결과값 또한 특정 분포로부터의 continuous한 vector가 아니라 embedding table의 특정 위치 (index)
입력값(image)는 encoder를 통과해 embedding 값 $z_e(x)$로 생성되며, Euclidean distance (RMSE)를 기반으로 코드북 (Embedding Space) 내에서 가장 유사한 embedding vector의 index (1~K)를 반환
결과적으로 각 embedding 값을 가장 유사한 embedding vector로 대치되며, 이를 decoder에 입력하여 이미지를 생성 (복원)

VQ-VAE Traning

Indexing 및 codebook의 embedding으로 대치하는 과정은 gradient의 back-propagation이 어려우므로 decoder의 gradient를 encoder로 back-propagation 수행 (straight-through): Encoder의 output과 Code의 embedding은 동일한 차원에 존재하기 때문
sg (stop gradient): embedding loss와 commitment loss 계산 시 특정 term에 대해 gradient를 역전파 하지 않도록 함.

$$ L=logp(x|z_q(x))+||sg[z_e(x)]-e||^2_2+\beta||z_e(x)-sg[e]||_2^2 $$

Reconstruction loss + Embedding loss + Commitment loss
Reconstruction loss : 복원된 결과물과 입력값을 비교함으로써 encoder와 decoder를 최저고하
Embedding loss: Codebook의 embedding을 encoder의 결과물과 유사하게 만들어 줌으로써 codebook을 최적화 (VQ objective)
Commitment loss: Encoder의 출력값에 대한 제약을 걸어주는 term으로, 아무 값이 아니라 codebook의 벡터와 가까운 값을 출력하도록 하며 encoder를 최적화 (regularization)

What is VQGAN

CNN의 locality bias와 Transformer의 global relation modeling 특성을 함께 활용하여 high-resolution image 생성

CNN을 통해 context-rich visual part에 관한 codebook을 구축
Transformer를 통해 visual part 간의 관계를 고려한 global composition 학습
Adversarial 학습 방법론을 활용해 codebook이 중요한 local structure를 충분히 잡아내도록 함.
→ Transformer가 가장 잘하는 long-range relation 모델링에 집중하도록 하여 high resolution의 이미지를 생성할 수 있도록 함.

Architecture

image로부터 discrete한 latent embedding을 추출할 수 있도록 codebook(Z) 학습 후 codebook의 index를 예측하는 autoregressive한 방식으로 image synthesis 수행
크게 visual feature를 잘 추출할 수 있는 codebook을 학습시키기 위한 과정 (1), 해당 codebook을 기반으로 transformer를 활용한 imaeg synthesis 과정 (2)으로 구분된다.

Transformer
$p(s)=\prod_i(s_i|s_{<i})$
VQGAN = $argmin_{z_i\in \mathcal{Z}}||\hat{z}-z_i||$

Architecture (1) - Training codebook

VQVAE와 유사한 방식으로 이미지로부터 discrete한 latent embedding을 추출할 수 있도록 codebook(Z) 학습
단 perceptual loss를 활용한다는 점, discriminator를 이용한 adversarial training방식으로 진행된다는 점에서 VQVAE와 차이를 보임.
- compression 단계가 없다는 말이고. real이냐 fake이냐를 학습시키는 게 adversarial training 방식
$$ L_{VQ}(E,G,\mathcal{Z})=||x-\hat{x}||^2+||sg[E(x)]-z_\mathbf{q}||^2_2+||sg[z_\mathbf{q}]-E(x)||_2^2 $$
- Reconstruction loss: 복원된 결과물과 입력값을 비교함으로써 encoder와 decoder를 최적화
- 이때 VQGAN의 경우 VGG16을 활용한 perceptual loss*를 추가적으로 활용
- Embedding loss: Codebook의 embedding을 encoder의 결과물과 유사하게 만들어줌으로써 codebook을 최적화
- Commitment loss: Encoder의 출력값에 대한 제약을 걸어주는 term으로, 아무 값이 아니라 codebook의 vector와 가까운 값을 출력하도록 하며 encoder를 최적화
- $$ L_{GAN}=(\{E,G,\mathcal{Z}\},D)=[logD(x)+log(1-D(\hat{x}))] $$
- Discrimination loss: 생성된 결과물에 대해 patch 단위로 real/fake를 구별하는 discriminator (e.g. patchGAN)를 활용하여, 본 loss를 활용하지 않을 때 보다 더욱 perceptually rich한 특성들을 encoding 할 수 있도록 함.
$$ \mathcal{Q}^*=argmin_{E,G,\mathcal{Z}}max_{D}\mathbb{E}{x\sim p(x)}[\mathcal{L}{VQ}(E,G,\mathcal{Z})+\lambda L_{GAN}(\{E,G,\mathcal{Z}\},D)] $$
- Rec loss와 GAN loss 간 균형을 조절하기 위한 term (일종의 regularization term)
- $$ \lambda=\frac{\nabla_{G_L}[\mathcal{L}{rec}]}{\nabla{G_L}[\mathcal{L}_{GAN}]+\delta} $$

Architecture (2) - Transformer for image synthesis (unconditional)

학습된 codebook에 의해 codebook의 index 집합이 산출되면 transformer를 auto-regressive하게 활용하여 “다음 index를 예측하는” task로써 image synthesis를 수행하게 됨
이 때 index 예측 시 ground truth는 image에 대해서 미리 구한 codebook의 index가 되며, NLL loss를 활용하여 학습 수행
High-resolution imaeg에 대한 generation 학습 시 attention mechanism이 quadratic한 연산 증가 특성을 갖는다는 점을 극복하기 위해 sliding attention window 방법론을 활용

Architecture (2) (cont’d)

Conditional generation의 경우 특정한 정보(c)를 생성 과정에 포함시켜 image synthesis를 수행하게 됨
예를 들어 semantic segmentation map을 이용하는 경우, 해당 map을 이용해 학습한 또 다른 codebook($Z_c$)을 활용할 수 있음.

Giving condition (e.g. concat)
$p(s|c)=\prod_i p(s_i|s_{<i},c)$
NNL (Negative Log Likelihood)

Result

Unified Model for Image Synthesis Tasks

Condition 정보를 제공하는 방식 (vector, 혹은 새로운 codebook 정보 등)을 통해 semantic map으로부터 이미지를 생성하거나, 흐린 이미지로부터 선명한 이미지를 생성하는 방식의 image synthesis 가능
sliding window attention 방식을 통해서 이러한 conditional synthesis를 high-resolution image synthesis에도 적용할 수 있음.

[출처]: https://www.youtube.com/watch?v=xR6Uw_3Huss

AIxMHC2025

chaeniverse — Thu, 16 Oct 2025 15:28:35 +0900

StarGAN 논문 리뷰

chaeniverse — Thu, 5 Dec 2024 16:01:49 +0900

arxiv : https://arxiv.org/pdf/1711.09020

code : https://github.com/imlixinyang/StarGAN

1. Introduction

1. 논문이 다루는 task

single model을 사용해서 multiple domain에서 image-to-image translation을 수행한다.

1. Input: 웃는 얼굴

2. Output: Blond hair, Gender, Aged, Pale skin, .. etc

[Figure 1]

2. 해당 task에서 기존 연구 한계점

기존 방법들은 two domain 이상 다루는 데 있어서 scalability나 robustness에서 한계를 보인다.

2. Related Work

[GAN]

discriminator와 generator를 이용해서 real 이미지와 fake 이미지를 분간한다.
fake image를 realistic에 가깝게 학습시킨다.
이 과정에서 adversarial loss가 쓰인다.

[Conditional GAN]

conditional image generation는 학습시킬 때 사전 정보(prior)를 주는 것을 의미한다.
예) 주어진 text description과 매우 관련 있는 이미지만 생성할 수 있다.
이 논문에서 conditional domain information을 주어 다양한 target domain으로 image translation이 가능하게 한다.
- 이때, scalable GAN framework가 사용된다.

[Image-to-Image Translation]

최근 연구는 image-to-image translation에서 우수한 결과를 냈다.
하지만 이런 연구들은 각 도메인 쌍마다 다른 모델들을 학습시켜야 하기 때문에, multiple domain을 다루는 데 한계를 갖는다.
반면 우리의 framework는 오직 single model만을 사용해서 multiple domain 간의 관계를 학습한다.

3. 제안 방법론

Main Idea

3. Star Generative Adversarial Networks

StarGAN을 이용해서 multiple dataset을 통합시킬 것이다.

3.1. Multi-Domain Image-to-Image Translation

single generator G가 multiple domain을 실제와 맞게 잘 mapping하도록 학습시킨다.
target domain label c가 주어졌을 때, input image x를 output image y로 출력시키도록 G를 훈련시킨다.
$G(x,c)\rightarrow y$
우리는 random하게 target domain label c를 생성하고, G는 input image를 translate 하는 걸 학습한다.
또한 보조 분류기를 도입하여 multiple domain을 control한다.
discriminator는 source(데이터)와 domain label에 대해 확률 분포를 만들어낸다.
$D:x\rightarrow\{D_{src}(x),D_{cls}(x)\}$
Figure 3은 traning process를 보여준다.

[Figure 3]

discriminator D와 generator G로 이뤄져 있다.
- D는 real과 fake image를 구분하는 걸 학습하고,
- real image와 real image에 대응하는 도메인을 분류하도록 학습한다.
- G는 image와 target domain label을 input으로 받고 fake image를 만든다.
- target domain label은 input image와 결합된다.
- G는 original domain label이 주어졌을 때, fake image에서 original image를 재구성한다.
- G는 real image와 분간할 수 없고 target domain으로 분류되도록 image를 만든다.

[Adversarial Loss]

real image로부터 분간할 수 없도록 생성된 이미지를 만들기 위해 adversarial loss를 사용한다. (이 Eq (1)은 이따가 Eq (7)에서 변형된다.)

$$ \mathcal{L}_{adv}=\mathbb{E}[logD_{src}(x)]+\\\mathbb{E}_{x,c}[log(1-D_{src}(G(x,c)))],\;\;\;(1) $$

→ 여기서 G는 input image x와 target domain label c가 주어졌을 때 image G(x,c)를 생성한다.

D는 real image와 fake image를 구별한다.

이 논문에서 우리는 $D_{src}(x)$를 D에 의해 주어진 source들에 대한 확률 분포라고 가정한다.
generator G는 이 목적 함수를 최소화하려고 하고, discriminator D는 이를 최대화하려고 한다.

[Domain Classification Loss]

input image x와 target domain label인 c가 주어졌을 때 x를 target domain c로 분류된 output image y로 변환하는 것이다.
discriminator D 위에 보조 분류기를 추가하고, D와 G를 최적화할 때 domain classification loss를 사용한다.
목적 함수를 두 개로 나눈다.
- 실제 이미지를 최적화하는 데 사용되는 domain classification loss
- 가짜 이미지를 최적화하는 데 사용되는 domain classification loss
전자는 아래와 같다.

$$ \mathcal{L}^r_{cls}=\mathbb{E}_{x,c'}[-logD_{cls}(c'|x)],\;\;\;\;(2) $$

→ 여기서 $D_{cls}(c'|x)$는 D에 의해 계산된 domain label에 대한 확률 분포이다.

이 목적함수를 최소화하여 D는 실제 이미지 x를 해당 원본 도메인 c’로 분류하는 방법을 학습한다.

fake image의 도메인 분류를 위한 loss function은 아래와 같다.

$$ L^f_{cls}=\mathbb{E}_{x,c}[-logD_{cls}(c|G(x,c))].\;\;\; (3) $$

→ G는 이 목적함수를 최소화하여 target domain c로 분류될 수 있도록 이미지를 생성한다.

[Reconstruction Loss]

adversarial loss와 classification loss를 최소화하여, G는 realistic하고 올바른 target domain으로 분류되는 image를 생성하도록 학습된다.
그러나 Eq (1)과 Eq (3)을 최소화하는 것만으로는,도메인 관련된 부분만 변경한다는 것을 보장하지 않는다.
변환된 이미지가 입력 이미지의 내용을 보존하면서
이 문제를 해결하기 위해 generator에 cycle consistency loss를 적용한다.

$$ \mathcal{L}_{rec}=\mathbb{E}_{x,c,c'}=[||x-G(G(x,c),c')||_1],\;\;\;(4) $$

→ 여기서 G는 변환된 이미지 G(x,c)와 원래 도메인 레이블 c’을 입력으로 받아 원본 이미지 x를 재구성한다.

재구성 손실로 L1-norm을 채택한다.

하나의 생성기를 두 번 사용한다.
원본 이미지를 target domain의 이미지로 변환하고, 그 다음 변환된 이미지로부터 원본 이미지를 재구성한다.

[Full Objective]

이제 G와 D를 optimize하기 위해 objective function을 다음과 같이 정의한다.

$$ \mathcal{L}_D=-\mathcal{L}_{adv}+\lambda_{cls}\mathcal{L}^r_{cls},\;\;\;(5)\\\mathcal{L}_G=\mathcal{L}_{adv}+\lambda_{cls}\mathcal{L}{cls}^f+\lambda_{rec}\mathcal{L}_{rec},\;\;\;(6) $$

→ 여기서 $\lambda_{cls}$와 $\lambda_{rec}$은 domain classification loss와 reconstruction loss를 adversarial loss와 비교하여 상대적인 중요성을 조절하는 하이퍼파라미터이다.

우리는 모든 실험에서 $\lambda_{cls}=1$로 $\lambda_{rec}=10$으로 둔다.

regularization parameter

3.2. Training with Multiple Datasets

StarGAN의 이점은 여러 데이터셋을 동시에 통합하여 서로 다른 유형의 레이블을 포함할 수 있다는 점이다.
- 문제는 각 데이터셋에 레이블 정보가 부분적으로만 알려져 있다.
CelebA는 머리 색상 및 성별과 같은 속성이 레이블에 포함돼 있지만, 표정에 대한 label은 없다.
변환된 이미지 G(x,c)에서 input image x를 재구성할 때 label vector c’에 대한 완전한 정보가 필요하기 떄문에 문제가 된다.

[Mask Vector]

이 문제를 해결하기 위해, StarGAN에서 지정되지 않은 레이블은 무시하고,
명시적으로 알려진 레이블에 집중할 수 있도록 하는 mask vector m을 도입한다.

$$ \tilde{c}=[c_1,...,c_n,m],\;\;\;(7) $$

masking.. dropout.. overfitting 방지하는 식으로 한다.

일부 데이터를 없애고 마치 처음부터 없었던 것처럼 training 시키면 그거에 대해서 안정성을 보장할 수 있는..

일부러 그렇게 학습을 한다.

[Training Strategy]

다중 데이터셋으로 StarGAN을 훈련할 때, 우리는 Eq (7)에서 정의된 도메인 레이블 $\tilde{c}$을 generator에 input으로 넣는다.
- generator는 0 벡터인 지정되지 않은 레이블은 무시하고, 명시적으로 주어진 레이블에 집중하게 된다.
generator의 구조는 단일 데이터셋으로 훈련할 때와 같지만, 입력 레이블 $\tilde{c}$의 차원만 다르다.
multi-task 학습 환경에서 모델을 훈련시킨다.
- 이때 discriminator는 알려진 라벨과 관련된 classification error만 최소화하려고 한다.
- 예를 들어, CelebA의 이미지를 사용하여 훈련할 경우, discriminator는 CelebA 속성과 관련된 라벨의 classification error만 최소화하며, RaFD와 관련된 얼굴 표정은 고려하지 않는다.
CelebA와 RaFD를 번걸아 가며 사용하면서, discriminator는 두 데이터셋 모두에 대한 모든 discriminative feature를 학습하고,
generator는 두 데이터셋 모두의 모든 레이블을 조절하는 방법을 학습한다.

[Figure 4]

→ CelebA 데이터셋의 얼굴 feature translation 결과.

첫번째 컬럼은 input image이고, 다음 네 열은 single feature translation이고,

오른쪽 열은 multiple feature translation을 보여준다.

4. Implementation

[Improved GAN Training]

training process를 안정화하고, 높은 퀄리티의 이미지를 생성하기 위해 Eq(1)을 Waserstein GAN 목적함수와 gradient penalty로 대체한다.

$$ \mathcal{L}_{adv}=\mathbb{E}[D_{src}(x)]-\mathbb{E}_{x,c}[D_{src}(G(x,c))]\\-\lambda_{gp}\mathbb{E}_{\hat{x}}[(||\bigtriangledown{\hat{x}}D_{src}(\hat{x})||_2-1)^2],\;\;\;(8) $$

→ 여기서 $\hat{x}$는 실제 이미지와 생성된 이미지 쌍 사이의 직선을 따라 균일하게 샘플링된다.

모든 실험에서 $\lambda_{gp}=10$을 사용한다.

Waseretein GAN.. 분포 간의 distance를 계산할 때 사용되는

generator에서 생성된 거랑 실제 이미지의 분포가 있을텐데

분포의 차이를 보는..

픽셀들의 분포를 보는..

[Network Architecture]

StarGAN은 downsampling을 위해 2 stride size인 convolutional layers로 구성된 generator network를 가지고 있으며,upsampling을 위해 2 stirde size인 transposed convolutional layers를 갖고 있다.
여섯 개의 residual blocks와
우리는 generator에 대해 instance normalization을 적용하고, discriminator에는 적용하지 않는다.
우리는 discriminator networ에서 PatchGAN을 이용하여 local image 패치가 실제인지 가짜인지를 분류한다.

분류기 PatchGAN

[architecture]

generator

discriminator

Contribution

4. 실험 및 결과

우리는 이 섹션에서 facial attribute transfer에 대해 최근 방법과 StarGAN을 먼저 비교한다.
다음으로, facial expression synthesis에 대해 classification experiment를 수행한다.
마지막으로, StarGAN이 multiple datasets로부터 image-to-image translation을 학습할 수 있다는 실험적인 결과를 보여준다.
모든 실험은 training phase동안 볼수 없는 image로부터의 model output을 사용하여 진행되었다.

Dataset

CelebA(웃는 얼굴), RaFD(?)

Baseline

Results

Conclusion

[출처]

https://oranz.tistory.com/48 : stargan에 대해서 뜯어보자.

https://arxiv.org/abs/1711.09020 : stargan 논문

https://aistudy9314.tistory.com/52 : StarGAN 논문 리뷰 해놓은 것.

https://www.kaggle.com/code/songseungwon/stargan-tutorial-with-15-steps-make-fake-images : this is StarGAN tutorial.. 이거 치는 중임

https://beausty23.tistory.com/112 : StarGAN pretrained model 이용하는 방법

머신러닝에서 분류 과제 수행 단계

chaeniverse — Thu, 24 Oct 2024 15:58:49 +0900

머신러닝은 크게 prediction와 classification으로 나뉘어 집니다.
본 포스팅에서는 전처리 및 모델링 과정에서 정교한 classification 작업을 수행하기 위해 필요한 단계들을 설명합니다.
이는 gold standard는 아니므로 참고용으로 봐주시기 바랍니다.

전처리 단계

1차적인 변수 탐색

범주형 변수의 경우 2x2 table, odds ratio를 그려 변수의 영향력을 점검합니다.
- odds ratio가 10 이상이거나 지나치게 낮은 경우 해당 변수를 제거할 지 의논이 필요합니다.
- odds ratio가 지나치게 높거나 낮은 경우 sensitivity, specificity 값이 극단적인 경향을 띕니다.
연속형 변수의 경우 기초 통계량(mean, sd 등)과 histogram을 출력하여 변수의 영향력을 점검합니다.

2차적인 변수 탐색

연속형 변수들 간의 다중공선성을 VIF 지표로 점검하기 전에, 결측치를 제거 혹은 대체(imputation) 해줍니다.
결측치가 40%가 넘는 경우, 변수의 설명력이 없다고 판단하여 해당 변수를 제거합니다.
imputation은 여러 기법이 있지만, test set 혹은 다른 data set이 들어왔을 때 동일한 지표를 보다 쉽게 적용하기 위해 간단한 기법을 사용합니다.
- 연속형 변수의 경우 median(mean보다 극단값의 영향을 덜 받습니다.), 범주형 변수의 경우 mode(최빈값)을 사용합니다.
결측치 대체 후 연속형 변수 간의 VIF 지수를 구한 후, VIF 지수가 10 이상이면 해당 변수를 제거합니다.
- VIF 기준으로 변수 제거할 때에는, 10이 넘는 변수들을 한 번에 제거하는 것이 아니라, 하나씩 제거하면서 추이를 관찰합니다.
- VIF cutoff는 주관적으로 결정할 수 있으나, 10이 넘는 변수는 무조건 제거하는 것이 좋습니다.

범주형 변수의 변환

범주형 변수의 경우 numerical type으로 변환해 주기 위해 one-hot encoding 등을 수행합니다.
머신러닝에서 one-hot encoding을 주로 사용하지만, 어떤 모델을 쓰냐에 따라 다중공선성의 우려가 있기 때문에 dummy encoding을 사용합니다.
- dummy encoding이란, category 중 하나를 reference로 두고 더미 변환하는 것을 의미합니다.
- 이때, reference category는 [0, 0, 0, ..., 0]의 값을 갖습니다.
  - 즉, category = ['1','2','3','4']으로 주어져 있을 때 '1'을 reference로 둔다면, category = '1'은 컬럼에 포함되지 않고 나머지들만 컬럼에 포함됩니다.
train set에서의 median, mode를 test set에도 동일하게 적용합니다.

정규화, 표준화 과정

연속형 변수에서 scale의 차이가 심할 경우 모델 설명력에 영향을 미칠 수 있기 때문에 정규화 또는 표준화 작업이 필요합니다.
- 주로 MinMaxScaler 혹은 Standardization 기법을 사용합니다.
Standardization을 사용한다고 했을 때, train set에서의 mean, sd를 test set에도 동일하게 적용합니다.

변수 선택

머신러닝에서 feature의 개수가 많을수록 설명력은 높아지지만, overfitting의 문제가 발생할 수 있습니다.
- 이를 방지하기 위해 hyperparameter 최적화 전에 변수 선택 과정을 거칩니다.
변수 선택 방법으로는 여러 가지가 있으나, 여기서는 RFE (Recursice Feature Elimination)을 사용합니다.
- 이는 Backward elimination과 유사한 방법입니다.
- RFE 중에서도 RFE with 5-fold stratified cross-validation을 사용합니다.
- RFE with cv에 대한 성능(?) 지표로 한 개를 고를 수 있는데, 여기서는 AUROC score를 사용합니다.
- RFE with cv 결과 graph를 토대로 5개의 feature를 선정합니다.

Modeling 과정

앞선 전처리 단계를 모두 거친 후 Modeling 과정을 수행합니다.
머신러닝 모델로 XGboost, Randon Forest, Support Vector Machine, Logistic Regression, Multi-layer Perceptron을 사용합니다.
- 모델에 대한 설명은 생략합니다.

먼저 whole dataset을 3:1로 stratified split을 수행합니다.
- 3이 train set이고, 1이 test set입니다.
train set에서 10-fold stratified cross validation을 수행합니다.
- 최적의 hyperparameter 조합을 찾기 위해서 입니다.
10-fold cv를 통해 train / val set으로 나뉘어집니다.
- train set을 표준화합니다.
- 표준화된 train data의 mean, sd를 갖고 val set을 표준화합니다.
- 10-fold cv를 통해 구한 성능에 평균을 취합니다.
- 이 평균치가 제일 높은 hyperparameter 조합을 저장합니다.
  - 효율성을 높이기 위해 bayesian optimization을 사용합니다.
    - 이외에도 grid search, random search 등을 사용할 수 있습니다.
- 전체 train data를 대상으로 다시 표준화를 실시합니다.
- 이렇게 표준화된 train data와 앞서 찾은 best hyperparameter 조합을 갖고 model을 적합시킵니다.
  - 이 모델을 a 모델이라 하겠습니다.
- train data의 mean, sd를 갖고 test data를 표준화합니다.
- a 모델에 test data를 넣고 performance metrics를 출력합니다.
1~3번 작업을 총 50번 반복합니다.
- subject selection bias를 피하고 모델의 robustness를 향상시키기 위함입니다.
50번의 performance metrics의 평균을 구합니다.
--> 이것이 저희 모델의 최종 성능이 됩니다.

performance metrics로는, accuracy, precision, recall (sensiticity), F1-score, area under the receiver operating characteristic curve (AUC-ROC) 등이 사용됩니다.

Logistic Regression

chaeniverse — Sun, 22 Sep 2024 00:48:25 +0900

Introduction

선형회귀분석의 회귀 계수는 closed form이 존재합니다.
선형회귀분석의 $\hat{\beta}$는 $(X^TX)^{-1}X^Ty$로 구할 수 있습니다.
그러나 로지스틱 회귀분석은 그렇지 않습니다.
로지스틱 회귀분석에서 좋은 모델이란, 정답 범주일 확률을 크게 산출하고, 정답이 아닌 범주를 작게 산출하는 모형입니다.

Likelihood function

*이전 슬라이드에서 model A와 model B라는 예시가 등장했고, model A의 성능이 더 우수한 것으로 나타났습니다.
model A가 더 우수하다는 것을, 어떠한 지표로 정의할 수 있고, 이를 likelihood라고 합니다.
- likelihood는 각각의 객체들에 대해서 정답 클래스로 분류될 확률을 말합니다.
- 오른쪽 표에서 노란색 동그라미 친 값들이 각각의 객체에 대한 likelihood입니다.
만약 모든 객체들이 독립적으로(i.i.d) 산출되면, 각각의 likelihood는 $P(A,B)=P(A)\cdot P(B)$로 계산할 수 있습니다.

예를 들어 설명하겠습니다.
데이터 셋에 대한 likelihood는 각각의 likelihood를 전부 곱한 값입니다.
likelihood는 확률의 개념이기 때문에 0부터 1사이의 값을 갖습니다.
- 즉, 계속 곱할수록 0으로 수렴합니다.
- 이를 해결하기 위해 log likelihood를 이용합니다.
- *log 함수는 단조 증가 합니다.
likelihood 관점에서 봤을 때, 값이 큰 모형이 데이터를 더 잘 설명하는 모형입니다.

likelihood를 크게 만든다. => log likelihood를 크게 만든다. => 음의 log likelihood를 작게 만든다.

식으로 표현하면 아래와 같습니다.

$Max\ likelihood=Max\ log(L)=Min\ -log(L)$

이때 MLE(Maximum Likelihood Estimator)가 등장합니다.
- 데이터 셋이 가질 수 있는 likelihood를 maximize하는 coefficient를 찾는 것입니다.

Maximum Likelihood Estimation

여기서는 수학적인 trick을 이용해서 로지스틱 회귀분석의 mle 식을 구하고자 합니다.
i번째 객체의 likelihood는 P(y=1)로 표현할 수 있습니다.
$x_i$와 $y_i$를 갖고 likelihood를 계산하면, 정답 범주가 1일때는 $\sigma(\mathbf{x}_i|\mathbf{\beta})$이고,
정답 범주가 0일 때는 $1-\sigma(\mathbf{x}_i|\mathbf{\beta})$가 됩니다.
=> 로지스틱 회귀분석에서 이는 하나로 합쳐서 나타낼 수 있습니다.

$P(\mathbf{x}_i,y_i|\mathbf{\beta})=\sigma(\mathbf{x}_i|\beta)^{y_i}(1-\sigma(\mathbf{x}_i)|\mathbf{\beta})^{1-y_i}$

전체 데이터 셋에 대한 likelihood는 아래와 같이 계산할 수 있습니다.

$L(\mathbf{X},\mathbf{y}|\mathbf{\beta})=\prod_{i=1}^N P(\mathbf{x_i},y_i|\mathbf{\beta})=\prod_{i=1}^N \sigma(\mathbf{x}_i|\mathbf{\beta})^{y_i}(1-\sigma(\mathbf{x}_i|\mathbf{\beta}))^{1-y_i}$

likelihood를 maximize 한다는 것은, 곧 log likelihood를 최대화 한다는 말과 같습니다.
$\prod$에 log를 씌우면 $\sum$이 나옵니다. 식은 아래와 같습니다.

$logL(\mathbf{X},\mathbf{y}|\mathbf{\beta})=\sum_{i=1}^{N}y_i log\sigma(\mathbf{x}_i|\mathbf{\beta})+(1-y_i)log(1-\sigma(\mathbf{x}_i|\mathbf{\beta}))$

여기서 핵심은 이 표현식은 베타에 대해서 non-linear 식이라는 것입니다.
따라서 explicit solution이 존재하지 않습니다.
그렇기 때문에 적절한 최적화 알고리즘(e.g., gradient descent)을 통해서 solution을 구할 수 있습니다.

Gradient Descent Algorithm

gradient descent algorithm에 대해 설명하겠습니다.
처음에 베타는 랜덤한 숫자를 가지고 무작위로 배정해줍니다. -> 이를 initial weight라고 합니다.
위 그림에서 파란색 선에 해당하는 함수를 최소화해야 합니다.
initial weight을 기준으로 최적해에 가까워지기 위해 계속 gradient(1차 미분값, 접선의 기울기)를 계산하며 descent(하강)합니다.
- 위 그림에서는 gradient descent가 0이 되는 순간 최적해를 찾을 수 있습니다.

정리하면, 목적함수 L에 대해서 미분을 합니다.
-> gradient가 0인지 질문합니다.
-> yes 라고 답하면 학습은 종료됩니다.
-> 아닐 경우, 학습을 지속합니다.
-> 해를 improve하기 위하여 gradient의 역방향으로, 적당한 거리만큼 이동합니다.
이론적인 background는 생략하겠습니다.
- 짧게 요약하면, 테일러 전개를 이용합니다.
- 여기서, 1차 도함수만 갖고 정답 해에 가까워 질 수 있습니다.
아래는 gradient descent 를 직관적으로 보여주는 수식입니다.

$w_{new}=w_{old}-\alpha f'(w),\ \ where 0<\alpha<1$

*여기서 $\alpha$는 저희가 정해야 하는 수입니다.

설명변수가 두 개인 로지스틱 회귀분석에 대해서 회귀 계수를 구해보겠습니다.
동그라미 노드들은 설명변수, 종속변수이고, w는 베타와 같습니다.
$h=\sum_{i=0}^{2}w_i x_i$이고 이는 곧 $\hat{\beta}_0+\hat{\beta}_1 x_1+\hat{\beta}_2 x_2$와 같습니다.
y는 로지스틱 회귀분석 모형을 통해 해당하는 값을 $y=\frac{1}{1+exp(-h)}$ 이 수식으로 표현하였습니다.
직관적인 해석을 위해 $L=\frac{1}{2}(t-y)^2$로 표현하겠습니다.
- t는 1또는 0이고, y는 p(y=1)를 의미합니다.
- t=1일 경우 y는 1에 가깝게, t=0일 경우 y는 0에 가깝게 나와야 좋은 모형입니다.
- 둘 사이의 제곱을 minimize 하는 걸 loss function으로 정의합니다.

y는 로지스틱 회귀분석에서 추정된 값이고, t는 실제 값입니다.
- 둘 차이가 적으면 미지수를 덜 움직이고, 차이가 크면 많이 움직입니다.
다음으로, 가중치를 update 하는 건 가중치와 연결돼 있는 설명변수에만 영향을 미칩니다.

$log(\frac{p}{1-p})=\hat{\beta}_0+\hat{\beta}_1 x + \hat{\beta}x_2 +...$

위와 같은 식이 있을 때, 예를 들어 $\beta_2$를 학습하는 데 있어서 $\beta_2$만 영향을 미친다는 뜻입니다.

$\beta$ 추정이 완료되었고, 새로운 데이터가 들어왔을 때 두 범주 중 한 범주에 속할 확률을 물어봅니다.
그 확률 값은 $p=\frac{1}{1+e^{-(\hat{\beta}_0+\hat{\beta}_1x_1+\hat{\beta}_2x_2+...)}}$ 식으로 표현되고,
$(\hat{\beta}_0+\hat{\beta}_1x_1+\hat{\beta}_2x_2+...)$ 이 식을 a라고 표현하면, 위의 그림과 같이 S자 형태의 curve가 그려집니다.

특정 범주에 속할 확률을 로지스틱 회귀분석을 통해 산출하였고, 한쪽 범주로 할당해줘야 합니다.
확률값을 0 아니면 1로 변환해 줘야 합니다.
- 이때 사용되는 것이 cutoff(threshold)이고, default 값은 0.5입니다.

[출처] : https://www.youtube.com/watch?v=kgIaWJvQdUQ&list=PLetSlH8YjIfXMOuS4piqzJRvSZorDnNUm&index=8

MLP (Multi Layer Perceptron)

chaeniverse — Sat, 21 Sep 2024 21:39:39 +0900

Perceptron: Limitation

먼저 단일 perceptron이 갖는 한계에 대해서 설명하겠습니다.
perceptron이란 classification 관점에서 봤을 때 두 category를 구분하는 초평면을 만드는 linear model입니다.
linear model은 이차원일 경우 1번(핑크색)과 같이 이 두 데이터 사이를 가장 잘 구분하는 하나의 직선을 찾습니다.
2번(핑크색)과 같이 데이터가 있다고 하면, 다중선형회귀분석으로 표현되는 regression model은 이 데이터에 대해서 가장 적합한 회귀직선을 찾습니다.
2번(핑크색)에서 저런 곡선(연두색)을 찾아낼 수 있다면, 설명변수와 종속변수가 갖고 있는 복잡한 관계를 잘 설명할 수 있습니다.
문제는 설명변수와 종속변수의 관계식이 선형이 아닐 때 발생합니다.

Introduction

선을 여러 개 그어서 합치자는 게 mlp의 핵심입니다.
- 복잡한 문제를 풀기 위해 small and simple problem으로 decompose 하는 것입니다.
왼쪽 그림을 보았을 때, 부호들을 잘 구분하려면,
왼쪽 하단에 있는 -(마이너스)를 구분할 수 있는 퍼셉트론을 만들고, 오른쪽 상단에 있는 -(마이너스)를 구분할 수 있는 퍼셉트론을 만든 후 이 둘을 조합하면 됩니다.
- 이는 오른쪽에 위치한 perceptron이 두개인 mlp에 대한 설명입니다.
perceptron은 선형 모형입니다. 이 선형 모형을 어떻게 조합하느냐에 따라 다양한 형태의 비선형 경계면 혹은 함수식이 만들어질 수 있습니다.

1번(핑크색)은 hidden layer가 단 하나인 mlp입니다.
- 중간에 위치한 layer를 hidden layer라고 합니다.
- 이 hidden layer를 여러 개 배치해서 모델의 복잡도를 높일 수 있습니다.
3번(핑크색)처럼 hidden layer의 수가 점점 많아지면 -> 딥러닝 구조가 되는 것입니다.

Decision boundary of MLP

다음으로 각각의 알고리즘들이 갖는 특징을 비교 및 설명하겠습니다.
만약에 decision boundary가 piece-wise linear boundary (어떤 선들의 조합)이라고 하면,
logistic regression은 그릴 수 있는 선의 개수가 하나입니다.
그러나 이 선의 방향이나 기울기에 대해서는 제약이 없습니다.
반면에 decision tree는 여러 개의 선을 그릴 수 있습니다.
그러나, 선은 축에 수직으로 그려져야 합니다.
mlp는 선의 개수를 사전에 정할 수 있습니다.
즉, 모델의 복잡도를 저희가 직접 조절할 수 있습니다.
모델의 복잡도를 조절하기 위해서, hidden layer의 수 혹은 hidden node의 수를 바꿀 수 있습니다.
- 본 강의에서는 hidden layer의 수는 하나로 고정하고, hidden node의 수를 바꿔가면서 학습을 진행합니다.
또한, mlp는 선의 방향에 대해서도 제약이 없습니다.

Basic Structure

이번 슬라이드에서는 다층 퍼셉트론 예시를 보겠습니다.
hidden node로 표현된 동그라미 하나가 perceptron 하나를 의미합니다.
$h_1$부터 $h_p$까지 p개의 perceptron이 존재합니다.
각각의 설명변수들은 각 perceptron으로 다 연결이 됩니다.
- $x_1$에 대해서 첫번째 perceptron은 $w_{11}$이라는 가중치에 의해서 연결됩니다.
- p번 perceptron에 대해서는 $w_{1p}$라는 가중치 에 의해서 연결됩니다.
$w_{11}$과 $w_{1p}$는 같지 않을 확률이 높습니다.
마지막에 각각의 perceptron이 처리했던 정보들을 취합합니다.

$y=\sum_{i=0}^p w_p^(2) h_p$에서 (2)의 의미는 hidden node에서 output node로 연결되는 가중치라는 뜻입니다.
예를 들어 $w_{dp}^(1)$ 이렇게 표현하면 d번째 변수가 p번째 hidden node에 연결되는 가중치라는 것입니다.
- 여기서 (1)은 input과 hidden node를 연결하는 가중치입니다.

MLP를 이용한 classificaion 문제는 접근 방식이 조금 다릅니다.
classification은 output node가 복잡하게 만들어집니다.
output node의 개수는 class의 수와 같습니다.
- encoding은 one-hot encoding을 수행합니다.
$z_j=\sum_{i=1}^p w_{jp}^{(2)}h_p$ : 여기서 $z_j$는 각 hidden node로부터 받은 선형 결합 값입니다.
$y_j$의 output node는, z값에 exponential을 씌운 값입니다.
- z가 항상 0보다 큰 값을 갖게 하기 위해서 입니다.
$y_j=\frac{e^{z_j}}{\sum_{k=1}^{c}e^{z_k}}$ 이 식은 1번부터 c번까지 output node의 z값에 전부 exponential을 취하고 더한 것입니다.
- $y_1+y_2+...+y_c=1$ 이 식이 항상 성립합니다. 이때, $0\leq y_i \leq 1$ 를 만족합니다.
- $\sum_{i=1}{c}y_i=1$ : 각각의 출력 node의 최종적인 output은 해당 범주에 속하는 확률로써 해석할 수 있습니다.
- $y_j=\frac{e^{z_j}}{\sum_{k=1}^{c}e^{z_k}}$ : 이 식을 softmax function이라고 합니다.

The role of hidden nodes

hidden node의 개수는 인공신경망의 복잡도를 결정합니다.
hidden node를 많이 사용할수록 복잡한 decision boundary를 만들 수 있습니다.
- 이 페이지의 예시 그림을 통해서도 알 수 있습니다.

XOR problem revisited

MLP가 어떻게 작동하는지 원리를 설명하겠습니다.
1번과 같은 상황에서 두 범주를 구분하는 mlp를 만들겠습니다.
- 왼쪽 하단에 위치한 파란색 동그라미만 구분할 수 있는 하나의 직선식을 만들어보겠습니다.
- $a_1=x_1+x_2-\frac{3}{2}$ 입니다.
- 이 식을 구조로 나타내면 3번입니다.
원래는 activation function : $\frac{1}{1+e^{-a}}$를 쓰는데, 여기서는 exponential을 정의하기 어려우므로, step function을 사용합니다.
- step function이란 a값이 0보다 크거나 같으면 1을 반환하고 0보다 작으면 -1을 반환하는 함수입니다.

다음으로 오른쪽 상단에 위치한 파란색 동그라미만 구분할 수 있는 직선식을 만들어보겠습니다.
해당하는 직선식은 $a_2=x_1+x_2-\frac{5}{2}$입니다. 이 직선식은 2번과 같이 표현됩니다.
- 이 선 아래 있는 세 개 점들(주황색 네모 두개, 파란색 동그라미)에 대해서도 a를 구하고 다시 activation을 시키면 -1이 나옵니다.
  - 마지막 하나는 1이 나옵니다.

계속해서, 원래 $x_1$, $x_2$라는 2차원 공간에 있던 네 개의 점들을 $h_1$, $h_2$라는 2차원 공간으로 매핑시킵니다.
$o=h_1+h_2-1$이라는 직선식을 만들어서 두 범주(동그라미, 네모)를 구분할 수 있게 되었습니다.
같은 활성 함수에 넣어 계산 해보면,
3번처럼 1, -1, -1 이 됩니다. 최종적인 output node는 4번 표의 y 컬럼처럼 구분이 됩니다.
원래 공간에서는 linearly non-separable 했는데
h라는 hidden node, 즉 perceptron에 의해 분리된 공간 상에서는 두 범주(동그라미, 네모)가 separable한 상황이 되었습니다.
정리하면, 원래 공간에서 선형적으로 분리가 불가능했던 데이터 셋을,
부분적으로 선형으로 분리시킨 다음에,
그걸 결합해서 선형적으로 분리가 가능하게 만드는 것이 mlp의 원리입니다.

General formulation

위 슬라이드는 각각의 노드를 구하는 계산식입니다.

Error Back-Propagation

이번에는 gradient descent를 갖고 backpropagation을 설명하겠습니다.
먼저 1번에 해당하는 hidden node와 output node 사이의 가중치는 $w_j^(2)$만 해결하면 됩니다.
- 이를 정리하면, $(y_k-\hat{y}_k)\cdot h_j$가 됩니다.
현재 정답과 $y_k$ 노드의 mlp에 의해 추정된 값 $\hat{y}_k$ 차이에 비례해서 gradient가 계산됩니다.

$\frac{\partial L_k}{\partial w_{ji}^{(1)}}=\frac{\partial L_k}{\partial y_k}\cdot \frac{\partial y_k}{\partial w_j^{(2)}}\cdot \frac{\partial h_j}{\partial a_j}\cdot \frac{\partial a_j}{\partial w_{ji}^{(1)}}\\ =(y_k-\hat{y}_k)\cdot w_j^{(2)}\cdot a_j \cdot(1-a_j)\cdot \mathbf{x}_{kj}$

반면에 1번에서 첫번째 input layer와 hidden layer 사이의 가중치에 대한 gradient를 계산해보면,
첫번째 실제 값과 추정된 값 사이의 차이가 얼마나 크냐,
그리고 가중치에 연결되어 있는 input node의 값이 얼마냐 에 따라 그래디언트가 결정됩니다.

예시를 살펴보겠습니다.
1번 식과 2번 식에 넣어서 계산해보면, 1, -1.5가 나옵니다.
output node를 그냥 1 1 1로 연결해 보겠습니다.
현재 가중치로 y값을 계산하면,
$x_1=\frac{1}{2}$이고, $x2=\frac{1}{2}$이니까 $a_1=1$, $a_2=-1.5$가 됩니다.
이걸 activation function에 넣으면 0.269, 0.818이 나옵니다.
이걸 다시 $\sum w_j^{(2)} h$ 식에 넣어서 계산을 하면 2.087이 나옵니다.

앞선 예시를 갖고 이제 update를 하겠습니다.
hidden layer하고 output layer를 사용해서, $\eta(y-\hat{y}\times h_1)$에서 $\eta$에 값을 넣습니다.
- $\eta$는 학습률이라고 할 수 있습니다.
학습률을 0.1이라고 가정하면,
$w_1^{(2)}(new)$, $w_2^{(2)}(new)$, $w_0^{(2)}(new)$에 넣어 update를 하면,
하나의 data point에 대해 1.029, 10.89, 1.109가 나옵니다.

이번에는 hidde node1에 해당하는 부분을 update 하겠습니다.
원래는 1번과 같이 1, 1, 0 이었는데, 해당하는 식에 넣어 계산을 하면 1.011, 1.011, 0.021로 update가 됩니다.
두번째 hidden node에 대해서도 동일한 방식으로 update를 진행합니다.
앞선 내용들을 계속 반복함으로써, data point를 번갈아 제공하며 최적의 performance를 내는 모형을 학습시킬 수 있습니다.

Other properties

mlp에는 몇 가지 종료 장치를 걸 수 있습니다.
1. weight의 변화량이 적을 때
2. 독립된 검증 데이셋을 사용해서 예측 오차가 일정 수준 이하로 떨어졌을 때
3. epoch을 사전에 정한 만큼 충분히 도달했을 때
또한 학습 데이터를 갖고 iteration을 계속 하면 overfit이 발생합니다.
- 이 overfit을 방지하기 위한 몇가지 장치들이 있습니다. (여기서는 생략하겠습니다.)

[출처] : https://www.youtube.com/watch?v=Wsvem-tuCyM&list=PLetSlH8YjIfXMOuS4piqzJRvSZorDnNUm&index=16

XGBoost

chaeniverse — Sat, 21 Sep 2024 14:39:10 +0900

Introduction

먼저 XGBoost의 역사를 살펴보겠습니다.

처음에는 단일 의사결정 나무에서 시작하였고, 이것에 대한 ensemble 기법인 bagging이 등장하였습니다.
그 bagging에서 split하는 데 있어서 변수를 random하게 선택하는 random forest 기법이 제안되었습니다.
다음으로 stump tree를 base learner로 하는 boosting이 등장하였고, 그거를 다시 gradient를 이용해서 boosting하는게 gradient boosting입니다.
마지막은 xgboost입니다. xgboost는 gradient boosting을 기반으로 하였고,
여기서 좀 더 빠르게 연산을 수행하고 대용량 데이터에 대해서도 처리하기 위해 고안된 기법입니다.

위 그림은 xgboost의 성능을 높이기 위해 필요한 장치들입니다.
xgboost는 gbm의 성능, 스케일, 속도를 최적화하기 위해 극한으로 빠르게 연산을 수행합니다.
- 약간의 성능 저하도 발생하지만, xgboost가 가진 장점으로 커버 가능합니다.
xgboost는 하나의 머신에서 데이터를 더 많이 사용할 수 있게 하고, 병렬 처리도 가능합니다.

xgboost는 gradient boosting machine의 일종으로, 보다 빠른 연산을 위해 approximation solution을 찾습니다.
xgboost를 알고리즘 측면에서 살펴보겠습니다.

Split Finding Algorithm

보통 decision tree는 최적의 split point를 찾기 위해 exact greedy algorithm을 사용합니다. (모든 변수를 탐색하는 것을 의미합니다.)
따라서 항상 optimal solution을 찾아줍니다.
하지만, 데이터가 메모리에 다 담기지 않는다면 greedy algorithm을 수행하기 어렵습니다.
또한, 모든 경우의 수를 다 탐색해야 하기 때문에 병렬 처리가 불가능합니다.
$for\ j\ in\ sorted(I,\ by\ \mathbf{x}_{jk})\ do$ : 위의 pseudo code에서 이 부분이 모든 경우의 수를 탐색하는 것을 의미합니다.
앞선 두 가지의 단점 때문에 이 과정을 approximation하는 알고리즘이 존재합니다.

이제 approximiation하는 알고리즘에 대해 설명하겠습니다.
첫 번째 단계는 전체 데이터가 갖고 있는 영역을 percentile에 따라 분할합니다.
- 여기서 small k는 변수의 index입니다.
각각의 변수들에 대해서 학습 training data를 정렬시켜놓고,정렬된 데이터에서 percentile을 보고 일정한 갯수만큼 분할을 합니다.
- 이때 사용되는 hyperparameter는 $\epsilon$ 입니다.
분할된 덩어리들은 bucket이라고 합니다. 현재 위에서 보이는 바와 같이 l개의 bucket이 존재합니다.
- 이 bucket들에 대해서 따로따로 split point를 찾습니다. -> 이는 뒤에서 예시를 통해 설명하겠습니다.

예시를 들어 설명하겠습니다.
먼저 data를 오름차순 크기 순으로 정렬합니다.
exact greedy algorithm이라면 핑크색 네모 단위로 split해서, 각각의 bucket에서의 처음부터 마지막까지 gradient를 계산합니다.
이렇게 되면 총 39개의 candidate split이 생깁니다.
여기서 gradient가 가장 큰 방향으로 best split point를 정합니다.

한편, approximation algorithm에서는, 빨간색 선처럼 bucket을 나눕니다.
- 여기서 핵심은, 각각의 bucket에 대해서 gradient를 따로따로 계산한다는 점입니다.
- 구체적으로, 1번(초록색)에서는 3개의 gradient를 계산할 수 있습니다.
- 따라서 1번 bucket에서의 candidate split은 총 3개입니다. 여기서 best split을 찾습니다.
- 이와 같이, 2번, 3번, ... , 10번 bucket에 대해서 마찬가지로 진행합니다.
현재 best split point가 있는 bucket말고 나머지 9개 bucket에서는 gradient를 통해 얻을 수 있는 정보가 없습니다.
- 모든 bucket에 있는 label이 전부 같기 때문입니다.
반면, 가운데(보라색) bucket에서, 저 지점(보라색 선)에서 split했을 때 얻을 수 있는 정보량이 최대가 됩니다.
- 따라서 best split point는 저 지점으로 정해집니다.

앞선 내용을 산술적으로 살펴보겠습니다.
exact greedy algorithm은 총 39번의 candidate split에 대한 gradient를 계산해야 합니다.
반면 approximation algorithm은 각 bucket마다 3번씩 gradient를 계산하면 됩니다.
- 10*3 = 30, 총 30번의 계산을 수행합니다.
그리고 이는 병렬 처리가 가능합니다.
- 1번 bucket(초록색)은 thread1에 태워서 gradient를 계산하고, 2번 bucket(노란색)은 thread2에 태워서 계산하고, ... 이런식으로 총 10개의 bucket에 대해서 동시에 계산하는 병렬처리가 가능합니다.
- 이는 계산 시간을 더 단축시켜주는 요소입니다.
앞선 예시는 약간 극단적인 케이스로, approximation algorithm으로 best split을 찾지 못하는 경우도 있습니다.

이전 예시를 갖고 계속 설명하겠습니다. 버킷을 위에 보이는 것처럼 빨간색 선으로 구분하였습니다.
approximation 하는 데 있어서 트리 별(per tree)로 할 수 있고, split 별(per split)로 할 수도 있습니다.
- global variant = per tree / local variant = per split
per tree 관점에서, best split point를 찾았기 때문에 left child와 right child로 구분됩니다.
이렇게 구분된 상황에서 다시 partitioning을 해야 합니다.
- 여기서 global variant는 처음에 만들어놓은 bucket 기준을 그대로 사용합니다.
원래 첫번째 parent node에는 bucket 10개가 있었는데, global variant를 쓰는 순간, left child node에서 탐색할 수 있는 bucket이 5개가 나옵니다. (right child node는 6개입니다.)
global variant는 tree가 깊어질수록 탐색해야 할 bucket의 수가 줄어듭니다.
bucket 내부에 있는 example들의 size는, (bucket이 잘린 경우를 제외하고는) parent node에서 leaf node에 이르기까지 동일하게 유지됩니다.

한편, local variant에도 parent node에 bucket 10개가 있습니다.
여기서 left child node와 right child node로 split 했을 때,
각각의 child node에 대해서도 동일한 bucket size를 유지합니다.
즉, 왼쪽과 오른쪽 각각의 bucket size는 10개입니다.

이런식으로 계속 진행되면 local variant는 split이 계속되어도 bucket size는 항상 동일하게 유지됩니다.
즉, 하나의 bucket에 들어가는 example의 수는 depth가 깊어질수록 수가 점점 감소할 가능성이 높아집니다.
이런식으로 두 개의 split finding을 통해서 실제 split candidate도 줄이고 병렬 계산도 수행할 수 있습니다.
쉽게 말하면, global variant는 node가 깊어져도 parent node에서 한 bucket에 들어가는 example들의 size를 유지하는 것이고, 반면 local variant는 node가 깊어져도 parent node의 bucket size를 유지하는 것입니다.

위 그림은 exact greedy algorithm과 local variant & global variant algorithm의 성능을 비교한 그래프입니다.
여기서 $\epsilon$으로 표시한 게 hyper-parameter이고,
보통은 $\frac{1}{\epsilon}$개의 bucket이 만들어집니다.
- $\epsilon$이 0.3일 경우 대략 3~4개가 만들어지고, 0.05이면 20개 정도가 만들어집니다.
여기서 핵심은, approximation algorithm을 사용해도 성능이 그리 나쁘지 않다는 것입니다.

Sparsity-Aware Split Finding

다음으로 approximation을 위한 xgboost의 두번째 장치를 설명하겠습니다.
- 왼쪽은 알고리즘이고 오른쪽은 쉽게 설명한 예시 그림입니다.
여기서 목적은 missing value (결측치)를 효율적으로 처리하는 것입니다.
그래서 이 경우에는 각각의 split마다 default direction을 학습 과정에서 찾아냅니다.
- 그런 다음, new data가 들어왔을 때 어떤 value가 missing이면 처음에 정의했던 default direction으로 보냅니다.
오른쪽 그림을 살펴보겠습니다.
여기서 "value"는 실제로 특정 변수의 값이고, "class"는 정답 범주를 의미합니다.

$//\ enumerate\ missing\ value\ goto\ right$

$//\ enumerate\ missing\ value\ goto\ left$

즉, 두 가지 경우를 각각 비교한 다음에 더 좋은 direction을 찾습니다.
구체적으로 설명하겠습니다. 예를 들어, $//\ enumerate\ missing\ value\ goto\ right$ 에 따라 missing value를 전부 오른쪽으로 보내겠습니다.
이렇게 보낸 다음에, candidate split을 찾습니다. -> 빨간색 선
left에 대해서도 동일하게 진행합니다. -> 파란색 선
- 위의 결과로, missing value를 right direction으로 보냈을 때와 left direction으로 보냈을 때의 candidate split이 정해졌고, 그에 따른 성능을 알 수 있습니다.
left일 때와 right일 때를 비교했을 때 left가 성능이 더 좋습니다.
- 그러면 이 변수에 대해서는 new data가 들어왔을 때 missing value라면 left로 보내지는 것입니다.

왼쪽은 앞선 default direction 설명에 따른 예시입니다. (따로 설명은 하지 않겠습니다.)
오른쪽은 sparsity aware algorithm을 사용했을 때 computation 시간이 상당히 줄어드는 것을 보여줍니다.

System Design for Efficient Computing

다음은 tree에 대한 병렬화 파트입니다.
tree를 학습시키는데 있어서 가장 시간이 많이 걸리는 부분들은, 각각의 변수에 대해서 sorting을 합니다.
- 가장 효율적으로 sorting을 하더라도 $O(nlogn)$ 만큼의 시간이 필요합니다.
- data가 커지면 data*$logn$ 만큼 커집니다.
따라서 xgboost는 data를 row-wise로 보지 않고, column-wise 포맷으로 data를 저장합니다.
구체적으로, 사전에 각각의 column들을 sorting해 놓습니다.
각 column들이 미리 sorting이 되어 있으니까, 해당하는 feature column들에 대한 index들이 달라집니다.
- 이 과정은 tree를 학습시키기 전에 한 번만 미리 만들어 놓으면 됩니다.
- 따라서 중간에 sorting 하는 과정이 생략되기 때문에 효과적인 연산이 가능합니다.

[출처]: https://www.youtube.com/watch?v=VHky3d_qZ_E&list=PLetSlH8YjIfWMdw9AuLR5ybkVvGcoG2EW&index=27

SVM (Support Vector Machine) 1탄

chaeniverse — Fri, 20 Sep 2024 23:08:27 +0900

Introduction

SVM은 분류 알고리즘으로, binary classification을 합니다.

위 그림은 SVM에서 사용되는 함수들입니다.
original SVM은 기본적으로 선형모형입니다. 그래서 3번째 식에 속합니다.

선형 분류기의 목적

SVM은 binary classification이기 때문에 label, 즉 y에 해당하는 값을 (-1,1)로 지정해줍니다. (이유는 뒤에서 설명하겠습니다.)

Problem: find hypothesis $h: X \rightarrow\left\{-1,+1 \right\}$ in $H$ (classifier) with small generalization error $R_D(h)$

저희의 목적은 $X$ 라는 입력 공간 상에서, 각자 학습 데이터의 실제 정답에 해당하는 label(+1과 -1)을 잘 분류하는 classifier $H$ 를 찾는 것입니다.
정리하면, small generalization error인 $R_D(h)$를 가장 작게 할 수 있는 분류기를 찾는 것입니다.

SVM은 linear classifier이기 때문에 high-dimensional에서도 linear seperation을 진행합니다.
위 그림과 같이, 2차원은 선으로 3차원은 면으로 구분합니다.
만약 차원이 3차원보다 높다면(이떄 차원을 d 차원이라고 하겠습니다.), d 차원에서 두 범주를 잘 구분하는 (d-1) 차원의 hyperplane을 찾는 것입니다.

다시 말하면, 위 그림에서 검정색 선과 같은 선형 분류기를 찾는 것입니다.
왼쪽 그림에서 $\mathbf{w}\cdot\mathbf{x}+b=0$ 이 식보다 더 큰 범주에 속하면 +1을, 아니면 -1을 부여합니다.

$H=\left\{\mathbf{x}\rightarrow sign(\mathbf{w}\cdot\mathbf{x}+b:\ \mathbf{w}\in R^d,\ b\in R) \right\}$

정리하면, 모델 H는 $\mathbf{w}\cdot \mathbf{x} +b$ 에 input인 $\mathbf{x}$을 넣어 label을 부여합니다.
이때 음수가 나오면 -1로, 양수가 나오면 +1로 보는게 선형 분류기입니다.
위 식에서 w, b는 hyperparameter입니다.

Local Opimum? Global Optimum!

위 그림에는 label을 정확하게 분류하는 다양한 분류기들이 있고, 분류 경계면이 칠해져 있습니다.
이때 최적의 분류기는 경계면의 margin이 제일 넓은 2번 분류기입니다.

이제 margin의 넓이를 구해보겠습니다.
위의 그림에서 청록색을 분류 경계면이라고 하겠습니다.
plus-plane과 청록색-plane 사이의 gap을 margin이라고 하겠습니다.
청록색에 $x_0$가 있다고 하면, $w^Tx_0+b=0$이 성립합니다.
위 그림에서 $\mathbf{w}$ 는 법선 벡터 입니다.
plus plane에 $x_1$ 이 있다고 하면, $x_1=x_0+pw$ 와 같이 표현할 수 있습니다.
또한 $x_1$이 $w^Tx+b=1$에 있는 값이기 때문에 아래와 같이 전개할 수 있습니다.
$w^Tx_1+b=1\rightarrow w^Tx_0+p\cdot w^Tw+b=1$
이때, $w^Tx_0$와 $b$는 $w^Tx_b=1$에 있는 점이기 때문에 0이 됩니다.
그러면 남는 것은,
$p\cdot w^Tw=1$ 이 되고, $p=-\frac{1}{w^Tw}=-\frac{1}{||w||^2}\rightarrow |p|=\frac{1}{||w||^2}$ 이 됩니다.
즉, $|p|=\frac{1}{||w||^2}$ 이게 margin이 됩니다.

Margin and VC Dimension

margin과 VC dimension 간의 관계를 생각해 보겠습니다.

The VC dimension of a separating hyperplane with a margin $\Delta$ is bounded as follows
$h\leq min( \left [ \frac{R^2}{\Delta^2} \right ],D)+1$
where D is the dimensionality of the input space, and R is the radius of the smallest sphere containing all the input vectors

위 식에서 D는 차원 수이고, R은 전체 Data를 입력공간에서 감싸는 초구의 반지름입니다.
$\Delta$ 는 margin을 뜻합니다.
차원 수는 데이터가 주어지는 순간 고정됩니다.
초구도 단 한 개만 만들어지므로, 고정됩니다.
가변적인 것은 margin 뿐입니다.
$\Delta$ 가 커지면 $\left [ \frac{R^2}{\Delta^2} \right ]$는 작아질 것입니다.
margin을 매우 키우면 dimension보다 $\left [ \frac{R^2}{\Delta^2} \right ]$이 더 작아지는 상황이 발생할 수 있습니다.
margin이 충분히 커서 dimension보다 $\left [ \frac{R^2}{\Delta^2} \right ]$이 더 작아지면, VC dimension은 $\left [ \frac{R^2}{\Delta^2} \right ] +1$이 됩니다.
반대로 margin이 작으면 VC dimension이 D+1 이 됩니다.

만약 margin을 충분히 키우는 선형모형이 된다면, VC dimension 자체가 D+1 보다 작아질 수 있습니다.

$R[f]\leq R_{emp}[f]+\sqrt{\frac{h(ln\frac{2n}{n}+1)+ln\frac{\delta}{4}}{n}}$

margin을 최대화 한다는 것은 -> VC dimension을 줄어들게 하고 -> VC dimension이 줄어드는 것은 -> h를 줄이는 것입니다.
h를 줄이면, $h(ln\frac{2n}{n}+1)$가 작아지고 -> capacity term이 작아지고 -> ... -> generalization risk가 작아진다.
정리하면, margin이 최대화되는 점을 찾으면 -> VC dimension이 작아지고 -> capacity term도 작아지고 -> 따라서 기대할 수 있는 risk가 줄어듭니다.

앞선 설명을 이해하기 쉬운 예시로 나타낸 슬라이드입니다.

Support Vector Machine: Cases

hard margin은 예외를 벗어나는 것을 허용하지 않습니다. 반면 soft margin은 예외를 허용합니다.
input space에서 선형 분리가 불가능한 상황에서는, kernel trick을 이용합니다.
SVM은 상황에 따라 여러 case가 있습니다. 하나씩 살펴보겠습니다.

SVM Case I: Linear Case & Hard Margin

선형으로 입력 공간에서 분리가 가능하면서, hard margin의 case입니다.

- Objective function
min $\frac{1}{2}||\mathbf{w}^2||$

- Constraints

$s.t.\ y_i(\mathbf{w}^T\mathbf{x}_i+b)\geq 1\ \ \forall i$

margin이 $\frac{2}{||w||^2}$ 라고 하겠습니다. 이를 최대화하기 위해 역수를 취하면,
$\frac{1}{2}||\mathbf{w}^2||$가 되고, 이 식을 최소화하는 문제로 바뀌게 됩니다.
저희가 구하고자 하는 것은 (X, y)가 주어졌을 때, parameter "w, b"입니다.

그림으로 설명하면, 파란색 동그라미는 +1 평면보다 위쪽에 위치해야 합니다.
반면에, 빨간색 동그라미는 -1 평면보다 아래쪽에 위치해야 합니다.
이를 식으로 표현하면 다음과 같습니다.
$y_i=+1\\ w^Tx_i+b\geq 1$
$y_i=-1\\ w^Tx_i+b\leq -1$

이는 $y_i(w^Tx_i+b)\geq 1$로 한번에 나타낼 수 있습니다.

SVM에서 수학적 원리를 알기 위해 필요한 수식 전개입니다.
Lagrangian multiplier를 이용하며, $L_P$ 문제를 $L_D$ 문제로 바꿔서 쉽게 풀어내는 원리입니다.
자세한 수식에 대한 설명은 [출처]에 있는 동영상 강의를 봐주시기 바랍니다.

위 식에서 $\frac{1}{2}||\mathbf{w}^2||$가 원래 minimize 해야 하는 목적 함수이고,
$(y_i(\mathbf{w^T\mathbf{x}_i}+b)-1)$ 는 제약식입니다.
$\alpha_i$는 lagrangian 승수이고, 모든 제약식에 대해 전부 만족해야 하므로, 식은
$\sum_{i=1}^{N}\alpha_i(y_i(\mathbf{w^T\mathbf{x}_i}+b)-1)$로 표현할 수 있습니다.
Primal 문제의 최적해는 KKT condition에 의해서 찾을 수 있습니다.
w & b가 미지수이기 때문에, 이를 편미분하면 $w-\sum_{i=1}^{N}\alpha_iy_ix_i=0$이 나옵니다.
그래서 최적해 식이 $w=\sum_{i=1}^{N}\alpha_iy_ix_i$와 같이 나온 것입니다.

b에 대해서 편미분하면 $-\sum_{i=1}^{N}\alpha_iy_i=0 \rightarrow \sum_{i=1}^{N}\alpha_iy_i=0 \rightarrow \sum_{i=1}^{N}\alpha_iy_i=0$와 같이 식이 전개 됩니다.
이제 앞선 Primal 문제를 Dual 문제로 치환한 후 $\alpha$에 대한 식으로 바꿔보겠습니다.

$L_P$ 문제는 앞서 찾은 KKT condition에 의한 $\mathbf{w}$의 최적해, b의 최적해를 이용해서 $L_D$ 문제로 변환할 수 있습니다. (자세한 건 동영상 강의 참조)
수식 전개를 거친 후 이를 $\alpha$에 대한 식으로 매우 단순화 시키면, $-\frac{1}{2}\lambda\alpha^2+\alpha$와 같이 $\alpha$에 대한 최대값을 찾는 문제가 됩니다.즉 $L_D$는 $\alpha$에 대한 convex function 입니다.

정리하면, primal 문제가 dual 문제로 바뀌면서 $\alpha$에 대한 문제가 되는 것입니다.
이에 따라 최적해는 다음과 같이 구할 수 있습니다.
$x_{new}$ 라는 새로운 값이 들어오면, $f(x_{new})=sign(\sum_{i=1}^{N}\alpha_i y_ix_i^T x_{new}+b)$와 같이 구할 수 있습니다.

추가적으로 알아야 할 사항은, 분류경계면에서 왼쪽 경계와 오른쪽 경계에 위치한 값들만이 w를 결정하는데 영향을 미칩니다.
이들을 support vectors라고 합니다.

[출처] : https://www.youtube.com/watch?v=eZtrD6pYaaE&list=PLetSlH8YjIfWMdw9AuLR5ybkVvGcoG2EW&index=9

Random Forest

chaeniverse — Thu, 19 Sep 2024 14:27:41 +0900

Introduction

*bagging: 데이터 셋을 독립적으로 생성하는 데 있어서 복원추출을 사용하는 방법론.

그렇게 복원 추출된 bootstrap에다가 variance가 높고 bias가 낮은 알고리즘(= 복잡도가 높은 알고리즘)을 개별적으로 학습시켜 최종적으로 결합하게 되면 효과를 봅니다.

Random forest는 이 bagging의 특수한 형태입니다.
Random forest는 반드시 decision tree를 base learner로 봅니다.
의사결정나무 알고리즘 여러개를 학습시켜 결합하게 되면 forest가 됩니다.
Random forest는 ensemble의 다양성을 확보하기 위한 두가지 메커니즘을 갖고 있습니다.
- bagging
- 변수를 랜덤으로 선택한다.

Algorithm

bootstrap size t만큼의 random sample을 만듭니다.
변수를 split 할 때 해당하는 영역을 분할하는 과정에서 원래 p개의 변수 중에서 m개의 변수만을 선택합니다.
- e.g., 이번 영역에 대한 data를 분할할 때는, $x_1$만 사용한다. $x_2$는 사용하지 않는다. 이렇게 제약을 하는 것을 의미합니다.
이렇게 해서 의사결정 나무를 만들고 결과를 결합한다.

More detail

위 그림에서 왼쪽으로 가는 게 training data이고 오른쪽이 OOB data입니다.

Randomly selected variable

bootstrap을 통해 선택된 데이터 셋이 있습니다. X는 25차원의 데이터입니다.
bagging tree: bagging을 한 각각의 bootstrap에다가 모든 변수를 사용해서 의사결정나무를 쓰는 것입니다.
- bootstrap을 이용하여 random으로 sampling한 후 decision tree 한개를 만듭니다.
- 이 과정을 여러번 반복합니다.
- 이 결과들을 하나로 묶으면 bagging tree라고 할 수 있습니다.
- 이때, $T_1$, $T_2$, ..., $T_B$의 결과는 거의 비슷합니다. (왜냐면 같은 dataset에서 random sampling 한 것이기 때문입니다.)

random forest는 위와 같은 그림이 있을 때 bootstrap을 사용한 후 -> random variable selection을 거치고 -> decision tree를 만듭니다.
변수 선택이 들어갔기 때문에 개별 tree의 성능은 떨어지지만, 이를 여러 개의 tree로 묶으면 성능이 올라갑니다. (이게 random forest의 재밌는 점입니다.)

Generalization Error (일반화 성능)

$Generalization\ Error\leq\frac{\bar\rho(1-s^2)}{s^2}$

여기서, $\rho$는 각각의 tree들이 갖고 있는 결과들의 상관관계이고,
$s^2$는 얼마나 정확한지 나타내는 지표입니다.
따라서 알고리즘이 정확할수록 $s^2$는 높아지고, 개별 모델의 다양성이 높을수록 $\rho$는 낮아집니다.
즉, 개별 모델들이 성능이 높고, 그 모델들이 서로 연관성이 낮을수록 일반화 성능이 좋아집니다.

Variable Importance

Random Forest의 장점은 변수의 중요도를 산출할 수 있다는 것입니다.
dataset에서 bootstrap을 사용해 tree를 만들고, 남은 OOB data를 이 tree에 적용합니다.
- train data를 재사용하지 않으면서 validation을 할 수 있습니다.
$e_i$는 원래 OOB 데이터에 넣었을 때 에러입니다. $p_i$는 OOB data에서 중요도를 산출하고자 하는 $x_i$를 permutation 한 것의 에러입니다.
만약 $x_i$가 split에 사용되지 않았으면, $p_i$는 $e_i$와 같습니다. 왜냐면 그 변수를 사용하는 과정에서 tree에 한번도 사용되지 않았기 때문입니다.
- 이를 다시 말하면 i번째 변수는 중요하지 않은 변수라는 것을 뜻합니다.
$x_i$가 split에 자주 사용될수록 $p_i>e_i$가 될 것입니다. 왜냐면 random으로 permutation해서 정보를 뒤죽박죽 바꿔버렸기 때문입니다. 따라서 바뀌기 전의 데이터의 변수를 갖고 만든 모델이 망가져버린 것입니다.
정리하면, 둘 사이의 차이 ($p_i-e_i$)가 크면 클수록 중요한 변수로 판단합니다.

Example

예를 들어, 위에서 보이는 것처럼 원래 값인 $x_i$를 permutation 합니다.
만약 변수 i가 tree를 split 하는 데 한 번도 사용되지 않았다면, 즉, $x_1$, $x_2$, $x_7$만 사용되고 $x_i$는 사용되지 않았다고 하면, 원래 OOB data를 이용한 orginal 에러율 $e_i$와 permutation 시킨 $p_i$가 같아집니다.
그렇기 때문에 tree를 split 하는 데 사용되지 않은 변수라면 중요하지 않은 변수라고 할 수 있습니다.

이번에는, $x_i$가 여러 곳에서 사용된 중요한 변수라고 하겠습니다.
그렇다면 정보를 뒤죽박죽 섞었기 때문에 원래 OOB data의 에러율인 $e_i$보다 permutation시킨 에러율 $p_i$가 훨씬 크게 나타날 것입니다.

m번째 tree에서 변수 i에 대한 random permutation 전후 OOB error의 차이는 아래와 같습니다.

$d_i^m=p_i^m-e_i^m$

전체 Tree들에 대한 OOB error 차이의 평균 및 분산입니다.

$\bar{d}_i=\frac{1}{m}\sum_{i=1}^m d_i^m$, $s_i^2=\frac{1}{m-1}\sum_{i=1}^m (d_i^m-\bar{d}_i)^2$

i번째 변수의 중요도입니다.

$v_i=\frac{\bar{d}_i}{s_i}$

-> 평균이 높고 분산이 낮을수록 변수의 중요도는 올라갑니다.

[출처] : https://www.youtube.com/watch?v=nu_6PB1v3Xk&list=PLetSlH8YjIfWMdw9AuLR5ybkVvGcoG2EW&index=24

A-R Algorithm

chaeniverse — Sat, 7 Sep 2024 11:14:41 +0900

acceptance-rejection algorithm

이상한 분포에 균일 분포를 씌운 뒤 모래를 뿌려서 안쪽에 있는 것만 accept하고 바깥 쪽에 있는건 reject하는 정도만 알고 있었고, 자세한 logic은 몰랐는데 이번에 알게 되었다.

가령,

아래와 같은 이상한 pdf가 있고 저 분포를 따르는 data를 sampling하고 싶다고 가정하자.

그러나, 우린 저 pdf의 분포를 모르기 때문에 근사시키는 방법을 사용해서 sampling을 시도해야 한다.

그래서 이 과정에서 균일 분포 등 우리에게 친숙한 분포를 사용한다.

step1) 저 x축에서 unif(0,1)을 따르는 data들을 10000개 정도 sampling한다.

x축에 표시해둔 눈금이 unif(0,1)에서 뽑아낸 data point라고 생각하자.

균일분포에서 추출한 것이므로 data들이 고르게 분포돼 있는 걸 알 수 있다.

step2) 저 별표를 x축에서의 fixed point라고 하고, fixed point를 기준으로 y축도 마찬가지로 unif(0,a)를 따르는 data point들을 10000개 정도 sampling한다.

step3) then, 저런 식으로 data가 sampling 되는 데, 이때 초록색 부분만 accept하고 나머지 핑크색 부분은 reject한다.

이런 식으로 눈금 쳐진 모든 x축의 data point들에 대해서 이 process를 수행하고, 선택된 data point들의 histogram을 그리면,

이런식으로 그려진다.

그리고 최종적으로 이 data들의 표본평균을 구하여 원래 분포의 평균을 대체하면 된다.