Blog

정의$$ \text{pdf}: f(x) = \frac{1}{\sqrt{2\pi\sigma}}e^{-\frac{1}{2\sigma^2}(x-\mu)^2}\\ mean = \mu, \quad variance=\sigma^2 $$확률론과 통계학에서 정규 분포 또는 가우시안 분포는 연속 확률 분포의 하나이다. 가우시안 분포는 수집된 자료의 분포를 근사하는 데에 자주 사용되며, 이것은 중심극한정리에 의하여 독립적인 확률변수들의 평균은 정규분포에 가까워지는 성질이 있기 때문이다. 가우시안 분포는 2개의 매개 변수 평균 μ과 표준편차 σ에 대해 모양이 결정되고, 이때의 분포를 $N(\mu,\sigma^2)$로 표기한다. 특히, 평균이 0이고 표준편차가 1인 정규분포 $N(0, 1)$을 표준 정규 분포(standard..

정의$$ \text{pdf}: f(x) = \lambda e^{-\lambda x}, \quad \text{cdf}: F(x) = \int_{0}^{t} \lambda e^{-\lambda x} dx = 1 - e^{-\lambda t} \\ \lambda \geq 0 \\ mean = \frac{1}{\lambda}, \quad variance=\frac{1}{\lambda^2} $$사건이 서로 독립적일 때, 일정 시간 동안 발생하는 사건의 횟수가 포아송 분포를 따른다면, 다음 사건이 일어날 때까지 대기 시간은 지수분포를 따른다.지수 분포의 중요한 파라미터는 $\lambda$(단위 시간내 평균 사건 발생횟수)로 포아송 분포의 $\lambda$와 동일한 값이다.포아송 분포와의 관계단위시간 1 당 평균이 ..

정의$$ P(X = k) = \frac{\lambda^k e^{-\lambda}}{k!}\\ mean, variance = \lambda $$주어진 시간간격 안에 베르누이 시행이 성공한 횟수를 확률변수 X로 정의하여 표현하는 이산 확률 분포이다.확률 변수 X의 경우 한번도 성공하지 못할 수 있고, 무한히 성공할 수 도 있기 때문에 다음과 같은 집합을 갖는다. X : {0, 1, 2, 3, …, n, …}시간 간격에 종속적인 특징을 갖고있다. 시간 간격이 넓을 경우 성공횟수가 많아질 수 있고, 반대로 시간 간격이 좁을 경우 성공횟수가 줄어들 수 있다.포아송 분포의 핵심 파라미터는 $\lambda$ 로 포아송 분포의 평균과 분산을 의미한다.포아송 분포 활용 예시1시간에 은행에 업무를 보러 입장한 사람의 수를..

정의$$ P(X = k) = p(1-p)^{k-1}\\ mean = \frac{1}{p} \quad variance = \frac{1-p}{p^2} $$기하 분포(Geometric Distributions)란 베르누이 시행을 처음 성공할 때까지 시행한 횟수를 확률변수 X로 가지는 확률 분포를 의미한다. 여기서 p는 성공할 확률을 의미한다.평균의 경우 성공 확률 p의 역수이다. 어떤 일의 성공 확률이 1/3이라고 하면 보통 3번 만에 성공한다고 직관적으로 이해할 수 있다.분산의 경우 성공확률이 높을수록 분자가 0에 가까워지면서 분산이 작아지고, 반대의 경우 분자가 1에 가까워지고, 분모가 작아지면서 분산 커지게 된다.아래는 어떤 사건의 발생 확률이 0.3일 경우일 때 기하분포 그래프이다.기하분포 활용 예시..

조건부 평균$$ \begin{equation*} E[X|A] = \begin{cases} \text{discrete RV:} & \sum_{x_k \in A} x_k P(x_k|A) \\[2ex] \text{continuous RV:} & \int_{x \in A} x f(x|A) dx \end{cases} \end{equation*} $$조건부 평균이란 표본 공간의 조건에 대한 확률 변수의 평균을 의미한다.여기서 조건이란 확률 변수 X의 축소 또는 제한된 범위를 나타내는 집합이라고 생각할 수 있다.$$ P(x_k|A) = \frac{P(x_k \cap A)}{P(A)} = \frac{P(x_k)}{P(A)} $$이산 확률 변수일 경우 조건부 확률을 위와 같이 표현할 수 있지만, 연속 확률 변수 일 경우..

Moment확률변수에서 모멘트란 확률분포에 의해 대표값이 정해지도록 일반화시킨 통계량의 표현이다.모멘트에는 크게 n차 모멘트($n^{th}$ order moment), n차 중심 모멘트($n^{th}$ order central moment)가 있다.n차 모멘트$$ E[X^n] = \sum_{k=1}^n x_k^n P(x_k) $$이산 확률 변수일 경우, n차 모멘트는 확률 변수$X$가 취할 수 있는 모든 n제곱에 확률 질량 함수 값을 가중치로 곱하고 더한 값으로 정의된다. (쉽게 말하면 가중 합)n차 모멘트는 $X^n$에 대한 기대값(평균)으로 생각할 수 있다.$$ E[X^n] = \int_{-\infty}^{\infty} x^n f_X(x) dx $$연속 확률 변수일 경우, 확률 변수$X$가 취할 수 ..

Partition$$ A_i \subset S, \quad A_i \cap A_j = \emptyset, \quad \bigcup_{i=1}^n A_i = S $$Partition이란 서로 중복되지 않는(배반, mutually exclusive) 부분 집합으로 전체 집합을 분할한 것을 의미한다. 집합 $A_i$는 전체 집합의 부분 집합이어야 하고, 각각의 부분 집합 A들의 교집합은 공집합이어야 한다. 또한 모든 부분 집합 A들의 합집합은 전체집합이 되어야한다.Law of Total Probability$$ P(B) = \sum_{i=1}^n P(B|A_i) P(A_i) = \sum_{i=1}^n P(B \cap A_i) $$전체 확률의 법칙(Law of Total Probability)이란 서로 중복되지..

Diffusion Model이란?디퓨전 모델이란 VAE, GAN과 같은 생성형 모델 중 하나로 데이터(ex 이미지)에 가우시안 노이즈를 추가하여 완전한 가우시안 노이즈 이미지를 만드는 과정(forward process)과 그러한 가우시안 노이즈 이미지에서 역으로 노이즈를 제거하여 온전한 이미지를 만드는 과정(reverse process)를 통해 데이터를 생성한다.Diffusion이라고 표현하는 이유는 노이즈를 추가하는 과정이 물체가 확산하는 과정과 유사하기 때문이다. 예를 들어 잉크가 물에 퍼지는 상황을 생각해보자. 잉크 분자는 점점 물에 퍼지면서 무질서한 상태가 될 것이다. 좀 더 자세히 들여다본다면 아주 짧은 시간 t에서 잉크 분자의 움직임은 현재 위치를 평균으로 가지는 3차원 가우시안 확률분포에서 ..

VAE(Varitional Auto-Encoder)란?VAE는 생성 모델 중 하나로, 오토인코더와 비슷하게 인코더와 디코더로 구성되어 있다.인코더로 latent space의 확률 분포를 도출하고, latent space로부터 디코딩하여 data를 생성하는 생성 모델이다. 이미지를 생성한다란?“이미지를 생성한다”라는 것은 원하는 이미지가 나올 확률이 높은 확률분포에서 샘플링을 한다고 할 수 있다.32 x 32 흑백 이미지가 있다고 가정하자, 하나의 픽셀은 0~255까지의 값을 가질 수 있기 때문에 흑백 이미지의 모든 경우의 수는 $256^{32\times32}$가 된다. 이 경우의 수 안에 흑백으로 표현할 수 있는 모든 이미지가 들어있을 것이다. 만약 우리가 생성하고 싶은 특정 이미지(예를 들어, MNIS..