others
·⏱ 13m
Moran's Index python으로 계산하기
Global Moran' I Moran's Index는 특정 구역 혹은 관계들 속에 군집이 존재하는지를 통계적으로 검정하는 방법입니다. Null Hypothesis: "군집이 존재하지 않는다", 즉, 모든 구역이 Randomness를 가진다는 것...
Page 1 of 1
python-libs
·⏱ 2m
python - Cumulative normal distribution
python에서 누적 정규 분포 함수(CDF, Cumulative normal Distribution Function)을 계산하는 방법을 정리했습니다. 를 이용하면 다음과 같습니다. 를 사용하지 않고 직접 만들어서 처리하는 경우에는 다음과 같죠....
python-libs
·⏱ 6m
scipy - sparse matrix.
What is sparse matrix? Sparse matrix는 한국말로 "희소행렬"이라고 할 수 있으며, 대부분이 비어 있는 행렬(matrix)라고 생각하시면 됩니다. 예를 들어 보겠습니다. 우리에게 행이 100, 열이 100개인 matri...
python-libs
·⏱ 5m
python - scipy - 두 집단의 평균이 같은지 파악하는 ttest
두 집단이 있다고 합시다. 남성과 여성이라는 두 집단이 있습니다. 가령 이 두 집단이 같은 성질을 가지는지, 다른 성질을 가지는지 비교를 해보고 싶을 때가 있겠죠. 예를 들어, 이 두 집단의 키 평균은 같다고 할 수 있는지 혹은 다른지 등에 대해...
python-libs
·⏱ 4m
matrix decomposition
원래는 matrix decomposition을 해서, 이후에 또 어디에 쓰일 수 있다, 뭐 이런 부분까지 쓰려고 했는데, 정작 정리하고 나니, 그부분을 쓰는게 모호해지더라구요. 그냥, 필요에 따라서 행렬방정시에서 계산을 좀 효율적으로 하거나 하는...
python-libs
·⏱ 3m
student-t dist를 알아보겠습니다.
solving fat-tail with student-t 예측 문제들에서는 사실 이 아이들이 student-t를 따르든지, normal dist를 따르든지 큰 상관이 없을 것 같습니다만(exp등을 따르면 예측률에 약간 차이가 발생할 수는 있지만)...
python-libs
·⏱ 5m
데이터의 분포를 검정해봅시다.
데이터를 분석하기 전에 개별 데이터 칼럼들에 대해서 데이터 정리를 해줍니다. skewness가 있는지, qqplot상 normality를 가지는지를 체크해보죠. 그런데, 이건 어느 정도 그냥 그림으로 때려 보는 거고, 엄밀하게 'normality...
data-science
·⏱ 8m
Q-Q plot을 이용한 normality test
현재 데이터 분포가 가우시안분포를 따르는가? 다양한 확률분포가 있는데, 그중에서, 수치들을 '가우시안 분포'를 따른다고 가정하고 모델링할 때가 많습니다. 그런데, 이건 가정이잖아요. 편하기는 한데, 정말 해당 데이터가 "가우시안 분포"를 정말 따...
data-science
·⏱ 3m
LP and QP 풀기
다시 최적화시간이 생각납니다 하하핫. LP는 Linear Programming의 약자인데, 간단히 말하면 연립방정식의 해를 찾는 것라고 해도 아무 문제가 없습니다. LP의 기본적인 형태는 대략 다음과 같습니다. 목적식이 있고, 이 목적식을 만족하...
python-libs
·⏱ 5m
optimization with constraint
constraint가 있을 경우에 optimization 방법 이전에는 constraint가 없는 상황에서, 비교적 간단하게 최적화를 했습니다. constraint가 없는 경우에는 그냥 그려진 objective function만을 미분하여 gra...
python-libs
·⏱ 4m
scipy를 이용하여 최적화를 해봅시다.
scipy를 이용한 optimization. 제가 공부한 포스트에서는 로 importing한 다음 를 이용하는데, 요즘에는 이게 막혀 있는 것 같아요. 묘하게도 반드시 와 같은 방식으로 사용해야 합니다. 아무튼, 이전에 포스팅한 sympy에 비해...
data-science
·⏱ 9m
data preprocessing 잘하기
data preprocessing 을 잘해보려고 합니다. skewness 해결, MinMaxScaler, robustScaler 등을 처리합니다. missing value도 다루어야 하는데, missing value의 경우는 상황에 따라 달라지는...
data-science
·⏱ 6m
data의 skewness를 삭제합시다.
skewed data를 어떻게 해결할까요. 예측 문제라는 것은 결국 "A로부터 B를 추론하는 것"인데, A의 분포와 B의 분포가 다를 수 있습니다. 아니, 다르게 표현하면, A의 어떤 부분이 B를 매우 예측하는데, 그것이 A라는 변수 혹은 데이터...