data-science
·⏱ 8m
Q-Q plot을 이용한 normality test
현재 데이터 분포가 가우시안분포를 따르는가? 다양한 확률분포가 있는데, 그중에서, 수치들을 '가우시안 분포'를 따른다고 가정하고 모델링할 때가 많습니다. 그런데, 이건 가정이잖아요. 편하기는 한데, 정말 해당 데이터가 "가우시안 분포"를 정말 따...
Page 4 of 5
python-libs
·⏱ 5m
현재 데이터의 모수를 어떻게 추정할 수 있을까요?
그냥 .std() 같은걸로 하면 안되요? 네, 됩니다. 으로 평균을 구해도 상관없어요. 요런 방법을 유식하게 method of moment라고 한다고들 합니다. 그런데, 여기서는 다른 방법으로 할 거에요. 무엇이냐면, 대략, 가장 그럴법한 놈 찾...
data-science
·⏱ 12m
3개월동안 먹은 커피 기록을 분석합니다.
3개월동안 마신 커피 데이터를 분석합니다 3월 초부터 6월 19일까지 저는 잠시 대학원을 떠나 집에서 머물고 있었습니다. 저는 집에서는 공부를 못해서 늘 집앞에서 커피를 먹으면서 공부를 했습니다. 문득 카드 사용 내역을 보는데, 이걸 활용해서 뭔...
python-libs
·⏱ 4m
plt에서 custom marker를 사용할 수 있을까요?
plt로 그림을 그리는 중에 marker를 사용하다보니 조금 더 예쁘게, 정확하게는 상황에 맞게 그려보고 싶다는 생각을 했습니다. 현재는 아주 간단하게, 커피를 얼마나 먹었는지 패턴을 정리했는데, marker를 커피 icon으로 할 수는 없을까?...
python-libs
·⏱ 5m
optimization with constraint
constraint가 있을 경우에 optimization 방법 이전에는 constraint가 없는 상황에서, 비교적 간단하게 최적화를 했습니다. constraint가 없는 경우에는 그냥 그려진 objective function만을 미분하여 gra...
python-libs
·⏱ 4m
scipy를 이용하여 최적화를 해봅시다.
scipy를 이용한 optimization. 제가 공부한 포스트에서는 로 importing한 다음 를 이용하는데, 요즘에는 이게 막혀 있는 것 같아요. 묘하게도 반드시 와 같은 방식으로 사용해야 합니다. 아무튼, 이전에 포스팅한 sympy에 비해...
python-libs
·⏱ 4m
quiver plot을 사용해봅시다.
quiver plot으로 gradient vector 표현하기 찾다보니, quiver plot이라는 것이 matplotlib에 있더군요. quiver의 뜻은 '화살통'...'진동 등이 떨리는 것'이라고 나와 있는데...무슨 말인지는 잘 모르겠고,...
data-science
·⏱ 8m
optimization 기본
gradient decent method and plotting with matplotlib datascience school의 자료를 보다가 최적화라는 포스트를 보고, 정리를 해야 할것 같았습니당. 계속 이어지는 자료이긴 한데, 여기서는 gra...
python-libs
·⏱ 5m
sympy의 기본적인 사용법
sympy를 사용해봅시다. 고등학교 때 많이 풀었던 최소값/최대값 문제가 생각나시는지 모르겠네요. 그때는 수학 정말 잘했는데 지금은 거의 수포자간지라....아무튼. 그때 극한값을 구하려면 미분을 했었어야 했습니다. 파이썬에서도 방정식을 세우고, ...
python-libs
·⏱ 9m
time series의 stationarity를 체크해봅시다.
말로 하기는 좀 귀찮으니까, 그림을 봅시다 허허. 아래 그림을 보시면, stationary time series와 non-stationary time series가 나타나 있습니다. 간단히 말하면, stationary의 경우는 시간이 변해도, 일...
python
·⏱ 13m
random walk를 정리해봅시다.
random walk 일반적으로 random walk는 현재의 상태가 이전의 상태에 영향을 받으며 랜덤하게 움직이는 경우를 말합니다. 만약 10 step의 random walk라면, 각각의 값이 따로 있는 것이 아니라, sequential하게 이...
python-libs
·⏱ 3m
numpy에서 randomness 이용하기
python numpy에 다양한 random 함수들이 있는데, 이를 어떻게 이용할 수 있을지를 정리합니다. just do it. 뭐 쓰고 보니 쓸게 많을줄 알았는데 매우 간단하군요. reference
machine-learning
·⏱ 35m
kaggle) imdb movie review를 분석합니다 - 1편
movie review분석하기!!! 요즘은 kaggle에 할만한 컴페티션을 찾아 다닙니다. 찾다가, movie review가 있고, 어떻게 해야 하는지에 대해서도 매우 자세하게 나와 있는 것 같아서, 한번 해보려고 해요!! 뭔가 계속 kaggle...
data-science
·⏱ 8m
handling missing value
missing value를 다뤄봅시다. kaggle에서 데이터를 예측하다 보면, 에러가 아주 많이 발생합니다. 그 이유는, kaggle에서 제공되는 데이터들에 빈 공간이 너무 많기 때문이죠. 그냥 알아서! 빈 공간은 다 제외하고 주면 안됩니까! ...
data-science
·⏱ 6m
data의 skewness를 삭제합시다.
skewed data를 어떻게 해결할까요. 예측 문제라는 것은 결국 "A로부터 B를 추론하는 것"인데, A의 분포와 B의 분포가 다를 수 있습니다. 아니, 다르게 표현하면, A의 어떤 부분이 B를 매우 예측하는데, 그것이 A라는 변수 혹은 데이터...
python-libs
·⏱ 9m
matplotlib의 cmap을 알아봅시다.
color map에서 색깔을 뽑아냅시다. 급하면 'blue', 'red' 이렇게 색깔을 일일이 입력하기도 하지만, 에는 integer list를 넣어주고 보통은 에 있는 칼라맵을 함께 넘겨줍니다. 예쁜 색 조합들이 이미 많이 있거든요. 예를 들면...