python-libs
·⏱ 9m
pyspark를 써봅시다. 그리고 빠른지도 확인해봅시다.
what is pyspark pyspark는 apache spark를 python에서 실행하기 위한 api입니다. 위키피디다에는 다음과 같이 소개되어 있습니다. Apache Spark has as its architectural foundatio...
Page 2 of 3
python-libs
·⏱ 44m
5년동안 수집한 개인 인간관계 데이터를 분석합니다.
인간관계를 분석합니다. 이번에 파이콘 한국 2018에서 발표하게 되어 발표자료를 준비하고 있습니다. 일단 여기에는 그림은 들어가지 않을 예정이고, 코드만 정리해서 보여줄 예정입니다. 발표자료는 여기서 보실 수 있습니다. 아무래도 필요한 부분들을 ...
python-libs
·⏱ 3m
plt.title의 위치 바꾸기.
title 위치 바꾸기 다른 일에는 별 문제가 없는데, heatmap을 그릴때는 종종 문제가 됩니다. 특히 xtick을 위쪽으로 두면 다음 그림에서처럼 xtick과 title이 겹쳐서 보기 흉해져요. 그림을 보면, title과 xtick이 겹쳐 ...
python-libs
·⏱ 3m
pd.DataFrame를 function으로 그룹핑하기
dataframe을 function으로 그룹바이하기 을 사용하다보면 필요에 따라서 groupby를 사용할 일들이 있습니다. category로 구분된 칼럼이 존재한다면, 문제가 없지만 category로 된 칼럼이 없을때, 또 굳이 새로운 칼럼을 만...
python-libs
·⏱ 25m
flask와 pandas를 연결해봅시다.
flask와 pd.DataFrame 연동하기 저는 데이터는 일단 엑셀 파일로 들어온다고 가정합니다. 따라서 를 이용해서 엑셀을 dataframe로 변환해서 처리하는 것이 반드시 필요하죠. flask에서 dataframe를 연동하는 것에 문제가 없...
data-science
·⏱ 12m
3개월동안 먹은 커피 기록을 분석합니다.
3개월동안 마신 커피 데이터를 분석합니다 3월 초부터 6월 19일까지 저는 잠시 대학원을 떠나 집에서 머물고 있었습니다. 저는 집에서는 공부를 못해서 늘 집앞에서 커피를 먹으면서 공부를 했습니다. 문득 카드 사용 내역을 보는데, 이걸 활용해서 뭔...
python-libs
·⏱ 9m
time series의 stationarity를 체크해봅시다.
말로 하기는 좀 귀찮으니까, 그림을 봅시다 허허. 아래 그림을 보시면, stationary time series와 non-stationary time series가 나타나 있습니다. 간단히 말하면, stationary의 경우는 시간이 변해도, 일...
python
·⏱ 13m
random walk를 정리해봅시다.
random walk 일반적으로 random walk는 현재의 상태가 이전의 상태에 영향을 받으며 랜덤하게 움직이는 경우를 말합니다. 만약 10 step의 random walk라면, 각각의 값이 따로 있는 것이 아니라, sequential하게 이...
python-libs
·⏱ 5m
pandas에서 time series 활용하기
최근에 kaggle에서 뭘 좀 하다가, time series 데이터를 분석할 일이 있었습니다. 생각해보니, 예전에도 datacamp에서 사용했던 적이 있었는데, 아무튼 기본적인 time series 활용법을 정리해두려고 합니당. 우선 제가 참고한...
machine-learning
·⏱ 35m
kaggle) imdb movie review를 분석합니다 - 1편
movie review분석하기!!! 요즘은 kaggle에 할만한 컴페티션을 찾아 다닙니다. 찾다가, movie review가 있고, 어떻게 해야 하는지에 대해서도 매우 자세하게 나와 있는 것 같아서, 한번 해보려고 해요!! 뭔가 계속 kaggle...
data-science
·⏱ 8m
handling missing value
missing value를 다뤄봅시다. kaggle에서 데이터를 예측하다 보면, 에러가 아주 많이 발생합니다. 그 이유는, kaggle에서 제공되는 데이터들에 빈 공간이 너무 많기 때문이죠. 그냥 알아서! 빈 공간은 다 제외하고 주면 안됩니까! ...
data-science
·⏱ 6m
data의 skewness를 삭제합시다.
skewed data를 어떻게 해결할까요. 예측 문제라는 것은 결국 "A로부터 B를 추론하는 것"인데, A의 분포와 B의 분포가 다를 수 있습니다. 아니, 다르게 표현하면, A의 어떤 부분이 B를 매우 예측하는데, 그것이 A라는 변수 혹은 데이터...
python-libs
·⏱ 9m
matplotlib의 cmap을 알아봅시다.
color map에서 색깔을 뽑아냅시다. 급하면 'blue', 'red' 이렇게 색깔을 일일이 입력하기도 하지만, 에는 integer list를 넣어주고 보통은 에 있는 칼라맵을 함께 넘겨줍니다. 예쁜 색 조합들이 이미 많이 있거든요. 예를 들면...
others
·⏱ 10m
python으로 association rule mining하기
association rule? 학부때 통계 수업때 association rule mining을 배웠던 기억이 (어렴풋하게) 있습니다. 어떻게 풀었는지는 기억이 잘 안나지만, 어떤 상황에 적용하는 것이었는지는 대략 기억나요. "사람들이 쇼핑해 간...
machine-learning
·⏱ 13m
kaggle) titanic 생존자 예측하기
titanic의 생존자들에게는 어떠한 특성이 있을까. kaggle에서 titanic 데이터를 활용해서 어떤 사람들이 살아남았는지 예측하는 데이터를 제공합니다. 약간...무서운 데이터기는 하지만 그래도, 해보도록 합니다. 살아남았는지, 살아남지 않...
python-libs
·⏱ 5m
boolean을 잘 다뤄야 pandas도 잘 쓸 수 있숩니돠
boolean vector 다루기 pandas를 쓸때는 boolean vector를 많이 다루게 됩니다. 예를 들어서, 특정 칼럼 Age를 20대 이상으로 필터링하고 싶다면, 로 표현을 합니다. 여기서 은 boolean vector가 됩니다. 하...