data-science
·⏱ 9m
data preprocessing 잘하기
data preprocessing 을 잘해보려고 합니다. skewness 해결, MinMaxScaler, robustScaler 등을 처리합니다. missing value도 다루어야 하는데, missing value의 경우는 상황에 따라 달라지는...
Page 26 of 29
machine-learning
·⏱ 6m
regression 결과를 평가해봅시다.
continous한 값을 예측하고 잘했는지 어떻게 평가할까요. 그러니까, 내가 예측하려는 것이 집의 가격, 주식의 가격 등 같은 값들이라고 하면, classification과는 다른 식으로 평가해야 합니다. 아주 간단하게는, 내가 예측한 값()과...
data-science
·⏱ 8m
handling missing value
missing value를 다뤄봅시다. kaggle에서 데이터를 예측하다 보면, 에러가 아주 많이 발생합니다. 그 이유는, kaggle에서 제공되는 데이터들에 빈 공간이 너무 많기 때문이죠. 그냥 알아서! 빈 공간은 다 제외하고 주면 안됩니까! ...
data-science
·⏱ 6m
data의 skewness를 삭제합시다.
skewed data를 어떻게 해결할까요. 예측 문제라는 것은 결국 "A로부터 B를 추론하는 것"인데, A의 분포와 B의 분포가 다를 수 있습니다. 아니, 다르게 표현하면, A의 어떤 부분이 B를 매우 예측하는데, 그것이 A라는 변수 혹은 데이터...
python-libs
·⏱ 10m
seaborn - basic
seaborn을 이용해봅시다. 일반적으로 python에서 그림을 그릴 때, 를 많이 이용합니다만, 도 괜찮다고 합니다. 특히, 똑같은 그림을 그린다고 해도, 단순히 이 앞에 만 덧붙여줘도 그림이 훨씬 예쁜게 나온다는 장점이 있습니다. 제가 그 차...
python-libs
·⏱ 9m
matplotlib의 cmap을 알아봅시다.
color map에서 색깔을 뽑아냅시다. 급하면 'blue', 'red' 이렇게 색깔을 일일이 입력하기도 하지만, 에는 integer list를 넣어주고 보통은 에 있는 칼라맵을 함께 넘겨줍니다. 예쁜 색 조합들이 이미 많이 있거든요. 예를 들면...
python-libs
·⏱ 4m
matplotlib legend 조절하기
legend를 잘 넣어야 글을 덜 적을 수 있습니다. 로 그림을 열심히 그리고 나서, "이 색깔의 모양 저것은 무엇이고..." 하는 식으로 설명을 덧붙이면 매우 피곤해집니다. 이런 짓을 좀 덜 하려면 legend만 잘 넣어도 됩니다. 포스트로 쓸...
others
·⏱ 10m
python으로 association rule mining하기
association rule? 학부때 통계 수업때 association rule mining을 배웠던 기억이 (어렴풋하게) 있습니다. 어떻게 풀었는지는 기억이 잘 안나지만, 어떤 상황에 적용하는 것이었는지는 대략 기억나요. "사람들이 쇼핑해 간...
machine-learning
·⏱ 11m
classification 결과를 평가해봅시다.
classifier의 성능을 어떻게 평가할까요? , 가 각각 있습니다. 이를 활용해서 현재 분류된 결과의 성능을 어떻게 잘 평가할 수 있을까요? 보통 classification을 평가하는 metric들은 binary classification을 ...
machine-learning
·⏱ 9m
tensorflow) softmax classifier
multi-class clasification 이전에 배웠던 에서는 True/False 만 판별합니다. 그러나, 이런 binary classification보다는 multi-class classification이 훨씬, 유용하죠. 이를 위해서 를...
python-libs
·⏱ 5m
decision boundary를 그려 봅시다.
Decision Boundary가 뭔가요? 예를 들어봅시다. classification 문제를 해결하기 위해 데이터를 이용해 학습을 시켰습니다. 간단히, score를 보니까 꽤 높은 편이고, 딱히 오버피팅인 것 같지도 않긴 합니다만, 2차원에 뿌...
python-libs
·⏱ 4m
python) Contour 플롯을 그려봅시다.
등고선이란 말입니다 그냥 contour라고 말하면 헷갈리는데, 지도에서 등고선이랑 같은 개념이라고 보시면 됩니다. 대충 아래 그림처럼, 비슷한 높이에 있는 놈들기리 묶어줍니다. 이런걸 contour라고 하죠. 사실 원래는 를 정리하려고 했던 것이...
machine-learning
·⏱ 10m
tensorflow) 기본부터 다시 - linear regression
왜 나는 늘 복습만 하는가? 텐서플로우는 예전부터 조금씩 공부를 하긴 했는데, 자료가 다 여기저기 흩어져 있어서ㅠㅠㅠ여기에 다시 정리해두기로 했습니다. 사실, 솔직한 고민은 좀 있습니다. 가 있는데 굳이 tensorflow를 써야 하나? 필요할까...
machine-learning
·⏱ 7m
tensorflow) logistic regression
머신러닝은 단순하게, '모델(hypothesis)'을 세우고, 이 모델이 맞는지/아닌지 평가하는 cost function을 통해 변수를 조절하는 것을 말합니다. classification의 경우도, '잘 예측할 만한 모델'을 세우고, 이 모델을 ...
python-libs
·⏱ 3m
매번 까먹는, 몬테카를로 시뮬레이션을 해봅시다!!
Intro - 왜 몬테카를로는 쉽게 잊어버리는 걸까요 네, 사실 저도 알고 있습니다. 한 번 배울 때, 제대로 배우지 않고, 주먹구구식으로 배우니까, 이모양인 것이죠...그래서 이번에는 제 블로그에 꼭 써놓고 다음에 읽어보도록 하겠습니돠. Mon...
python-libs
·⏱ 7m
python으로 마코브 체인 만들어 보기
마코브체인이란 무엇인가? 학부 시절(까마득한...어라 10년 전이네...) 그러니까 2008년에 확률시스템분석 이라는 과목에서 마코브 체인을 처음 배웠습니다. 왠지 지금 다시 돌아가면 잘할 수 있을 것 같다는 쓸모없는 용기가 샘솟는 것을 보면 역...