sklearn에서 custom metric으로 모델 선정하기
custom score 만들기 에 이미 좋은 Metric들이 많기는 합니다만, 경우에 따라서 제가 직접 scoring을 하고 싶을때가 있습니다. 뿐만 아니라, 제가 직접 만든 metric을 이용해서, model을 선택하고 싶을때가 있습니다. 에서...
Python, Java, AI/ML, Vim, Web, CS 이론 등 소프트웨어 개발 및 엔지니어링 기록
custom score 만들기 에 이미 좋은 Metric들이 많기는 합니다만, 경우에 따라서 제가 직접 scoring을 하고 싶을때가 있습니다. 뿐만 아니라, 제가 직접 만든 metric을 이용해서, model을 선택하고 싶을때가 있습니다. 에서...
movie review분석하기!!! 요즘은 kaggle에 할만한 컴페티션을 찾아 다닙니다. 찾다가, movie review가 있고, 어떻게 해야 하는지에 대해서도 매우 자세하게 나와 있는 것 같아서, 한번 해보려고 해요!! 뭔가 계속 kaggle...
간단한, classification을 풉니다. kaggle에 있는 초보자를 위한 컴페티션 중에 이 아이를 골랐습니다. 물론, 이미 끝난 컴페티션이어서, 큰 의미는 없지만, 얼마나 할 수 있는지 보려고 합니다. 아쉽게도, 그래서 kernel이 없습...
mnist 이미지 분류기 만들기 mnist는 이제 너무너무도 유명한 데이터이긴 하지만 아무튼. mnist는 사람이 손으로 0-9까지 쓴 hand-written number digit 데이터입니다. 공개로 풀려 있기 때문에, 많은 머신러닝 초보자들...
keras로 regression 문제를 풉니다. 보통, neural network는 classification 문제에 적용하는 경우가 많지만, 사실 regression 문제에도 적용할 수 있습니다. 생각해보니, 저번에 mlpregressor를 사...
classification시에 neural network이 좋다는 것은 너무 당연하고도 명백한 사실인데, neural network는 쓸만한건지 사실 잘 모르겠습니다. regression을 할때, 한번씩 를 사용하는데, 이게 정확도가 지나치게 떨...
kaggle) 집 가격을 잘 예측해봅시다. 이 문제는 간단히 말하면, regression 문제네요. 이전에 풀어본 mnist, titanic의 경우는 classification의 문제에 속했는데, 이 문제는 regression 문제입니다. 다 좋...
data preprocessing 을 잘해보려고 합니다. skewness 해결, MinMaxScaler, robustScaler 등을 처리합니다. missing value도 다루어야 하는데, missing value의 경우는 상황에 따라 달라지는...
continous한 값을 예측하고 잘했는지 어떻게 평가할까요. 그러니까, 내가 예측하려는 것이 집의 가격, 주식의 가격 등 같은 값들이라고 하면, classification과는 다른 식으로 평가해야 합니다. 아주 간단하게는, 내가 예측한 값()과...
missing value를 다뤄봅시다. kaggle에서 데이터를 예측하다 보면, 에러가 아주 많이 발생합니다. 그 이유는, kaggle에서 제공되는 데이터들에 빈 공간이 너무 많기 때문이죠. 그냥 알아서! 빈 공간은 다 제외하고 주면 안됩니까! ...
skewed data를 어떻게 해결할까요. 예측 문제라는 것은 결국 "A로부터 B를 추론하는 것"인데, A의 분포와 B의 분포가 다를 수 있습니다. 아니, 다르게 표현하면, A의 어떤 부분이 B를 매우 예측하는데, 그것이 A라는 변수 혹은 데이터...
seaborn을 이용해봅시다. 일반적으로 python에서 그림을 그릴 때, 를 많이 이용합니다만, 도 괜찮다고 합니다. 특히, 똑같은 그림을 그린다고 해도, 단순히 이 앞에 만 덧붙여줘도 그림이 훨씬 예쁜게 나온다는 장점이 있습니다. 제가 그 차...
color map에서 색깔을 뽑아냅시다. 급하면 'blue', 'red' 이렇게 색깔을 일일이 입력하기도 하지만, 에는 integer list를 넣어주고 보통은 에 있는 칼라맵을 함께 넘겨줍니다. 예쁜 색 조합들이 이미 많이 있거든요. 예를 들면...
legend를 잘 넣어야 글을 덜 적을 수 있습니다. 로 그림을 열심히 그리고 나서, "이 색깔의 모양 저것은 무엇이고..." 하는 식으로 설명을 덧붙이면 매우 피곤해집니다. 이런 짓을 좀 덜 하려면 legend만 잘 넣어도 됩니다. 포스트로 쓸...
association rule? 학부때 통계 수업때 association rule mining을 배웠던 기억이 (어렴풋하게) 있습니다. 어떻게 풀었는지는 기억이 잘 안나지만, 어떤 상황에 적용하는 것이었는지는 대략 기억나요. "사람들이 쇼핑해 간...