gradient boosting이 무엇인가?
regression을 할때, 그동안은 가 제일 결과가 좋아서, 이것만 이용했었는데, kaggle에서 다른 사람의 notebook을 확인해보니, gradient boosting을 사용한 것을 볼 수 있었습니다. 그래서 이 아이는 무엇인가, 왜 좋은...
kaggle) movie review의 점수를 올려 봅시다. 2편
이전에 뭐 gensim도 써보고 이것저것 해봤는데, 잘 안되더라고요. 그리고 post도 너무 길어져서 새로 해보려고 합니다 하하핫. 이전에 countvectorizer에서 최종 결과가 잘 나왔기 때문에, 일단은 countvectorizer를 다시...
pd.DataFrame의 categorical data
dataframe의 column을 category로 만들면 좋아지나요? 저는 그냥 귀찮아서, 보통 categorical data인 것 같으면, 를 이용해서 one-hot encoding으로 처리해버렸습니다. 어차피 random-forest를 돌릴...
RNN을 사용해봅시다.
RNN을 사용해보려고 합니다. CNN은 이제 대충 써볼 수 있는데, RNN을 몰라요. 공부합시다! 간단하게, RNN을 이용하면, sequential data의 흐름을 예측할 수 있습니다. sequential data에 속하는 것들로는 주식, 글,...
R처럼 python에서도 pipeline을 사용합시다.
sklearn - pipeline 사용하기 R을 사용해보신 적이 있는 분들은 알겠지만, R은 을 사용해서, pipeline을 구성할 수 있습니다(제가 R을 별로 좋아하지는 않는데, 이거 하나는 굉장히 좋아합니다). machine-learning이...
statsmodel 활용하기
statsmodel을 쪼개봅시다. 최근에 timeseries의 stationarity를 검증하려고 관련 파이썬 라이브러리들을 찾아봤는데, statsmodel이라는 라이브러리가 있더군요. 아마도, 추가로 더 유용한 통계 검정 기법들이 더 있지 않을...
neo4j의 Graph를 networkx로 가져오기.
물론, 굳이 networkx로 가져올 필요가 있는가? 물론, 기본적으로 DB에 잘 정리되어 있는 데이터를, 그리고 심지어 보통 이곳에 있는 데이터들은 로컬로 가져오기에는 지나치게 큰 크기의 데이터인 경우가 대부분인데, 이 데이터를 로컬로 가져와서...
python에서 neo4j 데이터베이스 접근하기.
intro 본문에서는 python에서 GraphDB인 neo4j와 어떻게 연결하고, 쿼리를 전송하고 그 응답을 받는 기본적인 방식을 정리하였습니다. python을 GraphDB인 neo4j와 연결하여 처리하는 방법을 정리합니다. 참고로 저는 ne...
pandas profiling
자, 원래는 지난 편에서 좀 더 자세하게, 의 사용법을 알아보려고 했습니다만, 라이브러리의 충돌등으로 인해서 잘 되지 않더군요. 그래서 이 편에서 좀 더 정리해봤습니다. 해당 내용들은, pandas-profiling documentation에서 ...
pandas profiling
탐색적 데이터 분석(Exploratory Data Analysis)이라는 것이 있습니다. 어려워 보이지만, 간단하게 설명하자면, 주어진 데이터의 특성이 무엇인지를 파악하는 것을 말합니다. 우선, 저한테 데이터 세트가 있다고 가정을 해보겠습니다....
networkx의 clique를 정리해봅시다.
network에서 clique를 뽑고, 사용하는 방법. 솔직히, 저는 clique를 잘 뽑지 않습니다. 보통의 일반적인 네트워크들은, 생각보다 dense하지 않고, girvan-newman 방법을 이용하는 것이 훨씬 효율적일 때가 많거든요. 즉 ...
json에 줄바꿈 등의 문자가 있는 경우
json 형식의 파일에서는 스트링 내에 줄바꿈이나 탭이 있으면 안됩니다 되게 간단한 것이기는 한데, 예를 들어서, json 파일이 다음처럼 되어 있다고 해봅시다. 문자열 내에 탭이나, 줄바꿈이 있는게 이상한건 아닌데, 여기서 아래와 같은 오류가 ...
Query in Networkx
최근에는 GQL이라는 Graph Query Language를 정리했습니다. 결국 데이터를 Graph로서 표현하고, 이를 필요에 따라서, 필터링해서 볼 수 있는 쿼리언어 표준을 만들자! 라는 것이 해당 언어의 목적이죠. 저는, 그렇게까지 대용량의 ...
multi-label classification
text가 어떤 분류에 속하는지를 분류합시다. 저는 요즘 간단히, 자연어 데이터가 어떤 분류에 속하는지를 예측하는 알고리즘을 구현하고 있습니다. 비슷한 예를 든다면, 인스타그램과 같은 서비스에 올라오는 글이 있고 각 글에 달리는 tag가 있다고 ...
spacy 정확하지 않은 similarity
단어간 유사성이 이상하게 되어요! 저는 파이썬 자연어처리 라이브러리인 spacy를 사용해서, 단어간 유사성을 비교할때가 있습니다. 그런데 말이죵, 이상하게 유사성이 제대로 안 나올 때가 많습니다. 예를 들어서 아래 코드를 실행하면, 다음처럼, 정...