python-libs
·⏱ 1m
R처럼 python에서도 pipeline을 사용합시다.
sklearn - pipeline 사용하기 R을 사용해보신 적이 있는 분들은 알겠지만, R은 을 사용해서, pipeline을 구성할 수 있습니다(제가 R을 별로 좋아하지는 않는데, 이거 하나는 굉장히 좋아합니다). machine-learning이...
Page 19 of 39
others
·⏱ 1m
Scikit-learn - Regression 방법 정리
regression 방법들을 정리합니다. 아주 엄밀하게는 내가 쓰는 모델들의 적합성, 그리고 그 의미를 다 알고 사용하는 것이 맞기는 한데, 늘 만나는 문제는 "왜 되지?", "왜 안되지?"입니다. 왜 되는 것인지, 왜 안 되는 것인지, 저도 몰...
python-libs
·⏱ 1m
statsmodel 활용하기
statsmodel을 쪼개봅시다. 최근에 timeseries의 stationarity를 검증하려고 관련 파이썬 라이브러리들을 찾아봤는데, statsmodel이라는 라이브러리가 있더군요. 아마도, 추가로 더 유용한 통계 검정 기법들이 더 있지 않을...
python
·⏱ 2m
AttributeError - 'NoneType' object has no attribute
Nonetype은 그게 없어. 이건 아주 기본적인 에러이기는 한데, 은근히 자주 발생합니다. 보통은 정규표현식을 사용할 때 많이 발생하기는 하죠. 그래서 마치 이게 정규표현식에 관계된 에러라고 생각하기 쉬운데, 이건 그냥 '반환된 값이 없는데 당...
python-libs
·⏱ 10m
python에서 neo4j 데이터베이스 접근하기.
intro 본문에서는 python에서 GraphDB인 neo4j와 어떻게 연결하고, 쿼리를 전송하고 그 응답을 받는 기본적인 방식을 정리하였습니다. python을 GraphDB인 neo4j와 연결하여 처리하는 방법을 정리합니다. 참고로 저는 ne...
python-libs
·⏱ 3087m
pandas profiling
자, 원래는 지난 편에서 좀 더 자세하게, 의 사용법을 알아보려고 했습니다만, 라이브러리의 충돌등으로 인해서 잘 되지 않더군요. 그래서 이 편에서 좀 더 정리해봤습니다. 해당 내용들은, pandas-profiling documentation에서 ...
python-libs
·⏱ 17m
pandas profiling
탐색적 데이터 분석(Exploratory Data Analysis)이라는 것이 있습니다. 어려워 보이지만, 간단하게 설명하자면, 주어진 데이터의 특성이 무엇인지를 파악하는 것을 말합니다. 우선, 저한테 데이터 세트가 있다고 가정을 해보겠습니다....
python
·⏱ 2m
python의 raw string
Raw String은 특수 문자를 무시한다 종종 웹에서 데이터를 긁어와야 할 때가 있습니다. 전문적으로 할 때는 다른 기법들도 있지만, 보통 쭉 긁어서 복사하는 걸 제일 많이 하죠. 그런데, 이게 긁히지 않을 때는 페이지 소스 보기를 눌러서, 페...
python-libs
·⏱ 2m
json에 줄바꿈 등의 문자가 있는 경우
json 형식의 파일에서는 스트링 내에 줄바꿈이나 탭이 있으면 안됩니다 되게 간단한 것이기는 한데, 예를 들어서, json 파일이 다음처럼 되어 있다고 해봅시다. 문자열 내에 탭이나, 줄바꿈이 있는게 이상한건 아닌데, 여기서 아래와 같은 오류가 ...
python-libs
·⏱ 8m
Query in Networkx
최근에는 GQL이라는 Graph Query Language를 정리했습니다. 결국 데이터를 Graph로서 표현하고, 이를 필요에 따라서, 필터링해서 볼 수 있는 쿼리언어 표준을 만들자! 라는 것이 해당 언어의 목적이죠. 저는, 그렇게까지 대용량의 ...
python-libs
·⏱ 8m
multi-label classification
text가 어떤 분류에 속하는지를 분류합시다. 저는 요즘 간단히, 자연어 데이터가 어떤 분류에 속하는지를 예측하는 알고리즘을 구현하고 있습니다. 비슷한 예를 든다면, 인스타그램과 같은 서비스에 올라오는 글이 있고 각 글에 달리는 tag가 있다고 ...
python-libs
·⏱ 4m
spacy 정확하지 않은 similarity
단어간 유사성이 이상하게 되어요! 저는 파이썬 자연어처리 라이브러리인 spacy를 사용해서, 단어간 유사성을 비교할때가 있습니다. 그런데 말이죵, 이상하게 유사성이 제대로 안 나올 때가 많습니다. 예를 들어서 아래 코드를 실행하면, 다음처럼, 정...
python-libs
·⏱ 5m
spacy 에 새로운 단어와 벡터를 넣어줍시다.
기존 학습된 벡터들에 새로운 벡터들을 넣어주고 싶어요. 이미 spacy에는 꽤 잘 작동하는 워드투벡이 있습니다. 간단한 처리를 할때는 그냥 이걸 사용해주는 것이 훨씬 좋죠. 그런데, 없는 경우들이 있씁니다. 저는 특수한 분야의 텍스트를 다루는데,...
python
·⏱ 4m
자료구조 - trie
문자열을 검색할 때 알고리즘 문제들을 풀다보면, 문자열 검색을 해야 하는 일들이 종종 생깁니다. 예를 들어서, N개의 문자열 리스트가 있을 때, 내가 원하는 특정 문자가 해당 N개의 문자열에 있는지 파악하는 것 같은 일들이 비일비재하죠. 뇌없이 ...
python
·⏱ 4m
python에서 getattr 덮어씌우기.
what is getattr? 우선 getattr에 대해서 먼저 알아봅시다. 은 그냥 각 오브젝트에서 해당 오브젝트의 attribute를 가져오는 펑션입니다. 기본적으로 파이썬에서 지원되는 built-in function이구요. 간단하게 다음으로...
python
·⏱ 2m
python class에서 next, iter
iter, next 간단하게 iter, next 메소드를 클래스에서 정의하는 방법과 그 필요성을 알아봅니다. iterator는 쉽게, 순차적으로 연결되어 있는 값을 의미합니다. 흔히들 리스트처럼 만들어줄때 많이 쓰게 되는데, 저는 기껏 클래스로 ...