python-libs
·⏱ 4m
python에서 pdfminer를 이용해서 pdf로부터 text 읽기.
pdfminer is better than others 가끔 pdf로부터 text data를 읽어야 할때가 있습니다. 처음에는 pypdf2, pdftotext를 사용하려고 했습니다만, pypdf2의 경우는 text에서 띄워쓰기가 날아가서 toke...
Page 9 of 39
python-libs
·⏱ 20m
gensim - tutorial - word2vec - basic
1-line summary 을 이용하여 word2vec 모델을 구현하고, 학습시켜서 유용하게 쓰는 방법에 대하여 정리하였습니다. gensim - tutorial - word2vec word2vec은 이미 매우 유명한 머신러닝 알고리즘이죠. 사실 ...
python-libs
·⏱ 19m
gensim - tutorial - word2vec - GoogleNews
2-line summary google이 이미 word2vec의 결과로 각 word에 대한 vector를 만들어서 배포하였습니다. 하지만 용량이 커서 작은 용량에서는 어렵죠. 그래서 작은 용량의 word2vec vector로 존재합니다. vect...
python-libs
·⏱ 9m
gensim - tutorial - doc2vec
2-line summary Doc2vec는 각 Document를 vector로 표현하는 모델입니다. input을 word2vec으로 넣고, output을 각 document에 대한 vector를 설정하여 꾸준히 parameter를 fitting합...
python-libs
·⏱ 23m
gensim - Core Tutorial - Core Concept
2-line summary gensim의 기본 개념인 Document, corpus, vector, model에 대해서 정리하였습니다. gensim은 "같은 document일지라도 corpus가 다르면 다른 형태로 vector화된다는 것"을 가정...
python-libs
·⏱ 4m
pd.concat이 df.append보다 빠릅니다.
1-line summary 이 보다 빠릅니다. pd.concat vs df.append 쓰고보니 매우 간단한 내용입니다만, 정리합니다. 는 dataframe으로 구성된 리스트들을 한번에 다 합쳐서 새로운 dataframe을 만들어주는 함수입니다....
python-libs
·⏱ 7m
python - logger - logging wisely.
1-line summary 그냥 를 쓰는 것도 좋지만, 를 사용해서 프로그램의 진행상황을 효과적으로 파악하면 더 좋을 것 같아요. 왜 logger를 써야 할까? 사실, 꼭 쓸 필요는 없습니다. 대다수의 경우 로도 충분합니다만, 프로그램의 규모가 ...
python
·⏱ 2m
python에서 특정 폴더 내에 가장 최근에 생성된 파일을 리턴하는 방법
1-line summary 을 사용하면 해당 파일의 생성 시간을 알 수 있음 이 값을 사용해서 "생성 시간" 기준으로 최대 값을 찾으면 됨. Get Latest file from path 어떤 folder의 경로 가 있다고 합시다. 그리고 이 경...
python-libs
·⏱ 2m
nltk down ssl certificate failed.
failed nltk로부터 필요한 라이브러리들을 다음처럼 다운 받을 때, 문제가 생기는 경우가 있습니다. 이유는 모르겠지만, nltk로부터 다운받는 과정에서 뭔가 문제가 발생한 것이죠. 개념적으로는 경로 안에 필요한 라이브러리들을 이곳에서 다운 ...
python-libs
·⏱ 4m
pd.read_csv는 충분히 빠른가?
1-line summary 가 보다 더 빠른 것 같습니당. pd.readcsv is faster? 다른 라이브러리들도 있지만, csv를 읽을 때, 가 직관적이기도 하고 다른 관련 함수들도 많이 제공하기 때문에, 이 함수만 쓰고 있지만, 가끔, "...
python
·⏱ 4m
python에서 `ufeff`가 읽힐 때 해결방법.
1-line summary 을 쓰면 해결 됩니다. python에서 가 읽히는 문제. 보통 csv를 읽을 때, 를 쓰긴 하지만 속도 문제로 인해 라는 모듈을 사용할 때가 있습니다(사실 요즘은 웬만하면 가 더 빠르기는 하지만요). 이 때 csv를 읽...
python-libs
·⏱ 7m
networkx - chain - chain decomposition
1-line summary "chain decomposition"은 edge partition의 방법 중 하나로, DFS의 결과로 생성된 Tree를 고려하여, Tree에 속하지 않은 nontree edge을 순차적으로 읽으면서 만들 수 있는 cy...
python
·⏱ 9m
stack을 이용해서 recursion을 iteration으로 바꾸기.
1-line summary stack을 이용해서 recursion DFS를 iteration으로 변경해봄. Recursion 프로그래머의 성향에 따라서 다를 수 있지만, recursion이라는 직관적으로 문제를 풀 수 있는 방법을 알려줍니다. 뿐...
python
·⏱ 4m
python의 default parameter는 가변적(mutable)이다.
2-line summary 이라고 해둔다고 해서 라는 parameter의 value가 함수 콜마다 로 초기화되는 것이 아니다. 저렇게 해두면 함수를 콜할 때마다 같은 object에 접근하게 됩니다. weird default parameter 예를...
python-libs
·⏱ 6m
networkx - traversal - DFS, BFS
1-line summary network에 대해서 DFS(depth-first-search), BFS(Breadth-first-search)를 generator를 사용하여 구현함. DFS(Depth-First-Search) 네트워크를 깊이 중심으...
python-libs
·⏱ 8m
networkx - simple paths
1-line summary 은 graph 에서 "source로부터 target까지 가지는 모든 중복없는 노드 traversal"을 리턴. allsimplepath. graph에서 path는 중복 없는 노드 traversal을 말합니다. 특정 시작...