python-libs
·⏱ 4m
python에서 한글과 영어를 줄 맞춰서 예쁘게 출력하자.
python에서 한글과 영어를 함께 출력할 때, 줄이 안 맞습니다 간단한 코드를 보여드리겠습니다. 종종, 한글과 영어가 혼재되어 있는 결과들을 칼럼별로 다음처럼 출력할 때가 있죠. 하지만, 결과를 보면 마음같지 않습니다. 분명히, 를 사용하였으니...
Page 4 of 26
python-libs
·⏱ 2m
python에서 json을 '한글을 읽을수 있게' 저장하는 방법
JSON: JavaScript Object Notation 우선 JSON은 JavaScript Object Notation의 줄임말이며, python의 dictionary와 유사하게, (key, value)의 형태로 값을 저장하는 것을 말합니다....
python-libs
·⏱ 16m
gensim - model - Phrases
2-line summary 는 텍스트에서 빈번하게 등장하는 bi-gram을 발견해주는 모델입니다. 만약, 2개의 word-token만 붙이는 것이 아니라, 여러 word들을 이어 붙이고 싶다면, 을 반복하여 새로운 모델을 만들어줘야 합니다. Bi...
python-libs
·⏱ 7m
nltk - corpus - stopwords
2-line summary stopwords는 보통 "너무 빈번하게 나와서 아무 정도가 없는 'a'와 같은 단어들"을 말합니다. 그리고,에 이미 정의되어 있죠. stopwords and nltk.stopwords 자연어처리를 할때, 너무 빈번하게...
python-libs
·⏱ 12m
gensim - tutorial - Doc2Vec - TaggedDocuments
3-line summary gensim에서 Doc2vec을 학습하기 위해서는 각 문서들을 의 형태로 표현하고 학습함. 이 때 는 반드시 unique documentID이어야 하는 것은 아니며, 인스타그램 태그처럼 여러 개를 동시에 넣을 수도 있습...
python-libs
·⏱ 21m
gensim - tutorial - fastText
2-line summary word2vec의 경우, 존재하지 않는 word(vocab에 등록되지 않은 word)에 대해서는 vector로 표현해주지 못합니다. 반면 fastText의 경우는, word와 word간의 형태적 유사성을 고려함으로써, ...
python-libs
·⏱ 8m
gensim - reproducible training - fix seed
2-line summary gensim은 word vector를 초기화할 때, seed 값을 이용하며, 하나의 코드 실행 내에서 seed륿 변경하지 않는 한, 값은 동일하게 설정된다. 하지만, 서로 다른 코드 실행에서는 초기 값이 달라질 수 있으...
python-libs
·⏱ 13m
python에서 textRank 만들기.
3-line summary textRank는 pagerank를 text에 접목시킨 것이다. 이 때 사용하는 Graph는 word를 node로 하여 문장 내 공동출현 값을 edge의 weight로 주는 경우가 있고 혹은 sentence를 node로...
python-libs
·⏱ 4m
python에서 pdfminer를 이용해서 pdf로부터 text 읽기.
pdfminer is better than others 가끔 pdf로부터 text data를 읽어야 할때가 있습니다. 처음에는 pypdf2, pdftotext를 사용하려고 했습니다만, pypdf2의 경우는 text에서 띄워쓰기가 날아가서 toke...
python-libs
·⏱ 20m
gensim - tutorial - word2vec - basic
1-line summary 을 이용하여 word2vec 모델을 구현하고, 학습시켜서 유용하게 쓰는 방법에 대하여 정리하였습니다. gensim - tutorial - word2vec word2vec은 이미 매우 유명한 머신러닝 알고리즘이죠. 사실 ...
python-libs
·⏱ 19m
gensim - tutorial - word2vec - GoogleNews
2-line summary google이 이미 word2vec의 결과로 각 word에 대한 vector를 만들어서 배포하였습니다. 하지만 용량이 커서 작은 용량에서는 어렵죠. 그래서 작은 용량의 word2vec vector로 존재합니다. vect...
python-libs
·⏱ 9m
gensim - tutorial - doc2vec
2-line summary Doc2vec는 각 Document를 vector로 표현하는 모델입니다. input을 word2vec으로 넣고, output을 각 document에 대한 vector를 설정하여 꾸준히 parameter를 fitting합...
python-libs
·⏱ 23m
gensim - Core Tutorial - Core Concept
2-line summary gensim의 기본 개념인 Document, corpus, vector, model에 대해서 정리하였습니다. gensim은 "같은 document일지라도 corpus가 다르면 다른 형태로 vector화된다는 것"을 가정...
python-libs
·⏱ 4m
pd.concat이 df.append보다 빠릅니다.
1-line summary 이 보다 빠릅니다. pd.concat vs df.append 쓰고보니 매우 간단한 내용입니다만, 정리합니다. 는 dataframe으로 구성된 리스트들을 한번에 다 합쳐서 새로운 dataframe을 만들어주는 함수입니다....
python-libs
·⏱ 7m
python - logger - logging wisely.
1-line summary 그냥 를 쓰는 것도 좋지만, 를 사용해서 프로그램의 진행상황을 효과적으로 파악하면 더 좋을 것 같아요. 왜 logger를 써야 할까? 사실, 꼭 쓸 필요는 없습니다. 대다수의 경우 로도 충분합니다만, 프로그램의 규모가 ...
python-libs
·⏱ 2m
nltk down ssl certificate failed.
failed nltk로부터 필요한 라이브러리들을 다음처럼 다운 받을 때, 문제가 생기는 경우가 있습니다. 이유는 모르겠지만, nltk로부터 다운받는 과정에서 뭔가 문제가 발생한 것이죠. 개념적으로는 경로 안에 필요한 라이브러리들을 이곳에서 다운 ...