python-libs
·⏱ 2m
python에서 json을 '한글을 읽을수 있게' 저장하는 방법
JSON: JavaScript Object Notation 우선 JSON은 JavaScript Object Notation의 줄임말이며, python의 dictionary와 유사하게, (key, value)의 형태로 값을 저장하는 것을 말합니다....
All Posts
총 1,428개의 아카이브 중 577 - 592번째 글
python-libs
·⏱ 16m
gensim - model - Phrases
2-line summary 는 텍스트에서 빈번하게 등장하는 bi-gram을 발견해주는 모델입니다. 만약, 2개의 word-token만 붙이는 것이 아니라, 여러 word들을 이어 붙이고 싶다면, 을 반복하여 새로운 모델을 만들어줘야 합니다. Bi...
python
·⏱ 7m
python - byte string, literal string.
intro 가끔 python으로 문자열을 처리하다 보면 앞에 라는 문자 하나가 붙는 것을 볼 수 있습니다. 출력은 문제없이 되니까, 그냥 써도 문제가 없을 때가 있지만, 에러가 발생한다거나, string간의 비교를 정확하게 못해줄때가 있죠. py...
python-libs
·⏱ 7m
nltk - corpus - stopwords
2-line summary stopwords는 보통 "너무 빈번하게 나와서 아무 정도가 없는 'a'와 같은 단어들"을 말합니다. 그리고,에 이미 정의되어 있죠. stopwords and nltk.stopwords 자연어처리를 할때, 너무 빈번하게...
python
·⏱ 2m
python - strip string better with punctuation
1-line summary 보통 이라고 쓰지만, 여기에 parameter를 넘겨주면 넘어간 리스트의 모든 원소를 지워준다. strip better 사소합니다만, 보통 문자열의 양쪽 공백을 지워줄 때 다음과 같이 처리하죠. 이게 다 인줄 알았는데,...
python-libs
·⏱ 12m
gensim - tutorial - Doc2Vec - TaggedDocuments
3-line summary gensim에서 Doc2vec을 학습하기 위해서는 각 문서들을 의 형태로 표현하고 학습함. 이 때 는 반드시 unique documentID이어야 하는 것은 아니며, 인스타그램 태그처럼 여러 개를 동시에 넣을 수도 있습...
python-libs
·⏱ 21m
gensim - tutorial - fastText
2-line summary word2vec의 경우, 존재하지 않는 word(vocab에 등록되지 않은 word)에 대해서는 vector로 표현해주지 못합니다. 반면 fastText의 경우는, word와 word간의 형태적 유사성을 고려함으로써, ...
python-libs
·⏱ 8m
gensim - reproducible training - fix seed
2-line summary gensim은 word vector를 초기화할 때, seed 값을 이용하며, 하나의 코드 실행 내에서 seed륿 변경하지 않는 한, 값은 동일하게 설정된다. 하지만, 서로 다른 코드 실행에서는 초기 값이 달라질 수 있으...
python
·⏱ 4m
음수와 양수는 binary로 각각 어떻게 표현되는가?
intro 사실, 우리는 10진법의 세상에 살고 있지만, 컴퓨터는 2진법의 세상에 살고 있습니다. 물론, 우리가 변수를 선언 및 정의할 때 이진법을 사용하지는 않지만, 컴퓨터는 이진법으로 계산을 처리하죠. 오늘 이야기할 부분은 몰라도 되지만, 재...
python-libs
·⏱ 13m
python에서 textRank 만들기.
3-line summary textRank는 pagerank를 text에 접목시킨 것이다. 이 때 사용하는 Graph는 word를 node로 하여 문장 내 공동출현 값을 edge의 weight로 주는 경우가 있고 혹은 sentence를 node로...
python
·⏱ 2m
python에서 string 내 space 가 없어지지 않을때(non-breaking-space)
왜 했는데 공백이 남아있지? 요즘 일이 있어서 간단하게 string을 처리하고 있습니다. 특히, 오늘은 pdf로부터 텍스트 데이터를 읽어서, 텍스트를 전처리해야 하는 일이 있었죠. 일단 아주 간단하게, 을 사용해서 공백을 삭제했는데, 공백이 안 ...
python-libs
·⏱ 4m
python에서 pdfminer를 이용해서 pdf로부터 text 읽기.
pdfminer is better than others 가끔 pdf로부터 text data를 읽어야 할때가 있습니다. 처음에는 pypdf2, pdftotext를 사용하려고 했습니다만, pypdf2의 경우는 text에서 띄워쓰기가 날아가서 toke...
python-libs
·⏱ 20m
gensim - tutorial - word2vec - basic
1-line summary 을 이용하여 word2vec 모델을 구현하고, 학습시켜서 유용하게 쓰는 방법에 대하여 정리하였습니다. gensim - tutorial - word2vec word2vec은 이미 매우 유명한 머신러닝 알고리즘이죠. 사실 ...
python-libs
·⏱ 19m
gensim - tutorial - word2vec - GoogleNews
2-line summary google이 이미 word2vec의 결과로 각 word에 대한 vector를 만들어서 배포하였습니다. 하지만 용량이 커서 작은 용량에서는 어렵죠. 그래서 작은 용량의 word2vec vector로 존재합니다. vect...
python-libs
·⏱ 9m
gensim - tutorial - doc2vec
2-line summary Doc2vec는 각 Document를 vector로 표현하는 모델입니다. input을 word2vec으로 넣고, output을 각 document에 대한 vector를 설정하여 꾸준히 parameter를 fitting합...
english
·⏱ 4m
영화 Boyhood에 관한 사소한 사실들(trivia)
Intro - Boyhood 오랜만에 쓰네요. 요즘은 "작가의 서랍"에 밀린 글들이 좀 많아서 그걸 다 정리하려고 합니다. 과거에도 영화 "Boyhood"에 대해서 썼지만, 남아 있는 작은 trivia들이 있어서 마무리하려고 합니다. 세상에 좋은...