machine-learning
·⏱ 16m
FastText, 학습된 모델과 벡터 가져와서 사용하기
Intro fasttext는 2017년 당시에 유행했던 방법론이며, word2vec이 Out-Of-Vocabulary 문제를 해결해주지 못하는 반면, fasttext의 경우는 word과 word간의 형태적 유사성을 n-gram의 단위에서 고려함으...
Page 1 of 2
python-libs
·⏱ 3m
gensim - tutorial - doc2vec with trained word2vec
2-line summary intro 지금까지 저는 word2vec도 공부했고, doc2vec도 공부했습니다. 그리고, doc2vec은 word2vec과 연결되어 있죠. 우선 간단하게 지금까지 공부한 것들을 복습해보겠습니다. AGAIN: word...
others
·⏱ 1m
Gensim2 Coreconcept Topic And Transformation
LDA model등을 공부하기 전에 gensim - Core Concept - topics and transformations를 먼저 공부해서 정리해두도록 하자.
python-libs
·⏱ 21m
gensim - tutorial - fastText 2편
나의 목적은 결국 "composite word"를 이해할 수 있도록 학습을 시키는 것을 말함. 여기서는, 그렇다면 fastText를 학습시킬때, 2-line summary word2vec의 경우, 존재하지 않는 word(vocab에 등록되지 않은...
python-libs
·⏱ 11m
gensim - Tutorial - Word Mover Distance(WMD)
Intro. Word Mover's Distance(WMD)는 "사용자가 제출한 query에 대해서 가장 관련있는(relevant) 문서들을 줄수 있도록 해주는, 머신러닝 분야의 유망한 기술"입니다. 이 tutorial에서는 두 document에...
python-libs
·⏱ 8m
Earth Mover Distance(EMD) and pyemd
Earth Mover Distance(EMD) Earth Mover Distance(EMD)는 "확률 분포 A를 확률 분포 B로 변환할때 필요한 일의 양"을 의미합니다. 여기서는 확률 분포라고 general하게 말하였지만, 간단하게는 그냥 "하나...
python-libs
·⏱ 16m
gensim - model - Phrases
2-line summary 는 텍스트에서 빈번하게 등장하는 bi-gram을 발견해주는 모델입니다. 만약, 2개의 word-token만 붙이는 것이 아니라, 여러 word들을 이어 붙이고 싶다면, 을 반복하여 새로운 모델을 만들어줘야 합니다. Bi...
python-libs
·⏱ 12m
gensim - tutorial - Doc2Vec - TaggedDocuments
3-line summary gensim에서 Doc2vec을 학습하기 위해서는 각 문서들을 의 형태로 표현하고 학습함. 이 때 는 반드시 unique documentID이어야 하는 것은 아니며, 인스타그램 태그처럼 여러 개를 동시에 넣을 수도 있습...
python-libs
·⏱ 21m
gensim - tutorial - fastText
2-line summary word2vec의 경우, 존재하지 않는 word(vocab에 등록되지 않은 word)에 대해서는 vector로 표현해주지 못합니다. 반면 fastText의 경우는, word와 word간의 형태적 유사성을 고려함으로써, ...
python-libs
·⏱ 8m
gensim - reproducible training - fix seed
2-line summary gensim은 word vector를 초기화할 때, seed 값을 이용하며, 하나의 코드 실행 내에서 seed륿 변경하지 않는 한, 값은 동일하게 설정된다. 하지만, 서로 다른 코드 실행에서는 초기 값이 달라질 수 있으...
python-libs
·⏱ 20m
gensim - tutorial - word2vec - basic
1-line summary 을 이용하여 word2vec 모델을 구현하고, 학습시켜서 유용하게 쓰는 방법에 대하여 정리하였습니다. gensim - tutorial - word2vec word2vec은 이미 매우 유명한 머신러닝 알고리즘이죠. 사실 ...
python-libs
·⏱ 19m
gensim - tutorial - word2vec - GoogleNews
2-line summary google이 이미 word2vec의 결과로 각 word에 대한 vector를 만들어서 배포하였습니다. 하지만 용량이 커서 작은 용량에서는 어렵죠. 그래서 작은 용량의 word2vec vector로 존재합니다. vect...
python-libs
·⏱ 9m
gensim - tutorial - doc2vec
2-line summary Doc2vec는 각 Document를 vector로 표현하는 모델입니다. input을 word2vec으로 넣고, output을 각 document에 대한 vector를 설정하여 꾸준히 parameter를 fitting합...
python-libs
·⏱ 23m
gensim - Core Tutorial - Core Concept
2-line summary gensim의 기본 개념인 Document, corpus, vector, model에 대해서 정리하였습니다. gensim은 "같은 document일지라도 corpus가 다르면 다른 형태로 vector화된다는 것"을 가정...
python-libs
·⏱ 20m
gensim을 이용하여 doc2vec 이용하기.
intro. 저는 최근에, 텍스트를 효과적으로 처리하고, 특히, 유의미한 정보를 추출하는 작업을 수행하고 있습니다. 특히, 적합한 데이터를 찾는 측면에서 이 작업을 수행하고 있습니다. 그 과정에서, 몇 가지 유용한 자연어 처리 기법을 찾고있고, ...
python-libs
·⏱ 2m
genmsim의 word2vec normalize하기
word2vec.wv.similarity word2vec은 각 단어를 벡터화하여 표현한 것을 말합니다. 뭐 쉬운것이니까 넘어가고, 여기서 종종 발생하는 문제점은 normalization이죠. 단어간의 유사성을 고려해서, 가장 유사한 놈을 찾거나 ...