others
·⏱ 13m
HiphopLE Analysis 1편
HiphopLE에 올라온 17만 개의 글을 분석하여 이런저런 분석을 수행해 봤습니다. HiphopLE Analysis에서 자세한 내용을 볼 수 있습니다. 이 글에서는 좀 더 세부적인 내용들을 정리합니다. Intro 과거에는 다음 분석 자료를 공유...
Page 1 of 2
python-libs
·⏱ 5m
konlpy - extract nouns
konlpy를 사용하여 한글 문장에서 noun, pos등을 뽑아내는 방법을 정리합니다. konlpy에는 , , , , 와 같은 형태소 분석기(POS tagger)가 존재합니다. 해당 형태소 분석기들은 익숙한 단어들에 대해서는 명사를 잘 뽑아주지만...
python-libs
·⏱ 7m
soynlp - extract nouns
konlpy의 경우 이미 학습된 데이터를 바탕으로 일반적인 단어들에서 명사를 뽑아내 줍니다. 그러나, 비교적 새로운 단어들인 "파이썬", "파이콘"과 사람이름과 같은 고유명사들에 대해서는 명사를 잘 추출해주지 못하죠. 따라서, 만약 내가 가지고 ...
machine-learning
·⏱ 16m
FastText, 학습된 모델과 벡터 가져와서 사용하기
Intro fasttext는 2017년 당시에 유행했던 방법론이며, word2vec이 Out-Of-Vocabulary 문제를 해결해주지 못하는 반면, fasttext의 경우는 word과 word간의 형태적 유사성을 n-gram의 단위에서 고려함으...
machine-learning
·⏱ 1m
PaperSummary - Enriching Word Vectors with Subword Information
Intro 논문 제목은 다음과 같습니다. 한국어로 변환하자면, "과학 문헌들의 시스템적인 리뷰를 위해서 키워드 공동 출현 네트워크에 기반한 노블한 방법"이라는 이름이겠죠. 네 이제 얼마나 "노블"한지에 대해서 살펴보도록 하겠습니다. Novel k...
machine-learning
·⏱ 1m
PaperSummary - Enriching Word Vectors with Subword Information
Abstract 초월 번역 연속된 단어를 표현하는 방식(Continuous word representation)에 있어서, unlabeled corpora에 대해서 학습하는 것이 충분히 의미있다는 것을 word2vec과 같은 많은 NLP의 연구들...
python-libs
·⏱ 3m
gensim - tutorial - doc2vec with trained word2vec
2-line summary intro 지금까지 저는 word2vec도 공부했고, doc2vec도 공부했습니다. 그리고, doc2vec은 word2vec과 연결되어 있죠. 우선 간단하게 지금까지 공부한 것들을 복습해보겠습니다. AGAIN: word...
others
·⏱ 1m
Gensim2 Coreconcept Topic And Transformation
LDA model등을 공부하기 전에 gensim - Core Concept - topics and transformations를 먼저 공부해서 정리해두도록 하자.
python-libs
·⏱ 21m
gensim - tutorial - fastText 2편
나의 목적은 결국 "composite word"를 이해할 수 있도록 학습을 시키는 것을 말함. 여기서는, 그렇다면 fastText를 학습시킬때, 2-line summary word2vec의 경우, 존재하지 않는 word(vocab에 등록되지 않은...
python-libs
·⏱ 12m
gensim - tutorial - Doc2Vec - TaggedDocuments
3-line summary gensim에서 Doc2vec을 학습하기 위해서는 각 문서들을 의 형태로 표현하고 학습함. 이 때 는 반드시 unique documentID이어야 하는 것은 아니며, 인스타그램 태그처럼 여러 개를 동시에 넣을 수도 있습...
python-libs
·⏱ 21m
gensim - tutorial - fastText
2-line summary word2vec의 경우, 존재하지 않는 word(vocab에 등록되지 않은 word)에 대해서는 vector로 표현해주지 못합니다. 반면 fastText의 경우는, word와 word간의 형태적 유사성을 고려함으로써, ...
python-libs
·⏱ 13m
python에서 textRank 만들기.
3-line summary textRank는 pagerank를 text에 접목시킨 것이다. 이 때 사용하는 Graph는 word를 node로 하여 문장 내 공동출현 값을 edge의 weight로 주는 경우가 있고 혹은 sentence를 node로...
python-libs
·⏱ 20m
gensim - tutorial - word2vec - basic
1-line summary 을 이용하여 word2vec 모델을 구현하고, 학습시켜서 유용하게 쓰는 방법에 대하여 정리하였습니다. gensim - tutorial - word2vec word2vec은 이미 매우 유명한 머신러닝 알고리즘이죠. 사실 ...
python-libs
·⏱ 19m
gensim - tutorial - word2vec - GoogleNews
2-line summary google이 이미 word2vec의 결과로 각 word에 대한 vector를 만들어서 배포하였습니다. 하지만 용량이 커서 작은 용량에서는 어렵죠. 그래서 작은 용량의 word2vec vector로 존재합니다. vect...
python-libs
·⏱ 9m
gensim - tutorial - doc2vec
2-line summary Doc2vec는 각 Document를 vector로 표현하는 모델입니다. input을 word2vec으로 넣고, output을 각 document에 대한 vector를 설정하여 꾸준히 parameter를 fitting합...
python-libs
·⏱ 23m
gensim - Core Tutorial - Core Concept
2-line summary gensim의 기본 개념인 Document, corpus, vector, model에 대해서 정리하였습니다. gensim은 "같은 document일지라도 corpus가 다르면 다른 형태로 vector화된다는 것"을 가정...