python-libs
·⏱ 4m
spacy 정확하지 않은 similarity
단어간 유사성이 이상하게 되어요! 저는 파이썬 자연어처리 라이브러리인 spacy를 사용해서, 단어간 유사성을 비교할때가 있습니다. 그런데 말이죵, 이상하게 유사성이 제대로 안 나올 때가 많습니다. 예를 들어서 아래 코드를 실행하면, 다음처럼, 정...
Page 2 of 2
python-libs
·⏱ 5m
spacy 에 새로운 단어와 벡터를 넣어줍시다.
기존 학습된 벡터들에 새로운 벡터들을 넣어주고 싶어요. 이미 spacy에는 꽤 잘 작동하는 워드투벡이 있습니다. 간단한 처리를 할때는 그냥 이걸 사용해주는 것이 훨씬 좋죠. 그런데, 없는 경우들이 있씁니다. 저는 특수한 분야의 텍스트를 다루는데,...
python-libs
·⏱ 20m
gensim을 이용하여 doc2vec 이용하기.
intro. 저는 최근에, 텍스트를 효과적으로 처리하고, 특히, 유의미한 정보를 추출하는 작업을 수행하고 있습니다. 특히, 적합한 데이터를 찾는 측면에서 이 작업을 수행하고 있습니다. 그 과정에서, 몇 가지 유용한 자연어 처리 기법을 찾고있고, ...
others
·⏱ 3m
What is GLoVe??
intro 저는 단어의 semantic similarity를 계산하기 위하여 Spacy를 사용하고 있습니다. - spacy는 기학습된 단어의 word-vector를 가지고 계산을 하는데, 이 과정에서 쓰는 word vector는 GLoVe입니다....
python-libs
·⏱ 2m
spacy - Named Entity Recognition 사용하기
intro spacy 에서는 간단한 Named Entity Recognition을 제공해줍니다. Named Entity Recognition 예를 들어서 다음과 같은 문장이 있다고 할때 Jim bought 300 shares of Acme Cor...
python-libs
·⏱ 2m
영국식 영어단어를 미국식 영어단어로 변환하기.
intro 간단하게 자연어 처리를 좀 하고 있습니다. 영어를 처리하고 있는데, 이 과정에서 영국식 영어와 미국식 영어가 섞여 있는 것을 발견했어요. 그러니까, 이런 식이죠. organisation, organization 의미는 같지만, 형태는 ...
python-libs
·⏱ 26m
spacy를 이용해서 자연어처리하자.
intro 저는 지금 텍스트 분석을 하고 있습니다. 이 과정에서 주어진 문장들에서 (subject, verb, object)의 형식으로 요소를 추출해내는 방법을 찾고 있습니다. 물론 를 써도 되는데, 사실 얘는 약간, 너무 덩치가 크고, 무거워요...
python
·⏱ 2m
한글/영어 텍스트 구분하기
입력받는 텍스트는 어떤 언어인가? 입력받는 텍스트가 모두 '한글'이거나 '영어'라면 좋겠지만, 그렇지 않습니다. 또, 한글과 영어가 섞여 있는 경우도 아주 많죠. 기술분야의 전문적인 용어의 경우는 더욱 영어일 가능성이 높아서, 명사는 영어로 작성...
python-libs
·⏱ 16m
document를 클러스터링해봅시당
document clustering 뭐, 지금까지 간단하게 자연어 전처리 해주는 것들(영어에 대해서만)과 워드임베딩 등을 했습니다. 대략 어떤 메소드들이 있는지에 대해서 아주 간단하게 발을 담궈 보았고, 이제는 이것들을 어떻게 활용할지에 대한 고...
python-libs
·⏱ 12m
textblob, nltk를 활용하여 간단하게 텍스트 처리합시다.
text에 간단한 전처리를 하기 위해 textblob, nltk를 사용합시다. 사실 nlp에서 가장 중요한 것은 데이터 전처리입니다. 텍스트는 너무 중구난방이라서, 깔끔하게 정리해주는 게 굉장히 중요하고 또 필요합니다. 따라서 여기서는 비교적 단...