python-libs
·⏱ 8m
multi-label classification
text가 어떤 분류에 속하는지를 분류합시다. 저는 요즘 간단히, 자연어 데이터가 어떤 분류에 속하는지를 예측하는 알고리즘을 구현하고 있습니다. 비슷한 예를 든다면, 인스타그램과 같은 서비스에 올라오는 글이 있고 각 글에 달리는 tag가 있다고 ...
All Posts
총 1,428개의 아카이브 중 977 - 992번째 글
python-libs
·⏱ 4m
spacy 정확하지 않은 similarity
단어간 유사성이 이상하게 되어요! 저는 파이썬 자연어처리 라이브러리인 spacy를 사용해서, 단어간 유사성을 비교할때가 있습니다. 그런데 말이죵, 이상하게 유사성이 제대로 안 나올 때가 많습니다. 예를 들어서 아래 코드를 실행하면, 다음처럼, 정...
python-libs
·⏱ 5m
spacy 에 새로운 단어와 벡터를 넣어줍시다.
기존 학습된 벡터들에 새로운 벡터들을 넣어주고 싶어요. 이미 spacy에는 꽤 잘 작동하는 워드투벡이 있습니다. 간단한 처리를 할때는 그냥 이걸 사용해주는 것이 훨씬 좋죠. 그런데, 없는 경우들이 있씁니다. 저는 특수한 분야의 텍스트를 다루는데,...
python
·⏱ 4m
자료구조 - trie
문자열을 검색할 때 알고리즘 문제들을 풀다보면, 문자열 검색을 해야 하는 일들이 종종 생깁니다. 예를 들어서, N개의 문자열 리스트가 있을 때, 내가 원하는 특정 문자가 해당 N개의 문자열에 있는지 파악하는 것 같은 일들이 비일비재하죠. 뇌없이 ...
python
·⏱ 4m
python에서 getattr 덮어씌우기.
what is getattr? 우선 getattr에 대해서 먼저 알아봅시다. 은 그냥 각 오브젝트에서 해당 오브젝트의 attribute를 가져오는 펑션입니다. 기본적으로 파이썬에서 지원되는 built-in function이구요. 간단하게 다음으로...
python
·⏱ 2m
python class에서 next, iter
iter, next 간단하게 iter, next 메소드를 클래스에서 정의하는 방법과 그 필요성을 알아봅니다. iterator는 쉽게, 순차적으로 연결되어 있는 값을 의미합니다. 흔히들 리스트처럼 만들어줄때 많이 쓰게 되는데, 저는 기껏 클래스로 ...
python
·⏱ 4m
generator의 send 이용하기.
generator의 send 이해하기 아마도 이 글을 보시는 분들은 대충 generator가 무엇인지는 아실테고, 당연히 도 명확하게 이해하고 있을 것 같습니다. 오늘은 라는 저도 처음 보는 메소드를 설명할 것인데요. 대충 아래와 같은 코드입니다...
python-libs
·⏱ 4m
npy, npz 데이터를 잘 저장핮.
data를 잘 저장합시다. 깔짝깔짝 파이썬 가지고 놀때는 몰랐지만, 점점 복잡한 알고리즘을 사용하게 되면서, 한번 계산할때의 계산량이 일정 이상을 넘어가는 일이 발생합니다. 따라서, 매번 새롭게 계산하는 것이 아니라, 계산된 결과를 임시 파일로 ...
python-libs
·⏱ 1m
python에서 가장 최근 파일 읽어오기.
python에서 가장 최근 파일을 불러옵시다 매우 간단하기 때문에, 그냥 바로 코드부터 작성하겠습니다. 특정 폴더에 있는 파일들중에서 가장 최근에 만들어진 파일만 가져오도록 합니다. wrap-up 매우 간단합니다 하하하.
python
·⏱ 1m
got multiple values for argument
사소한 오류이기는 한데, 정리합니다. 아래 코드에서 보는 것과 같이, func에 변수를 함께 넘길 경우에는 - 해당 함수가 선언되었을 때의 변수 순서에 맞춰서 넘기거나 - 아니면 위치와 상관없이, 변수 명을 분명하게 작성해서 넘겨야 합니다. 세번...
python-libs
·⏱ 2m
Graph-Embedding lib를 설치해봅시다.
install from github 이전에 제가 SDNE를 사용하기 위해서 썼던 라이브러리는 이 아이 입니다. 좋은 라이브러리이기는 한데, SDNE밖에 없다는 단점이 있습니다(뭐, 사실 이걸 굳이 단점으로 할수 있나 싶기는 한데 아무튼) 그래서 ...
machine-learning
·⏱ 18m
Structural Deep Neural Embedding
최근에 네트워크의 노드를 벡터로 변환하는 작업을 수행하고 있습니다. "왜 잘 있는 노드를 벡터로 변환해?"라고 말씀하실 수도 있는데, 이건, 기존의 많은 ML/DL 라이브러리들이 숫자에 기반하기 때문이죠. 즉, Graph를 숫자로 변환했을때, 더...
machine-learning
·⏱ 5m
t-SNE와 perplexity
t-sne t-sne는 복잡한 차원의 데이터를 축소하는 기법을 말합니다. PCA와 유사한데, PCA의 경우 데이터를 오쏘고날한 선형 벡터의 합으로 표현하기 때문에, 잃어버려지는 정보의 양이 좀 많죠( 대신 속도는 t-sne에 비해서 훨씬 빠릅니다...
dev-tools
·⏱ 1m
맥북 캡츠락으로 한영전환 오류 문제 해결
맥북은 capslock으로 한영키를 전환합니다. 다 좋은데, 이게 존나 잘 안될때가 많습니다. 특히, 제가 하는 일의 특성상 영어와 한글을 한 문장 속에서도 번갈아가면서 쳐야될때가 많은데, 간단하게 j와 ㅓ를 번갈아가면서 친다고 하면 다음처럼 됩...
python-libs
·⏱ 2m
tqdm이라는 라이브러리를 사용해보자.
tqdm? tqdm은, 뭐 사실 꼭 필요한 건 아닌데, 현재 for 문이 얼마나 실행되었는지를 알려주는 라이브러리입니다. 사실, 자세하게 설명할 필요는 없으니, 그냥 바로 소개할게요 DO IT 아래처럼 loop가 돌아갈때, 지금 얼마나 돌아가고 ...
python-libs
·⏱ 20m
gensim을 이용하여 doc2vec 이용하기.
intro. 저는 최근에, 텍스트를 효과적으로 처리하고, 특히, 유의미한 정보를 추출하는 작업을 수행하고 있습니다. 특히, 적합한 데이터를 찾는 측면에서 이 작업을 수행하고 있습니다. 그 과정에서, 몇 가지 유용한 자연어 처리 기법을 찾고있고, ...