python
·⏱ 3m
Python - generator/iterator - Merge.
Intro 코딩을 하다가, 대용량의 데이터를 가져올 때, 용량이 너무 커서 램에 한번에 올리기가 어려운 경우, generator/iterator를 사용하는 경우들이 있죠(엄밀히 따지면 generator와 iterator는 다르지만 이 글에서는 차...
Page 2 of 29
python-libs
·⏱ 3m
Python - sklearn - class ID는 그냥 서로 다르기만 하면 되나?
Intro 사실 사소한 질문입니다. classification 문제를 풀 때, Data Y에 대해서 class Label을 지정해주죠. 즉, 만약 우리의 의 데이터가 다음과 같다면, 우리는 10개의 sample을 가지고 있으며, 0 아니면 1로 ...
python-libs
·⏱ 4m
Python - sklearn - fit, partial_fit
2-line summary 은 여러 weight fitting을 까지 수행하는 경우를 말하고, 은 딱 1번의 iteration만을 진행하는 것을 말한다. 따라서, 만약 'converge'하지 않는다는 조건 하에서, parameter 를 10으로 ...
python-libs
·⏱ 5m
Python - sklearn - warm_start.
2-line summary 에서 model의 의 default는 임. 이는 을 실행할 때, 이전에 업데이트된 weight(coefficient)를 초기화하고 다시 fitting한다는 것을 의미한다. 만약 를 True로 설정하고 진행한다면, 을 실...
python-libs
·⏱ 2m
Python - Selenium - Extract meta info.
Intro 우리가 보는 웹페이지는 크게 head, body로 구성되어 있죠. 그리고 head에는 로 작성된 아이들이 있는데, 보통 meta-data라고 무릅니다. meta-data는 "데이터에 대한 데이터"라고 생각하시면 됩니다. 많은 경우, 우...
python-libs
·⏱ 3m
Python - TypeError - Object of type 'int64' is not JSON serializable
Intro python으로 코딩을 하다가, 를 사용해서 뭘 좀 처리하고(보통은 ML 모델에 넘기죠), 이 결과를 json 파일로 저장하려고 할 때 다음과 같은 오류가 뜰 때가 있습니다. 대충 "Type"이 문제고, int64의 변수 타입은 jso...
python-libs
·⏱ 3m
gensim - tutorial - doc2vec with trained word2vec
2-line summary intro 지금까지 저는 word2vec도 공부했고, doc2vec도 공부했습니다. 그리고, doc2vec은 word2vec과 연결되어 있죠. 우선 간단하게 지금까지 공부한 것들을 복습해보겠습니다. AGAIN: word...
python-libs
·⏱ 6m
sklearn - semi supervised learning
Intro: What is semi-supervised learning semi-supervised learning은 "비교적 적은 양의 label data로부터, labeling되어 있지 않은 unlabeld data에 대해서 label을 붙이...
python-libs
·⏱ 5m
Networkx에서 node 합치기(MERGE node)
Intro node의 uniqueness가 보장되지 않은 network를 대상으로 network 분석을 수행하고 있습니다. node의 uniqueness가 보장되지 않았다는 말은, "현재의 network에서 서로 다르게 표현된 두 node가 정말...
python-libs
·⏱ 5m
FastText에 document를 학습시킬 때, itertools.cycle 사용하기.
Intro 요즘 저는 FastText를 이용해서 단어의 의미를 학습시키고 있습니다. word2vec도 doc2vec도 있습니다만, fasttext의 경우는 vocabulary에 없는 단어들이라도 형태적인 유사성을 고려해서, 의미를 파악할 수 있다...
python-libs
·⏱ 2m
gensim - tutorial
Intro. 요즘은 자연어처리를 사용하여 논문을 써야 합니다. 주로, 전처리 쪽을 담당하고 있기는 하지만요. 주로 을 사용하고 있으며, Gensim - Documentation에 있는 내용들을 공부하여 다음과 같이 정리하였습니다. 작성 시간 순....
python-libs
·⏱ 21m
gensim - tutorial - fastText 2편
나의 목적은 결국 "composite word"를 이해할 수 있도록 학습을 시키는 것을 말함. 여기서는, 그렇다면 fastText를 학습시킬때, 2-line summary word2vec의 경우, 존재하지 않는 word(vocab에 등록되지 않은...
python-libs
·⏱ 11m
gensim - Tutorial - Word Mover Distance(WMD)
Intro. Word Mover's Distance(WMD)는 "사용자가 제출한 query에 대해서 가장 관련있는(relevant) 문서들을 줄수 있도록 해주는, 머신러닝 분야의 유망한 기술"입니다. 이 tutorial에서는 두 document에...
python-libs
·⏱ 8m
Earth Mover Distance(EMD) and pyemd
Earth Mover Distance(EMD) Earth Mover Distance(EMD)는 "확률 분포 A를 확률 분포 B로 변환할때 필요한 일의 양"을 의미합니다. 여기서는 확률 분포라고 general하게 말하였지만, 간단하게는 그냥 "하나...
python-libs
·⏱ 21m
한국 힙합씬 피쳐링 네트워크 분석 - 2편 - Data Collection Wisely
한국 힙합씬 피쳐링 네트워크 분석. 저는 대상/현상을 네트워크로 모델링하고 네트워크 적인 분석 법을 사용하여 대상 네트워크를 분석하는 일을 주로 수행합니다. 그리고, 그러다보니, 세상의 많은 현상들을 결국 "네트워크"적으로 바라보게 되죠. 동시에...
python-libs
·⏱ 47m
한국 힙합씬 피쳐링 네트워크 분석 - 3편 - Data Analysis
한국 힙합씬 피쳐링 네트워크 분석. 저는 대상/현상을 네트워크로 모델링하고 네트워크 적인 분석 법을 사용하여 대상 네트워크를 분석하는 일을 주로 수행합니다. 그리고, 그러다보니, 세상의 많은 현상들을 결국 "네트워크"적으로 바라보게 되죠. 동시에...