python-libs
·⏱ 12m
Python - sklearn - Probability Calibration
Intro 이 글의 내용을 정리하고 번역하였습니다. Calibration of Predictions 흔히들 Calibration은 "실제 현상에서의 빈도"와 "예측 모델을 통해 예측된 확률값"이 같은 정도를 말한다고 보시면 됩니다. (기본적으로는...
All Posts
총 1,428개의 아카이브 중 545 - 560번째 글
python
·⏱ 3m
Python - generator/iterator - Merge.
Intro 코딩을 하다가, 대용량의 데이터를 가져올 때, 용량이 너무 커서 램에 한번에 올리기가 어려운 경우, generator/iterator를 사용하는 경우들이 있죠(엄밀히 따지면 generator와 iterator는 다르지만 이 글에서는 차...
python-libs
·⏱ 3m
Python - sklearn - class ID는 그냥 서로 다르기만 하면 되나?
Intro 사실 사소한 질문입니다. classification 문제를 풀 때, Data Y에 대해서 class Label을 지정해주죠. 즉, 만약 우리의 의 데이터가 다음과 같다면, 우리는 10개의 sample을 가지고 있으며, 0 아니면 1로 ...
python-libs
·⏱ 4m
Python - sklearn - fit, partial_fit
2-line summary 은 여러 weight fitting을 까지 수행하는 경우를 말하고, 은 딱 1번의 iteration만을 진행하는 것을 말한다. 따라서, 만약 'converge'하지 않는다는 조건 하에서, parameter 를 10으로 ...
python-libs
·⏱ 5m
Python - sklearn - warm_start.
2-line summary 에서 model의 의 default는 임. 이는 을 실행할 때, 이전에 업데이트된 weight(coefficient)를 초기화하고 다시 fitting한다는 것을 의미한다. 만약 를 True로 설정하고 진행한다면, 을 실...
python-libs
·⏱ 2m
Python - Selenium - Extract meta info.
Intro 우리가 보는 웹페이지는 크게 head, body로 구성되어 있죠. 그리고 head에는 로 작성된 아이들이 있는데, 보통 meta-data라고 무릅니다. meta-data는 "데이터에 대한 데이터"라고 생각하시면 됩니다. 많은 경우, 우...
python-libs
·⏱ 3m
Python - TypeError - Object of type 'int64' is not JSON serializable
Intro python으로 코딩을 하다가, 를 사용해서 뭘 좀 처리하고(보통은 ML 모델에 넘기죠), 이 결과를 json 파일로 저장하려고 할 때 다음과 같은 오류가 뜰 때가 있습니다. 대충 "Type"이 문제고, int64의 변수 타입은 jso...
python-libs
·⏱ 4m
Python - Dictionary - 깊숙하게 합치자.
Intro python으로 코딩하면서, 가장 많이 사용하는 아이가 바로 dictionary입니다. 필요에 따라서 그냥 set operation처럼 쓸 수도 있고, json으로 serialization하기도 편하고 다양한 편리함을 갖추고 있죠 UP...
python-libs
·⏱ 3m
gensim - tutorial - doc2vec with trained word2vec
2-line summary intro 지금까지 저는 word2vec도 공부했고, doc2vec도 공부했습니다. 그리고, doc2vec은 word2vec과 연결되어 있죠. 우선 간단하게 지금까지 공부한 것들을 복습해보겠습니다. AGAIN: word...
python-libs
·⏱ 6m
sklearn - semi supervised learning
Intro: What is semi-supervised learning semi-supervised learning은 "비교적 적은 양의 label data로부터, labeling되어 있지 않은 unlabeld data에 대해서 label을 붙이...
python-libs
·⏱ 5m
Networkx에서 node 합치기(MERGE node)
Intro node의 uniqueness가 보장되지 않은 network를 대상으로 network 분석을 수행하고 있습니다. node의 uniqueness가 보장되지 않았다는 말은, "현재의 network에서 서로 다르게 표현된 두 node가 정말...
python-libs
·⏱ 5m
FastText에 document를 학습시킬 때, itertools.cycle 사용하기.
Intro 요즘 저는 FastText를 이용해서 단어의 의미를 학습시키고 있습니다. word2vec도 doc2vec도 있습니다만, fasttext의 경우는 vocabulary에 없는 단어들이라도 형태적인 유사성을 고려해서, 의미를 파악할 수 있다...
python-libs
·⏱ 2m
gensim - tutorial
Intro. 요즘은 자연어처리를 사용하여 논문을 써야 합니다. 주로, 전처리 쪽을 담당하고 있기는 하지만요. 주로 을 사용하고 있으며, Gensim - Documentation에 있는 내용들을 공부하여 다음과 같이 정리하였습니다. 작성 시간 순....
others
·⏱ 1m
Gensim2 Coreconcept Topic And Transformation
LDA model등을 공부하기 전에 gensim - Core Concept - topics and transformations를 먼저 공부해서 정리해두도록 하자.
python-libs
·⏱ 21m
gensim - tutorial - fastText 2편
나의 목적은 결국 "composite word"를 이해할 수 있도록 학습을 시키는 것을 말함. 여기서는, 그렇다면 fastText를 학습시킬때, 2-line summary word2vec의 경우, 존재하지 않는 word(vocab에 등록되지 않은...
python-libs
·⏱ 11m
gensim - Tutorial - Word Mover Distance(WMD)
Intro. Word Mover's Distance(WMD)는 "사용자가 제출한 query에 대해서 가장 관련있는(relevant) 문서들을 줄수 있도록 해주는, 머신러닝 분야의 유망한 기술"입니다. 이 tutorial에서는 두 document에...