python-libs
·⏱ 1m
Selenium - select button
selenium으로 웹브라우저를 조종하면서, 그 과정에서 웹페이지를 크롤링해올 때, "10개씩 보기", "20개씩 보기", "50개씩 보기", "100개씩 보기"와 같은 버튼을 볼 때가 있습니다. 당연히 이럴 때면, "100개씩 보기"를 눌러서,...
💻
Tech
Python, Java, AI/ML, Vim, Web, CS 이론 등 소프트웨어 개발 및 엔지니어링 기록
1,253 posts · Page 36/79
python-libs
·⏱ 6m
python - networkx - centrality with weight
network에서 centrality를 계산할 때, 기본적으로는 edge의 weight를 모두 1로 가정합니다. 이럴 때는 상관없지만, weight 값에 따라서, centrality가 달라질 때, 그냥 아무 생각없이 weight를 그대로 넘겨주지...
python-libs
·⏱ 7m
python - networkx - MultiGraph
networkx.multigraph 사용하기. 의 경우 network(Graph)를 방향성(directionality), 다중-Edge-가능여부에 따라 총 4가지로 구분하죠. nx.Graph() : 방향성이 없고, node간에 하나의 edge만 ...
python-libs
·⏱ 4m
python에서 한글과 영어를 줄 맞춰서 예쁘게 출력하자.
python에서 한글과 영어를 함께 출력할 때, 줄이 안 맞습니다 간단한 코드를 보여드리겠습니다. 종종, 한글과 영어가 혼재되어 있는 결과들을 칼럼별로 다음처럼 출력할 때가 있죠. 하지만, 결과를 보면 마음같지 않습니다. 분명히, 를 사용하였으니...
python-libs
·⏱ 2m
python에서 json을 '한글을 읽을수 있게' 저장하는 방법
JSON: JavaScript Object Notation 우선 JSON은 JavaScript Object Notation의 줄임말이며, python의 dictionary와 유사하게, (key, value)의 형태로 값을 저장하는 것을 말합니다....
python-libs
·⏱ 16m
gensim - model - Phrases
2-line summary 는 텍스트에서 빈번하게 등장하는 bi-gram을 발견해주는 모델입니다. 만약, 2개의 word-token만 붙이는 것이 아니라, 여러 word들을 이어 붙이고 싶다면, 을 반복하여 새로운 모델을 만들어줘야 합니다. Bi...
python
·⏱ 7m
python - byte string, literal string.
intro 가끔 python으로 문자열을 처리하다 보면 앞에 라는 문자 하나가 붙는 것을 볼 수 있습니다. 출력은 문제없이 되니까, 그냥 써도 문제가 없을 때가 있지만, 에러가 발생한다거나, string간의 비교를 정확하게 못해줄때가 있죠. py...
python-libs
·⏱ 7m
nltk - corpus - stopwords
2-line summary stopwords는 보통 "너무 빈번하게 나와서 아무 정도가 없는 'a'와 같은 단어들"을 말합니다. 그리고,에 이미 정의되어 있죠. stopwords and nltk.stopwords 자연어처리를 할때, 너무 빈번하게...
python
·⏱ 2m
python - strip string better with punctuation
1-line summary 보통 이라고 쓰지만, 여기에 parameter를 넘겨주면 넘어간 리스트의 모든 원소를 지워준다. strip better 사소합니다만, 보통 문자열의 양쪽 공백을 지워줄 때 다음과 같이 처리하죠. 이게 다 인줄 알았는데,...
python-libs
·⏱ 12m
gensim - tutorial - Doc2Vec - TaggedDocuments
3-line summary gensim에서 Doc2vec을 학습하기 위해서는 각 문서들을 의 형태로 표현하고 학습함. 이 때 는 반드시 unique documentID이어야 하는 것은 아니며, 인스타그램 태그처럼 여러 개를 동시에 넣을 수도 있습...
python-libs
·⏱ 21m
gensim - tutorial - fastText
2-line summary word2vec의 경우, 존재하지 않는 word(vocab에 등록되지 않은 word)에 대해서는 vector로 표현해주지 못합니다. 반면 fastText의 경우는, word와 word간의 형태적 유사성을 고려함으로써, ...
python-libs
·⏱ 8m
gensim - reproducible training - fix seed
2-line summary gensim은 word vector를 초기화할 때, seed 값을 이용하며, 하나의 코드 실행 내에서 seed륿 변경하지 않는 한, 값은 동일하게 설정된다. 하지만, 서로 다른 코드 실행에서는 초기 값이 달라질 수 있으...
python
·⏱ 4m
음수와 양수는 binary로 각각 어떻게 표현되는가?
intro 사실, 우리는 10진법의 세상에 살고 있지만, 컴퓨터는 2진법의 세상에 살고 있습니다. 물론, 우리가 변수를 선언 및 정의할 때 이진법을 사용하지는 않지만, 컴퓨터는 이진법으로 계산을 처리하죠. 오늘 이야기할 부분은 몰라도 되지만, 재...
python-libs
·⏱ 13m
python에서 textRank 만들기.
3-line summary textRank는 pagerank를 text에 접목시킨 것이다. 이 때 사용하는 Graph는 word를 node로 하여 문장 내 공동출현 값을 edge의 weight로 주는 경우가 있고 혹은 sentence를 node로...
python
·⏱ 2m
python에서 string 내 space 가 없어지지 않을때(non-breaking-space)
왜 했는데 공백이 남아있지? 요즘 일이 있어서 간단하게 string을 처리하고 있습니다. 특히, 오늘은 pdf로부터 텍스트 데이터를 읽어서, 텍스트를 전처리해야 하는 일이 있었죠. 일단 아주 간단하게, 을 사용해서 공백을 삭제했는데, 공백이 안 ...
python-libs
·⏱ 4m
python에서 pdfminer를 이용해서 pdf로부터 text 읽기.
pdfminer is better than others 가끔 pdf로부터 text data를 읽어야 할때가 있습니다. 처음에는 pypdf2, pdftotext를 사용하려고 했습니다만, pypdf2의 경우는 text에서 띄워쓰기가 날아가서 toke...