word embedding을 해봅시다.
word embedding이 뭔가요. 도 많이 들어 봤고, 도 많이 들어봤습니다. 어떻게 '되는 것인지'는 모르지만, 어떻게 쓸 수 있는 줄은 알고 있습니다. 아주 간단하게 말하면, 를 벡터로 표현한다는 것이겠죠. 기존에도 워드를 벡터화 하려는 ...
Python, Java, AI/ML, Vim, Web, CS 이론 등 소프트웨어 개발 및 엔지니어링 기록
word embedding이 뭔가요. 도 많이 들어 봤고, 도 많이 들어봤습니다. 어떻게 '되는 것인지'는 모르지만, 어떻게 쓸 수 있는 줄은 알고 있습니다. 아주 간단하게 말하면, 를 벡터로 표현한다는 것이겠죠. 기존에도 워드를 벡터화 하려는 ...
사실 해보니까 매우 간단하네요. 예전에도 이걸 정리를 해뒀던 것 같은데, 매번 여기저기 둬서 없어졌습니다. 괜히 node size, edge width를 weight에 따라서 알아서 조절하려고 하지 말고, 그냥 cmap을 이용해서 간단하게 하는 ...
python으로 작업할 때 warning을 무시하자 python으로 작업하다보면(특히 ) 이런저런 warning이 뜹니다. 물론 버그의 원인이 되므로 매우 중요하지만, 이걸 하나하나 다 고치다보면 진짜 복창이 터지거든요. 그래서 저는 종종 무시할...
훨씬 깔끔하게 만든 rnd knowlege map code 아 이제 뭘 좀 고치거나 확장하거나 하는게 좋겠네요(물론 이전과의 비교지, 지금도 문제는 많습니다만)) 앞으로도 이 내용은 계속 수정하면서 올릴 것 같습니다. 기존의 문제점 일단 제대로 ...
maplotlib를 사용하는 이유. 이전 포스트에서는 를 사용하겠다고 했었습니다. 물론 이 것의 장점이 있기는 한데, 약간 범용적인 측면에서 생각해보면 결국 matplotlib로 돌아가게 됩니다(물론 process model을 표현하는데는 gra...
간단히 말해서, 네트워크 또한 데이터 구조다. '어떤 노드가 어떤 노드와 연결되어 있는가?', '또한 그 노드들은 어떠한 특성을 가지고 연결되어 있는가?', '그 노드와 직접 연결된 노드들은 무엇이 있는가?' 등 네트워크를 분석하다보면 관련된 분...
백업용으로 일단 업로드 해두었습니다. 아래 내용은 graphviz를 이용해 그림을 그려보았으나, 생각보다 예쁘게 나오지 않았씁니다. 원인은 다음들이라고 생각됩니다. - dot language를 잘 모르고 주먹구구식으로 함 - 체계적으로 코딩한 것...
왜 이런짓을 하죠? 저는 보통 대부분의 작업을 맥에서 하는데요(윈도우 마우스 쓰기 싫어요 손목 아파여). 맥에서도 물론 마소 오피스를 쓸 수 있지만, 썩 마음에 들게 워킹하지 않아요. 반드시 마우스를 써야 하는 것도 그렇고. 엑셀의 경우는 그래도...
scopus 데이터를 이용한 저자 키워드 데이터 자동화하기 물론 '텍스트'를 다루는 대부분의 분석의 경우는 자동화가 어렵습니다. 다양한 이유가 있겠으나, 제가 아는 범주에서의 문제는 '예외처리'죠. 텍스트는 예외가 많습니다. 특히, 키워드 분석을...
centrality는 무엇인가요? 한국말로 하면 '중심도'가 되겠네요. 네트워크가 구성되었을 때, 우리가 궁금한 것은 네트워크에서 어떤 노드가 중요한 놈인가? 라는 것입니다. 란 네트워크 상에서 중요한 노드를 찾기 위한 일종의 metric이라고 ...
데이터 차원을 왜 줄여야 하나요? 우선 쓸모가 없으니까요. 사람들이 빅데이터라는 말을 하기 시작한 이후부터는(물론 저 단어는 정말 쓸모없습니다만), 가령 엑셀같은 데이터에 그냥 칼럼이 엄청 많아도 너무너무 좋다고 생각할 지도 모릅니다. "우리에게...
latex가 뭔가요? 한글 워드 프로세서(정확한 명칭이 뭔지는 모르겠는데)에서 수식을 써보시면 약간 코딩하듯이 수식을 만들 수 있다는 것을 알 수 있습니다. latex는 문서 조판 언어인데(학술계에서 많이 쓰는), 이 중에서 대부분 수식을 표현하...
keras가 뭔가요? "Keras is a high-level neural networks API, written in Python and capable of running on top of TensorFlow, CNTK, or Theano." ...
웹에서 이미지를 읽어봅시다 개발을 하다보면 웹에서 이미지를 가져와야 할 때가 있습니다. 저는 바보라서 그냥 로 해도 되지 않을까? 라는 바보같은 생각을 한 적도 있습니다ㅠㅠ당연히 안되죠. 일반 텍스트는 보통 을 사용해서 비교적 쉽게 크롤링할 수 ...
비슷한가 안 비슷한가! 데이터 분석을 하거나 해야할 때, 많이 쓰이는 measure 중 하나는 similarity(distance)라고 할 수 있습니다. 이 아이들은 비슷한가? 비슷하면 얼마나 비슷한가? 는 항상 직관적으로 궁금해지는 부분입니다....
wordcloud가 뭘까여 보통 이런걸 워드클라우드라고들 하지요. 파이썬에서 워드클라우드를 만들수 있다고 해서 정리해보았습니다. 일단 해당 라이브러리를 일단 설치를 합시다. simple example 텍스트를 객체에 넣어주고, 다음을 실행하면 실...