discrete choice model과 machine-learning은 뭐가 다른가?
Discrete choice and machine learning: two peas in a pod?(번역 및 정리) 최근에 discrete choice model을 정리하고 있습니다. 아무튼 그러다보니, discrete choice model과...
Python, Java, AI/ML, Vim, Web, CS 이론 등 소프트웨어 개발 및 엔지니어링 기록
Discrete choice and machine learning: two peas in a pod?(번역 및 정리) 최근에 discrete choice model을 정리하고 있습니다. 아무튼 그러다보니, discrete choice model과...
요즘 MLE를 좀 공부해야 할 필요성이 이어서 정리를 하고 있습니다. 늘 말하지만, 모든 예측 모델은 결국 y = ax +b에서 a, b를 찾는 것뿐이죠. 그리고 뉴럴넷이 등장한 이후, 모든 에측 모델은 'gradient descent algor...
요새 discrete choice model이라는 것을 좀 파고 들고 있습니다. 그런데, 조금 파보니까, 이게 제 기준에서는 classification 문제와 크게 다르지 않은 것처럼 보여요. 다만, 일반적으로 머신러닝에서 푸는 분류 문제는 해당...
intro 요즘 통계 좀 개념들을 좀 사용해야 하는데, pooled data, panel data등이 좀 헷갈리더라구요. 그래서 생각난 김에 그냥 정리를 하기로 했습니다. 내용은 모두 위키피디아를 기본으로 하구요. panel data 내용은 여기...
Garbor-Granger pricing 방법 Garbor-Granger pricing 방법은 아직 존재하지 않는 상품/서비스에 대해서 소비자들이 생각하는 적정 가격을 탐색하는 방법을 말합니다. 간단히 말하면, “소비자에게 반복적으로 해당 제품의...
Raw String은 특수 문자를 무시한다 종종 웹에서 데이터를 긁어와야 할 때가 있습니다. 전문적으로 할 때는 다른 기법들도 있지만, 보통 쭉 긁어서 복사하는 걸 제일 많이 하죠. 그런데, 이게 긁히지 않을 때는 페이지 소스 보기를 눌러서, 페...
왜 갑자기! 오랜만에 블로그에 글을 올리려고, 글을 쓰려는데, git이 연결되어 있지 않다더군요. 실력이 부족한 사람은 보통 이 때 매우 당황합니다. 네, 제가 매우 당황했죠. 그냥 발생한 코드를 복사하여 구글에 칩니다. 해결법 [이 블로그에서]...
network에서 clique를 뽑고, 사용하는 방법. 솔직히, 저는 clique를 잘 뽑지 않습니다. 보통의 일반적인 네트워크들은, 생각보다 dense하지 않고, girvan-newman 방법을 이용하는 것이 훨씬 효율적일 때가 많거든요. 즉 ...
json 형식의 파일에서는 스트링 내에 줄바꿈이나 탭이 있으면 안됩니다 되게 간단한 것이기는 한데, 예를 들어서, json 파일이 다음처럼 되어 있다고 해봅시다. 문자열 내에 탭이나, 줄바꿈이 있는게 이상한건 아닌데, 여기서 아래와 같은 오류가 ...
최근에는 GQL이라는 Graph Query Language를 정리했습니다. 결국 데이터를 Graph로서 표현하고, 이를 필요에 따라서, 필터링해서 볼 수 있는 쿼리언어 표준을 만들자! 라는 것이 해당 언어의 목적이죠. 저는, 그렇게까지 대용량의 ...
GQL is not GraphQL 우선 GraphQL과는 다릅니다. GraphQL은 페이스북에서 "API간에 통신(데이터 교환)을 원활하게 하기 위해서 정의한 언어"라고 말할 수 있습니다. 쓰다보니, 우선 GraphQL을 복습하고 가야겠는데요(왜...
text가 어떤 분류에 속하는지를 분류합시다. 저는 요즘 간단히, 자연어 데이터가 어떤 분류에 속하는지를 예측하는 알고리즘을 구현하고 있습니다. 비슷한 예를 든다면, 인스타그램과 같은 서비스에 올라오는 글이 있고 각 글에 달리는 tag가 있다고 ...
단어간 유사성이 이상하게 되어요! 저는 파이썬 자연어처리 라이브러리인 spacy를 사용해서, 단어간 유사성을 비교할때가 있습니다. 그런데 말이죵, 이상하게 유사성이 제대로 안 나올 때가 많습니다. 예를 들어서 아래 코드를 실행하면, 다음처럼, 정...
기존 학습된 벡터들에 새로운 벡터들을 넣어주고 싶어요. 이미 spacy에는 꽤 잘 작동하는 워드투벡이 있습니다. 간단한 처리를 할때는 그냥 이걸 사용해주는 것이 훨씬 좋죠. 그런데, 없는 경우들이 있씁니다. 저는 특수한 분야의 텍스트를 다루는데,...
문자열을 검색할 때 알고리즘 문제들을 풀다보면, 문자열 검색을 해야 하는 일들이 종종 생깁니다. 예를 들어서, N개의 문자열 리스트가 있을 때, 내가 원하는 특정 문자가 해당 N개의 문자열에 있는지 파악하는 것 같은 일들이 비일비재하죠. 뇌없이 ...
what is getattr? 우선 getattr에 대해서 먼저 알아봅시다. 은 그냥 각 오브젝트에서 해당 오브젝트의 attribute를 가져오는 펑션입니다. 기본적으로 파이썬에서 지원되는 built-in function이구요. 간단하게 다음으로...