data-science
·⏱ 1m
R - ggplot with title
R에서 ggplot을 이용해서 그림을 그리고 title을 넣어주는 코드입니다. Wrap-up python이랑 R은 그림 그리는 방식이 완전히 달라서 좀 낯설군요 흠.
Page 1 of 1
data-science
·⏱ 1m
R - library와 require의 차이
R에서는 library를 import하는 방법으로 , 라는 두 가지 방법이 있습니다. 기본적으로 둘 다 필요한 라이브러리를 가져온다는 점에서는 같지만, - 의 경우 만약 해당 라이브러리가 설치되어 있지 않다면 오류를 발생시키며 프로그램이 멈추고,...
data-science
·⏱ 8m
Q-Q plot을 이용한 normality test
현재 데이터 분포가 가우시안분포를 따르는가? 다양한 확률분포가 있는데, 그중에서, 수치들을 '가우시안 분포'를 따른다고 가정하고 모델링할 때가 많습니다. 그런데, 이건 가정이잖아요. 편하기는 한데, 정말 해당 데이터가 "가우시안 분포"를 정말 따...
data-science
·⏱ 12m
3개월동안 먹은 커피 기록을 분석합니다.
3개월동안 마신 커피 데이터를 분석합니다 3월 초부터 6월 19일까지 저는 잠시 대학원을 떠나 집에서 머물고 있었습니다. 저는 집에서는 공부를 못해서 늘 집앞에서 커피를 먹으면서 공부를 했습니다. 문득 카드 사용 내역을 보는데, 이걸 활용해서 뭔...
data-science
·⏱ 3m
LP and QP 풀기
다시 최적화시간이 생각납니다 하하핫. LP는 Linear Programming의 약자인데, 간단히 말하면 연립방정식의 해를 찾는 것라고 해도 아무 문제가 없습니다. LP의 기본적인 형태는 대략 다음과 같습니다. 목적식이 있고, 이 목적식을 만족하...
data-science
·⏱ 8m
optimization 기본
gradient decent method and plotting with matplotlib datascience school의 자료를 보다가 최적화라는 포스트를 보고, 정리를 해야 할것 같았습니당. 계속 이어지는 자료이긴 한데, 여기서는 gra...
data-science
·⏱ 9m
data preprocessing 잘하기
data preprocessing 을 잘해보려고 합니다. skewness 해결, MinMaxScaler, robustScaler 등을 처리합니다. missing value도 다루어야 하는데, missing value의 경우는 상황에 따라 달라지는...
data-science
·⏱ 8m
handling missing value
missing value를 다뤄봅시다. kaggle에서 데이터를 예측하다 보면, 에러가 아주 많이 발생합니다. 그 이유는, kaggle에서 제공되는 데이터들에 빈 공간이 너무 많기 때문이죠. 그냥 알아서! 빈 공간은 다 제외하고 주면 안됩니까! ...
data-science
·⏱ 6m
data의 skewness를 삭제합시다.
skewed data를 어떻게 해결할까요. 예측 문제라는 것은 결국 "A로부터 B를 추론하는 것"인데, A의 분포와 B의 분포가 다를 수 있습니다. 아니, 다르게 표현하면, A의 어떤 부분이 B를 매우 예측하는데, 그것이 A라는 변수 혹은 데이터...
data-science
·⏱ 8m
데이터분석이고 나발이고 일단 수치들을 잘 표준화하는 것이 필요하지 않을까요?
scaling is most important thing ever. 엑셀을 열어보면 늘 칼럼의 데이터는 엉망진창입니다. missing data는 기본이고, 값이 있어도 지나치게 큰 데이터들(outlier)이 있거나, 칼럼 별로 range가 다르거...
data-science
·⏱ 13m
spectral clustering에 대해서 정리해보겠습니다.
일반적인 clustering 클러스터링을 하기 위해서는 개체 간의 거리를 재는 것이 중요합니다. 이 때, 이 개체 간의 거리를 무엇으로 재는가? 가 중요한데, 데이터가 이라면, 는 개체의 이름, 은 개체가 가진 특성의 이름이 되겠죠. - 예를 들...
data-science
·⏱ 8m
organizational mining(basic)
what is organizational mining 은 보통 크게 두가지로 구분된다(고 생각합니다). - Process model mining and performance analysis: Process model을 구축하고 해당 프로세스 모델...
data-science
·⏱ 31m
python으로 alpha-algorithm을 구현해봅니다.
intro 은 기업의 정보시스템에 축적되는 데이터들(일반적으로 이 분야에서는 이벤트 로그라는 이름으로 많이 부릅니다)로부터 회사의 업무 간의 흐름을 도출해 내고, bottleneck 등을 발견하는 기술을 의미합니다. 몇 년 전부터는 단지 프로세스...