python-libs
·⏱ 4m
pd.concat이 df.append보다 빠릅니다.
1-line summary 이 보다 빠릅니다. pd.concat vs df.append 쓰고보니 매우 간단한 내용입니다만, 정리합니다. 는 dataframe으로 구성된 리스트들을 한번에 다 합쳐서 새로운 dataframe을 만들어주는 함수입니다....
Page 1 of 3
python-libs
·⏱ 4m
pd.read_csv는 충분히 빠른가?
1-line summary 가 보다 더 빠른 것 같습니당. pd.readcsv is faster? 다른 라이브러리들도 있지만, csv를 읽을 때, 가 직관적이기도 하고 다른 관련 함수들도 많이 제공하기 때문에, 이 함수만 쓰고 있지만, 가끔, "...
python-libs
·⏱ 15m
python - pandas - use it clever.
intro. 2019년에 진행된 pycon 발표자료들을 다시 보면서, 제가 모르는 것들이 무엇이 있었는지를 정리하고 있습니다. 그러던 중에 뚱뚱하고 굼뜬 판다스(Pandas)를 위한 효과적인 다이어트 전략이라는 자료를 보고, 제가 알던 내용과 모...
python-libs
·⏱ 2m
python - pandas - reading and writing feather
what is feather? Feather provides binary columnar serialization for data frames. It is designed to make reading and writing data frames e...
python-libs
·⏱ 2m
python - pandas - reading and writing parquet
save pd.Dataframe as parquet. 우리는 dataframe을 습관적으로 로 저장합니다. 하지만, 이 아이는, 메타데이터를 저장할 수 없어 칼럼별로 dtype을 재지정해줘야 하는 일이 생길 수 있다는 것과, 읽고 쓸때 시간이 많...
others
·⏱ 3m
python - pandas - save dataframe as hdf5.
pd.dataframe을 hdf5의 형식으로 저장합시다. 보통 우리는 을 그냥 무심코, 의 형태로 저장하고는 합니다. 하지만, 슬프게도, csv로 저장하면 다음과 같은 문제들이 발생하죠. - 비효율성) string으로 저장하므로 데이터 용량을 많...
python-libs
·⏱ 2m
python - pandas - read csv with datatypes
csv에서 특정 column을 string으로 읽고 싶을 때. 은 사실 엑셀과 유사합니다. 엑셀처럼 각 칼럼의 데이터타입을 지정하고 관리할 수 있죠. 아무튼, 가끔, csv에 저장된 값은 이라는 문자열인데, 이를 그대로 로 읽으면. 이라는 flo...
python-libs
·⏱ 10m
python - pandas - crosstab, pivot_table
우리가 이미 를 사용해서 필요한 데이터를 엑셀처럼 깔끔하게 구축해두었다고 합시다. 그런데, 이 데이터들을 혼합해서 간단한 cross-table을 만들고 싶을 때가 있죠. cross-table은 가령, 우리에게 , , 이라는 세 가지의 칼럼이 있다...
python-libs
·⏱ 7m
python - pandas - Ordered crosstab, pivot_table
순서를 유지한 채 crosstab을 만들기. CrossTable은 복잡한 데이터세트로부터, 다양한 그룹별로 데이터들이 어떻게 분포되어 있는지 row, column으로 분리하여 봄으로써, 데이터의 특징에 대한 직관적인 해석을 지원합니다. 그리고, ...
python-libs
·⏱ 12m
python - pandas - check encoding.
check your encoding file. 보통 로 csv 파일들을 읽을 때 가장 흔히 발생하는 에러로 다음의 것이 있죠. 길게 되어 있지만, 그저 "원래 파일이 utf-8로 인코딩되어 있지 않은데, utf-8로 인코딩하려고 해서 발생하는 문...
python-libs
·⏱ 2m
pandas - dataframe - sampling
dataframe sampling 을 기본 데이터구조로 관리할 때, 종종 랜덤하게 데이터를 샘플링하고 싶을 때가 있습니다. 가령, cross-validation처럼 처리를 하고 싶을 때 라거나, noise imbalance 문제로 인해서, 클래스...
python-libs
·⏱ 1m
pd.DataFrame의 categorical data
dataframe의 column을 category로 만들면 좋아지나요? 저는 그냥 귀찮아서, 보통 categorical data인 것 같으면, 를 이용해서 one-hot encoding으로 처리해버렸습니다. 어차피 random-forest를 돌릴...
python-libs
·⏱ 3087m
pandas profiling
자, 원래는 지난 편에서 좀 더 자세하게, 의 사용법을 알아보려고 했습니다만, 라이브러리의 충돌등으로 인해서 잘 되지 않더군요. 그래서 이 편에서 좀 더 정리해봤습니다. 해당 내용들은, pandas-profiling documentation에서 ...
python-libs
·⏱ 17m
pandas profiling
탐색적 데이터 분석(Exploratory Data Analysis)이라는 것이 있습니다. 어려워 보이지만, 간단하게 설명하자면, 주어진 데이터의 특성이 무엇인지를 파악하는 것을 말합니다. 우선, 저한테 데이터 세트가 있다고 가정을 해보겠습니다....
python-libs
·⏱ 4m
dictionary를 pd.DataFrame으로 바꿀 때
예제를 봅시다. 매우 간단한 문제기 때문에 설명없이 바로 들어갑니다. 다음처럼 간단한 딕셔너리가 있고, 이를 의 contstructor를 이용해서 바로 변환해준다고 합시다. - 우리의 마음같아서는 가 index가 되고 , , 가 칼럼이 되기를 희...
python-libs
·⏱ 5m
scopus에서 서지정보 가져오기(fail)
start and fail. 원래는 selenium을 이용해서 직접 scopus에서 데이터를 일일이 가져오는 식으로 처리하려고 했습니다만, 혹시나 해서 찾아보니, 이미 scopus를 편하게 쓸 수 있는 라이브러리가 만들어져있었습니다. 일단 설치합...