python-libs
·⏱ 15m
python - pandas - use it clever.
intro. 2019년에 진행된 pycon 발표자료들을 다시 보면서, 제가 모르는 것들이 무엇이 있었는지를 정리하고 있습니다. 그러던 중에 뚱뚱하고 굼뜬 판다스(Pandas)를 위한 효과적인 다이어트 전략이라는 자료를 보고, 제가 알던 내용과 모...
💻
Tech
Python, Java, AI/ML, Vim, Web, CS 이론 등 소프트웨어 개발 및 엔지니어링 기록
1,253 posts · Page 46/79
python-libs
·⏱ 2m
python - pandas - reading and writing feather
what is feather? Feather provides binary columnar serialization for data frames. It is designed to make reading and writing data frames e...
python-libs
·⏱ 2m
python - pandas - reading and writing parquet
save pd.Dataframe as parquet. 우리는 dataframe을 습관적으로 로 저장합니다. 하지만, 이 아이는, 메타데이터를 저장할 수 없어 칼럼별로 dtype을 재지정해줘야 하는 일이 생길 수 있다는 것과, 읽고 쓸때 시간이 많...
python-libs
·⏱ 1m
python - statsmodels - GLM
Generalized Linear Model 에서 GLM을 어떻게 이용할 수 있는지, binary classification 뿐만 아니라 어떤 모델들이 있는지 등에 대해서 자세하게 예를 들어 서술할 것. reference
python
·⏱ 4m
python - static type checking - mypy more.
intro. 이전의 post에서, 를 사용하여 비교적 간단한 static type checking을 하는 짓을 해봤습니다. 이 post에서는 에 대한 개괄적이 설명과, 무엇을 더 할 수 있는지에 대해서 알아보겠습니다. What is mypy? 는...
others
·⏱ 2m
트위터, 블로그 등에 산재되어 있는 정보들을 어떻게 효율적으로 수집할 수 있을까?
intro. 블로그를 운영한지 어느덧 2년 정도가 되어 갑니다. 본인이 우위를 점하려고 하는 스택 혹은 시장을 명확히 할 것. 우선 어떤 분야에서 내가 우위를 점할 것인지에 대해서 명확하게 설정해야 합니다. "목표 정의"따위로 정의할 수도 있겠네...
others
·⏱ 3m
python - pandas - save dataframe as hdf5.
pd.dataframe을 hdf5의 형식으로 저장합시다. 보통 우리는 을 그냥 무심코, 의 형태로 저장하고는 합니다. 하지만, 슬프게도, csv로 저장하면 다음과 같은 문제들이 발생하죠. - 비효율성) string으로 저장하므로 데이터 용량을 많...
python
·⏱ 9m
python - static type checking - mypy
Background) Static-type and Dynamic-typed checking python이전에 비교적 전통적인 프로그래밍 언어에 속하는 c, c++, java 등의 언어를 사용해보신 분들은 다음과 같은 형태로 코드를 작성하는 것이 ...
python-libs
·⏱ 26m
Fitting Statistical Models to Data with Python - WEEK 1 - Part 1
WEEK 1 - OVERVIEW & CONSIDERATIONS FOR STATISTICAL MODELING 이 코스에서는 주로 라는 파이썬 라이브러리를 주로 활용하며, 이를 활용해 이전에 배운 간단한 통계적 기법을 배웁니다. 지금이야, 워낙 뉴럴...
python-libs
·⏱ 2m
Fitting Statistical Models to Data with Python - WEEK 1 - Part 2
Data Modeling in Python 일반적으로, 데이터에 대해 통계적 모델을 세운다는 것은 다음과 같은 과정에 따라서 진행된다. 1. varaible이 가지는 분포에 대한 성질(mean, variance, covariance)를 유추(es...
python-libs
·⏱ 4m
python - patsy - overview.
patsy: python package for describing statistical models. 요즘, 아는 후배가 물어봐서 conjoint 분석이라는 것을 조금 수행하고 있었습니다. 특정 사용자 군을 대상으로 discrete choice ...
python-libs
·⏱ 18m
Fitting Statistical Models to Data with Python - WEEK 3 - part 1
Fitting a multilevel Model 본 주차에서는 자폐증(autism)을 가진 아이들을 대상으로 수행된 longitudinal study를 대상으로 데이터를 분석한다. 주로 다음의 변수들을 분석한다. - : "피실험자들의 나이", 2...
python-libs
·⏱ 10m
Fitting Statistical Models to Data with Python - WEEK 3 - part 2
Fitting a Marginal Model. Multilevel Model) Part1에서는 같은 피실험자(사람, 아이)에 대해서 오랜동안 관측한 데이터간의 correlation을 고려하여, 나이에 따른 random effect가 다를 것이라를...
python-libs
·⏱ 5m
Fitting Statistical Models to Data with Python - WEEK 3 - part 3
Multilevel and marginal modeling, a case study with the NHANES data 데이터라는 것은, 사실 여러 관계를 가지고 있을 수 있습니다. 하나의 선형적인 관계만 가지는 것이 아니라, multi-lev...
python-libs
·⏱ 2m
python - pandas - read csv with datatypes
csv에서 특정 column을 string으로 읽고 싶을 때. 은 사실 엑셀과 유사합니다. 엑셀처럼 각 칼럼의 데이터타입을 지정하고 관리할 수 있죠. 아무튼, 가끔, csv에 저장된 값은 이라는 문자열인데, 이를 그대로 로 읽으면. 이라는 flo...
python-libs
·⏱ 16m
Fitting Statistical Models to Data with Python - WEEK 2 - Part 1
WEEK 2 - FITTING MODELS TO INDEPENDENT DATA - PART 1 2주차에는 linear regression과 logistic regression을 배운다. 그리고, 이 모델의 정확도를 어떻게 측정할 수 있는지에 대해...