Simpson's paradox and how to avoid it.
Simpson's paradox simpson's paradox(심슨의 역설)는 영국의 통계학자인 Edward simpson이 정리한 역설로 대략 다음의 형태로 표현된다. a1/A1 True a2/A2 True 라고 해서 아래가 참이 아닐 수 있...
Python, Java, AI/ML, Vim, Web, CS 이론 등 소프트웨어 개발 및 엔지니어링 기록
Simpson's paradox simpson's paradox(심슨의 역설)는 영국의 통계학자인 Edward simpson이 정리한 역설로 대략 다음의 형태로 표현된다. a1/A1 True a2/A2 True 라고 해서 아래가 참이 아닐 수 있...
dataframe sampling 을 기본 데이터구조로 관리할 때, 종종 랜덤하게 데이터를 샘플링하고 싶을 때가 있습니다. 가령, cross-validation처럼 처리를 하고 싶을 때 라거나, noise imbalance 문제로 인해서, 클래스...
neo4j - job management DB를 전반적으로 관리할 권한을 가지고 있지 않고, 그저 데이터를 읽는 정도로만 사용할 때는 문제가 없지만, DB의 데이터 일관성과 같은 것들을 면밀하게 관리해야 할 때는 중요한 것은 일종의 load-ba...
Recommendations 본 챕터에서는 기본적인 데이터에 대한 이해를 바탕으로 추천 author 추천 엔진을 만들어봅니다. 추천이라는 것은 '무엇을 기반으로 하느냐?'가 중요한데, 여기서는 author와 citatin 측면에서 관련있다고 생각...
link prediction neo4j - data science - part 4에 작성된 link prediction 내용을 번역하여, 정리하였습니다. 이 모듈에서는 citation graph에서 co-authorship을 예측하는 머신러닝 분...
link prediction neo4j - data science - part 4에 작성된 link prediction 내용을 번역하여, 정리하였습니다. 이 모듈에서는 citation graph에서 co-authorship을 예측하는 머신러닝 분...
요즘은 networkx에서 community detection에 대해서 정리하고 있습니다. 테크닉들에 대해서 테스트를 해보려면, 클러스터가 몇 개로 구성된 예제그래프가 필요합니다. 그리고, 당연히도, 에서 이러한 예제 그래프를 지원하죠. 위와 같...
list comprehension in python python을 사용할 때, list comprehension을 자주 사용합니다. SQL적으로 표현하면 약간 sub-query느낌이 되기도 하죠. 가령, 다음과 같은 것을 말합니다. 다음 둘은 의...
cypher projection in neo4j algorithm. 요즘 neo4j에서 사용하는 pagerank algorithm을 조금 정리하고 있습니다. 기본적인 사용법은 다음과 같죠. 즉, 첫번째에는 node label을, 두번째에는 rel...
install py2neo 요즘 neo4j의 graphacademy에서 제공하는 data-science 수업을 듣고 있습니다. 직접 py2neo등의 라이브러리를 로컬에 설치할 필요 없이, 그냥, jupyter notebook에서 설치해서 돌려볼 ...
intro 저는 IDE로 vs-code를 쓰고 있습니다. 사실 딱히 큰 불편함을 느끼지는 않았는데, 요즘들어 조금씩 이것저것 적용하면서 개선해보려고 하고 있어요. 우선, 모니터의 상부와 하부를 분할하여, 위는 python code로 아래는 ter...
Neo4j - Introduction to Neo4j에 대한 part 7개를 각각 다음과 같이 정리하였습니다. 1. neo4j : part 1 : Introduction to Graph Databases. 1. neo4j : part 2 : In...
neo4j의 graphacademy에서 제공하는 data-science에 대한 내용을 공부하여 정리하였습니다. 이 코스에서는 Neo4j를 사용하여, data science, machine learning과의 워크플로우를 어떻게 구성하는지, 그리고...
About this module. 본문은 neo4j - data science - part1의 내용을 공부하며 정리한 내용입니다. 해당 챕터에서는 Graph로 구축된 데이터베이스를 사용해서 데이터 분석 프로젝트를 수행하기 위해, 환경 설정을 하는...
Exploratory Data Analysis(EDA) 이전에는 neo4j sandbox를 설정하였고, 여기서는 데이터를 탐색합니다. 흔히 말하는 Exploratory Data Analysis를 사용하며, 특히 python의 이미 잘 구축된 라이...
Intro Neo4j에서 데이터를 업데이트하는 방법을 정리하였습니다. 또한 해당 내용은 neo4j - graphacademy - part 6를 참고하여 번역하였습니다. 지금까지는 모두 그래프로부터 필요한 데이터를 가져오기 위해 어떻게 Query를...