A/B 테스트 설계 시 고려해야 할 부분

22 May 2022 in A/B Test on A/b test, Experiment

A/B 테스트의 “A그룹과 B그룹에 무작위로 사용자를 할당하여 새로운 기능 또는 디자인의 효과를 측정한다”는 개념 자체는 직관적이지만, 실제 실험을 설계하고 진행하고 해석하기 위해서는 고려해야 할 부분이 상당히 많다는 생각이 듭니다. 실험 설계와 해석을 더욱 잘하고 싶은 마음에 PAP(Product Analytics Playground)의 A/B 테스트 스터디에 참여하게 되었습니다. 하마책으로 유명한 "Trustworthy Online Controlled Experiments - A practical guide to A/B Testing"을 함께 읽으며 경험과 질문을 공유하고 있습니다. 스터디 멤버분들과 "Trustworthy Online Controlled Experiments"의 2장까지 학습한 내용을 공유하고자 합니다. 도움이 되었으면 좋겠습니다.

SQL을 작성할 때 놓치기 쉬운 5가지

31 Jan 2022 in SQL on Sql

많은 분석가분들이 어떻게 하면 더 나은 쿼리를 작성할 수 있을까? 고민하실 것이라 생각합니다. “SQL 코딩의 기술(영문 제목: Effective SQL)”을 읽고 더 효율적인 쿼리를 작성하고 실수를 줄이기 위해 주의해야할 점들을 정리해봤습니다. 더욱 효율적이고, 정확한 쿼리를 작성하고자 하는 분석가 분들에게 도움이 되었으면 좋겠습니다.

2021년 회고

02 Jan 2022 in Retrospective on Retrospective

2021년을 보내며 생겼던 생각의 변화와 앞으로의 다짐을 정리해보고자 합니다.

샘플 사이즈 계산기에 숨어있는 통계 이야기

26 Dec 2021 in Experiment on Experiment, Statistics

A/B 테스트를 진행하기 앞서 늘 고민되는 것은 “적절한 샘플 사이즈는 얼마일까?”일 것입니다. 그리고 이 고민을 해결해주기 위해 웹에는 상당히 많은 수의 A/B 테스트 샘플 사이즈 계산기가 공개되어 있습니다. 숫자를 입력하면 샘플 사이즈가 출력되는데, 도대체 어떻게 샘플 사이즈가 구해지는 것인지 궁금했던 분들이 있을 것입니다. 아쉽게도 이번 글은 샘플 사이즈가 구해지는 공식과 원리를 낱낱이 파헤치는 글은 아닙니다. 하지만 A/B 테스트 샘플 사이즈 계산기에 숨어있는 통계적인 개념들을 살펴봄으로써 실험에서 어떤 부분을 주의해야할지 정리해보고자 합니다.

데이터로 행동과 의사결정 이끌어내기

05 Dec 2021 in Product Analytics on Web-data-analytics

웹 데이터 분석의 대가라고 불리는 아비나쉬 카우쉭(Avinash Kaushik)의 저서 '웹 데이터 분석학'을 읽고 그 중 분석 결과를 바탕으로 행동과 의사결정을 이끌어내기 위해 어떤 노력을 해야하는지에 대해 정리해봤습니다. 데이터 기반 대시보드를 만들고 계신 분, 비즈니스에 영향을 주고 싶은 데이터 분석가 분들에게 도움이 되었으면 좋겠습니다.

클릭스트림 데이터를 분석할 때 주의할 점

08 Nov 2021 in Product Analytics on Web-data-analytics

클릭스트림 데이터(clickstream data)란 '사용자가 웹 브라우저 상에서 마우스를 클릭해 이뤄지는 행동에 대한 기록'을 말합니다. 이번 글에서는 온라인 비즈니스의 매출에 기여하기 위해 어떻게 클릭스트림 데이터를 분석할 수 있는지 설명하는 '웹 데이터 분석학'(영문제목: Web Analytics 2.0: The Art of Online Accountability and Science of Customer Centricity - Avinash Kaushik)을 읽고 인상 깊었던 내용을 정리해봤습니다. 2013년에 출판된 책이지만 여전히 유익한 내용들이 있어 여러 편에 걸쳐 정리해볼 계획입니다.

리텐션 분석 시작하기

19 Oct 2021 in Product Analytics on Product Analytics

근래 인과 추론과 더불어 제품 분석에 대해서도 관심을 가지고 학습하고 있습니다. 이번 글에서는 AARRR 퍼널(Acquisition - Activation - Retention - Revenue - Referral) 중 3번째 단계인 Retention이 왜 중요하고, 이를 어떻게 분석할 수 있는지에 대해 정리해봤습니다. 'Amplitude Product Analytics Playbook'의 첫 번째 챕터와 관련 자료들을 주로 참고하여 학습했습니다. 저와 같이 제품 분석을 시작하시는 분들에게 도움이 되었으면 좋겠습니다.

인과 추론의 가정들

28 Aug 2021 in Causal Inference on Causal Inference

근래 인과 추론(Causal Inference)에 관심을 가지고 학습하고 있습니다. 인과 추론이란 두 개의 사실로부터 각각이 원인과 결과인지 평가하여 결론을 이끌어내는 것을 말합니다. 이번 글은 Causal Inference KR 스터디 모임의 발표를 준비하며, Miguel A. Hernan의 저서 'Causal Inference: What if'의 3장까지 학습한 내용을 공유하려고 합니다.

인과 추론 입문하기

14 Aug 2021 in Causal Inference on Causal Inference

<원인과 결과의 경제학>은 '두 개의 사실로부터 각각이 원인과 결과인지 평가하여 결론을 이끌어내는' 인과 추론의 기본 개념을 쉽게 풀어쓴 책입니다. 책의 제목에 '경제학'이라는 단어가 들어가지만 경제학에 대한 배경 지식이 전혀 없어도 읽는데 지장은 전혀 없었습니다. 인과 추론의 기본적인 그림을 이해하는데 힌트를 준 고마운 책이여서, 도움이 되었던 내용을 소개해보려고 합니다.

<신호와 소음>을 읽고

31 Jul 2021 in Data Literacy on Prediction

<신호와 소음>은 다양한 분야에서 예측에 성공하며, 명성을 얻은 네이트 실버의 저서입니다. 어떻게 하면 데이터 속에서 수많은 소음을 거르고 올바른 신호를 찾아내어 더 나은 예측을 할 수 있는지를 다루는 책입니다. 이번 글에서는 책을 읽으면서 스스로에게 물었던 질문과 그에 대한 답을 정리하고 공유해보려고 합니다.

<숫자는 거짓말을 한다(영문 제목: How Charts Lie)>를 읽고

31 May 2021 in Data Literacy on Data Literacy

<숫자는 거짓말을 한다(영문 제목: How Charts Lie)>는 이런 숫자와 차트에 쉽게 현혹될 수 있으며, 이를 주의하기 위해서 차트를 어떻게 설계하고, 해석해야 하는지를 소개하는 책입니다. 그 중 앞으로의 차트 해석에 도움이 될 수 있는 3가지 원칙을 소개합니다.