We are going to be hearing from Avik Basu, who is a data scientist and software engineer on causal machine learning. All right.

Okay. Loud and clear. Cool. Yeah. Hey everyone. Uh, you know, I hope you're doing well. Uh, this is probably the last like talk of today, I think.

>> Yes. >> Okay. So, I'm so I hope you guys are not too tired.

This always happens to me, but but it's fine. So, I mean, today I'm going to talk about, you know, uh, you know, causal thinking in machine learning and, uh, now now this is something, you know, full disclosure, this is something new to me as well, but it's something that I have gained real interest lately.

So we'll dive some, uh, dig into some, you know, concepts together and see how that goes.

Right. So, a little bit about me. Um, I'm based in the Bay Area. I am a data scientist at Intuit.

Um, I actually call myself a full stack data scientist because I I kind of do the whole the whole thing, the whole pipeline.

I'm also an editor at PyOpenSci, which is a nonprofit for broadening the acceptance of scientific Python packages.

Um, and I come from, as I said, come from both an engineering and a data science background. I'm an avid gamer. So, I love PS5 and, you know, Steam Deck.

Like, for some reason, I forgot my Steam Deck. I don't know why, but I'm not very happy about that.

Uh, I love, uh, you know, tennis and, uh, you know, soccer as well. Um, but yeah, I play tennis. I just love it.

Uh, and then driving is something that I feel is very therapeutic, given some conditions are met. Uh, you know, conditions like these.

Miata is always the answer for me. So, yeah, okay, the best condition is that it has to be a stick shift. It has to be a rear-wheel drive and it has to be lightweight.

So, with that, let's move forward. So, the agenda for today is that, uh, and really the goal of today's talk is to give you an intuition behind causal thinking and how you can use it for your own use cases.

So, we'll go over the correlation versus causation, the classic, uh, you know, concept. And then some, you know, concepts which are very specific to, you know, causal inference.

And then we'll talk about uplift modeling, uh, and finally, we'll go through evaluation and some of the key takeaways.

So, um, let me start with a scenario many of you have probably encountered, okay? And it's, uh, and it's basically this, okay?

We build a model to predict, you know, customer churn, okay? And, uh, it's got a great F1 score of 0.9, and you're feeling good about it.

Um, and you can see that the model learned that, you know, probability of churn given call support is 0.45, and the probability of churn given no call is, you know, 0.15, okay?

Now, um, given this, you're very confident about this pattern, right? So, you can actually have an insight that customers who call support are 3x more likely to churn, right?

Um, so, well, I mean, so I mean, someone from business team says that, great, you know, how about we reduce the support calls to prevent churn, right?

Um, and this is where we need to pause because our model can be 90% accurate, but you know, still lead to completely wrong business results.

Okay, so the question we need to really ask ourselves is that did support calls cause churn or did unhappy customers call support?

Okay, so this is the classic example of, you know, correlation versus causation there.

Right? So the key insight here is that high accuracy does not really translate to an actionable insight there. Okay. So, um, now let's talk about the or in other words, let's just formalize the distinction between them.

Right? So we have the predictive models where it estimates, you know, expectation of Y given X.

Okay. And it answers the question who will buy and it also answers, you know, what was going to happen.

Okay. So who will buy and what's going to happen. And in case of the causal model, you have a different kind of a whole thinking basically.

So you're actually estimating what is the uplift.

The uplift meaning that what is the expectation of Y given that there is a treatment minus of Y given that there is not a treatment.

We'll actually go into these notations later on, but that's just to give the basic idea. And the question is that who will buy because of the treatment?

Okay. And the answer that we are trying to look is that what is the effect of our action.

So as you can see that these are fundamentally different questions requiring different approaches, right? So let's go through this problem and we'll we'll we'll actually go through this, you know, same problem, you know, over and over in this talk.

So let's just get this, you know very clear, right?

So we take a concrete example, um, and in this that you run an email marketing campaign and want to affect and want to really measure its effectiveness.

Okay. So, um, you have a prediction model, and this prediction model basically says that, you know, 20% of customers who got emails purchased.

Okay, but this is just an observation, by the way, right? And then in the intervention, you have, you know, something like, okay, sending the email increases the purchase rate by 5%.

Okay, that's the actual effect of the intervention. So you can see that the expectation of purchase given T equals 1, which means the email is sent, minus expectation of purchase given that it's the control, which means no email is sent, uh, is, you know, 0.05, okay, which means that, you know, sending email increases the purchase rate by 5%.

So same data, but we're asking, you know, some different questions here, right?

So, um, now, you know, here's your, you know, campaign results, right? So you have your received email, which is the treatment group, and the purchase rate is 20%.

No email, you have the control group where the purchase rate is 8%. Right? So it's a simple math, you know, email boosts, you know, purchases by 12 percentage points, and we are just ready to ship it.

That's that's what, you know, I would I would actually vote for, right? So email boosts purchases by 12%. So let's just ship it.

Well, not so fast because we need to really figure out who got the emails in the first place, right? So, um, the problem is that your marketing team was not sending these emails randomly.

They actually targeted customers who were recently active and people with very high engagement history.

Okay. So that 12% difference that we saw, it's not actually from that email that you sent.

Okay? Because some of it is that, you know, engaged customers are going to buy more anyway. So the problem here is that, you know, that the observed 12% difference is actually, you know, some true effect.

It is there, you know, no doubt about it.

But then there is also a big amount of selection bias that we need to really, you know, subtract to get the true effect.

So the true effect is what we want. So let's look at the real picture of the selection bias. Okay. So, uh, now we actually break it down by the customer type.

So here you can see that the high engagement and the low engagement are actually features. So you can, you can think of it as a feature to your model, right?

And let's just focus by each customer type. So if you look at the high engagement, so the people who received the email, they actually did, you know, like, you know, 20% purchase.

And then the no email group, which is the control, they did 16%.

So the true effect of the high engagement is actually 4% if you subtract the two, right? And the same and you know, a similar goes for the low engagement as well.

It's, you know, 6%, uh, you know, for the treatment group and then the 3% for the no email group, right?

So it is actually 3%. So, you know, here one thing to really, uh, you know, think about is that the customer engagement feature is actually a confounder.

It affects both who gets the treatment or, you know, who gets the email in this case, and who purchases.

So it affects both the target variable and also the treatment variable. All right. So, I mean, how do we, how do we really solve this problem?

Well, the best way to do that, or I would say the gold standard of this, is randomized control trials, right?

Or some randomized A/B tests. So, the key idea is that it just ensures that treatment and control groups are identical at the baseline.

So, we're not going to, we're not going to do the same mistake that the marketing team did last time, right?

That we need to make sure that we assign these things randomly, right?

So what really happens after randomization is that the treatment group, well, random 50% of all customers, the control group, the same thing. Now, when groups are identical on average, we, we can really see the true effect.

Okay. So, you know, any difference we observe is actually the true effect of the email.

Right? So randomization breaks the link between the customer characteristics and the treatment assignment.

So, but what is the problem then? Well, the problem is that A/B tests are really expensive and depending on the industry you are, it can be very unethical as well.

Okay, they also take much more time to run. I mean, by unethical, you mean, I, you can't just randomize medical treatments, right?

And often we've already collected the data as well. So the campaign already has happened.

Now we need to make use of that, that data as well. So what do we do? Well, you know, first, thing is that we need to ask, we need to ask this question that how do we estimate treatment effects from observational data.

Okay, and this is where uplift modeling really comes in.

Okay. So, um there are actually three components of, you know, of uplift modeling that we need to really take care of.

The first thing is the potential outcomes. How to think about treatment effects, right? So there is there are some distinctions that we should really know about when we think about that.

The second one is uh, you know, conditional average treatment effects or, you know, CATE, uh where we are trying to, so this is exactly what we're trying to estimate here.

Okay. And then the third part is is the metalearners, is actually the how, how do we estimate uh the conditional average treatment effects.

So let's just dive uh right in into the potential outcomes framework.

So this is really about a framework for thinking about treatment effects. The idea is pretty simple but uh actually powerful, right? So what do we do for each individual, and this comes to the notation that I was referring to earlier.

Um, there are actually two potential outcomes. Okay, Y of zero, okay, for a person I, right, which is that they are not treated, which is they are in the control group.

Y of one, um, okay, of a person I, which is the outcome of a person if treated.

So both of these are Y as you can see. So this is actually the target variable or the outcome.

The the superscript zero and one, they are actually the treatments that you're giving them. Okay. So the individual treatment effect, okay, is simply the difference, which is uh, you know, Y1 minus Y0.

That's all, okay? And individual treatment effect is really what we are looking into, meaning that in an ideal world, this is what we need, right?

On an individual level, how much of a lift are we getting by assigning the treatment or by, you know, intervening with any kind of treatment, right?

So that's more about it. Uh, but here's the problem.

Um, we can never observe both outcomes for the same person. Okay, so let's take an example. So Maria got an email, T equals 1, and did a purchase, Y equals 1.

Okay, very clear. Um, then, so it's very clear that we observe Y of 1 equals 1 because the, you know, she got a treatment, right?

But we do not observe Y of 0. Why? Because that thing never happened, right?

So that is known as the counterfactual. Okay. Uh, so we can't really rewind time and try another scenario.

I mean, I don't know if you know that, but I don't know. Okay. Um, um, right, but we, we cannot really answer this question that would she have purchased without the email?

Um, right, and well, if she did, well, now you can see that Y of 0 equals 1.

Meaning that they, that I mean, she, you know, purchased it anyway. In that case, our individual , treatment effect is actually zero because nothing changed.

I mean, she would have bought it anyway. But if it's zero, Y of 0 equals 0, which means that there was some lift.

There was some lift because the email caused the purchase there, right?

So that's about that example and this is a key distinction that we need to really remember, right?

So, the motivation, I mean, why all of this, uh, you know, why does all of this matter, right? So, just like these two people respond completely different to olives, okay?

One loves it, one hates it, right? Individuals respond differently to interventions. Um, and if you look at the average treatment effect, we might see zero and conclude that the intervention does not work, but that, you know, could not be any farther from the truth, right?

So, the goal is to provide, uh, you know, intervention to the right customers, and I'll go into that details, right?

Individuals respond differently to interventions, and, uh, you know, as I said, if you just sum everything over, the average treatment effect might be zero, and but that's not, you know, what we're looking at.

So, in fact, there are actually four distinct types of customers, okay?

Or, you know, four distinct types of people. Let me show you how this hypothetical scenario where we can see both potential outcomes. Okay?

This is not real, this, this cannot happen, but, um, let's just imagine that we can see both potential outcomes. Okay? So, we have the first customer, Mr. Grayson.

Avik Basu - Beyond Just Prediction: Causal Thinking in Machine Learning | PyData Seattle 2025

PyData is an educational program of NumFOCUS, a 501(c)3 non-profit organization in the United States. PyData provides a forum for the international community of users and developers of data analysis tools to share ideas and learn from each other. The global PyData network promotes discussion of best practices, new approaches, and emerging technologies for data management, processing, analytics, and visualization. PyData communities approach data science using many languages, including (but not limited to) Python, Julia, and R.

We aim to be an accessible, community-driven conference, with novice to advanced level presentations. PyData tutorials and talks bring attendees the latest project features along with cutting-edge use cases.

PyData

머신러닝에서 예측 모델의 높은 정확도가 항상 실행 가능한 비즈니스 통찰력으로 이어지지 않으므로, 상관관계와 인과관계를 명확히 구분해야 합니다.

전통적인 A/B 테스트는 비용이 많이 들고 비윤리적일 수 있으므로, 관찰 데이터에서 치료 효과를 추정하는 'Uplift 모델링'을 활용하여 개입의 진정한 효과를 파악해야 합니다.

Uplift 모델링은 고객을 '확실한', '설득 가능한', '가망 없는', '잠자는 개' 유형으로 분류하며, 개입에 긍정적으로 반응하는 '설득 가능한' 고객을 타겟팅하여 리소스 효율성을 높이는 것을 목표로 합니다.

이번 강연은 머신러닝 분야에서 새롭게 떠오르는 주제인 **인과적 사고에 초점을 맞춥니다**. 데이터 과학자이자 소프트웨어 엔지니어인 아비크 바수(Avik Basu)는 예측을 넘어 실제 원인과 결과를 파악하는 인과 추론의 중요성을 강조합니다. 강연의 목표는 인과적 사고에 대한 직관을 제공하고 이를 다양한 활용 사례에 적용하는 방법을 모색하는 것입니다.

강연자는 Intuit의 데이터 과학자이자 PyOpenSci의 편집자로서, **풀 스택 데이터 과학자로서의 경험과 배경을 소개**합니다. 그는 엔지니어링과 데이터 과학 분야에서의 경력을 바탕으로 인과적 머신러닝의 실제 적용 가능성을 탐구합니다. 취미로는 게이머이자 테니스 및 축구 애호가이며, 특정 조건에서 운전을 즐긴다고 언급합니다.

상관관계와 인과관계의 혼동: 고객 이탈 사례

머신러닝 모델이 높은 정확도를 보이더라도, **상관관계가 인과관계를 의미하지 않는다는 점을 명확히 이해해야 합니다**. 예를 들어, 고객 이탈 예측 모델이 콜 지원을 요청하는 고객의 이탈 확률이 더 높다고 학습했을 때, 비즈니스 팀은 지원 요청을 줄여 이탈을 방지하려 할 수 있습니다. 그러나 이는 콜 지원 자체가 이탈을 유발하는지, 아니면 불만족스러운 고객이 지원을 요청하는지에 대한 근본적인 질문을 간과한 오해일 수 있습니다.

예측 모델이 '누가 구매할 것인가' 또는 '무슨 일이 일어날 것인가'와 같은 질문에 답하는 반면, **인과 모델은 '처치(개입)로 인해 누가 구매할 것인가'와 같이 우리의 행동이 어떤 효과를 가져올지에 집중**합니다. 이는 두 모델이 근본적으로 다른 사고방식을 요구하며, 인과 모델은 처치 유무에 따른 기대치의 차이(업리프트)를 추정합니다.

이메일 마케팅 캠페인 사례와 선택 편향

이메일 마케팅 캠페인의 효과를 측정하는 사례를 통해 인과관계의 중요성을 다시 한번 강조합니다. 이메일을 받은 그룹의 구매율이 20%, 받지 않은 그룹이 8%로 나타나 이메일이 구매를 12% 증가시킨 것처럼 보일 수 있습니다. 그러나 마케팅 팀이 이메일을 무작위로 보내지 않고 **최근 활동 고객이나 참여도가 높은 고객에게 보냈다면, 이 12%의 차이는 이메일의 실제 효과가 아닌 '선택 편향' 때문일 수 있습니다**.

선택 편향은 고객 참여도와 같이 치료 할당과 결과 변수 모두에 영향을 미치는 교란변수(confounding variable) 때문에 발생합니다. 이러한 편향을 제거하고 **진정한 효과를 파악하기 위해서는 무작위 대조 시험(A/B 테스트)이 가장 좋은 방법**이지만, 이는 비용이 많이 들고 비윤리적일 수 있으며 이미 수집된 데이터에는 적용하기 어렵다는 한계가 있습니다.

업리프트 모델링과 잠재적 결과 프레임워크

관찰 데이터에서 치료 효과를 추정하기 위한 해결책으로 **'업리프트 모델링'이 등장**합니다. 이는 잠재적 결과(potential outcomes), 조건부 평균 치료 효과(CATE), 메타 학습자(meta-learners)의 세 가지 주요 구성 요소로 이루어져 있습니다.

잠재적 결과 프레임워크는 각 개인에 대해 치료를 받았을 때(Y1)와 받지 않았을 때(Y0)의 두 가지 잠재적 결과가 있다고 가정합니다. 개별 치료 효과(ITE)는 Y1 - Y0이지만, **같은 사람에 대해 두 가지 결과를 모두 관찰할 수 없다는 근본적인 문제가 존재**합니다. 이메일을 받고 구매한 마리아의 경우, 이메일을 받지 않았을 때 구매했을지 여부(반사실)를 알 수 없습니다.

사람들은 개입에 다르게 반응하며, 평균 치료 효과(ATE)가 0으로 나타나더라도 개입이 효과가 없다고 단정할 수 없습니다. **목표는 적절한 고객에게 개입을 제공하는 것**입니다. 고객은 크게 확실한 고객(어쨌든 구매), 설득 가능한 고객(개입 시 구매), 가망 없는 고객(개입 여부와 무관하게 비구매), 잠자는 개(개입 시 비구매)의 네 가지 유형으로 분류될 수 있습니다. 업리프트 모델링은 특히 설득 가능한 고객을 식별하는 데 중점을 둡니다.

조건부 평균 치료 효과 (CATE) 추정

개별 수준에서 치료 효과를 관찰할 수 없으므로, 유사한 특징을 가진 사람들의 평균 처리 효과인 **'조건부 평균 치료 효과(CATE)'를 추정하는 것이 핵심**입니다. CATE는 특정 특징(X)이 주어졌을 때 Y1의 기대값에서 Y0의 기대값을 뺀 값입니다. 이메일 캠페인 예시에서 모델 예측을 통해 Drake 씨와 같이 CATE가 높은 설득 가능한 고객을 식별하고, Kyle 씨와 같이 CATE가 낮은 잠자는 개를 피할 수 있습니다.

메타 학습자: S-학습자와 T-학습자

CATE를 추정하는 방법 중 하나인 **'메타 학습자'는 기존 머신러닝 모델을 활용하여 치료 효과를 예측**합니다. 이에는 S-학습자, T-학습자, X-학습자가 있으며, 강연에서는 S-학습자와 T-학습자에 집중합니다.

**S-학습자(Single-learner)는 치료 변수를 특징으로 포함하여 전체 데이터에 대해 하나의 모델을 훈련**합니다. 이는 구현이 간단하고 제한된 데이터에도 잘 작동하지만, 치료와 특징 간의 복잡한 상호작용을 포착하지 못하거나 치료 데이터가 적을 경우 치료의 영향을 무시할 수 있다는 단점이 있습니다. S-학습자는 특징과 치료를 결합하여 모델을 학습한 후, T=1과 T=0일 때의 결과를 각각 예측하여 uplift를 계산합니다.

**T-학습자(Two-learner)는 치료군과 대조군 데이터를 분리하여 각각 별도의 모델을 훈련**합니다. 이는 치료군과 대조군에서 서로 다른 패턴을 이해하고 이질적인 치료 효과를 더 잘 포착하며, 각 모델을 독립적으로 조정할 수 있다는 장점이 있습니다. 그러나 양쪽 그룹 모두에 충분한 데이터가 필요하다는 단점이 있습니다. T-학습자는 치료 데이터를 모델 1에, 대조 데이터를 모델 0에 각각 적합시킨 후, 두 모델을 사용하여 Y1과 Y0을 예측하고 uplift를 계산합니다.

업리프트 모델 평가는 기존 ML 지표와 다릅니다. **정확도나 F1 점수는 결과 예측을 측정하지만, 업리프트는 치료 효과 예측을 측정**합니다. 따라서 '빈별 실제 업리프트(bin-by-bin actual uplift)'와 같은 다른 지표가 필요합니다. 이 방법은 예측된 uplift 점수에 따라 사용자를 순위 매긴 후 여러 구간으로 나누고, 각 구간에서 Y1 - Y0을 계산하여 실제 uplift를 측정합니다.

좋은 업리프트 모델은 상위 구간에서 높은 uplift를 보이고 점차 감소하는 단조 감소 패턴의 그래프를 생성합니다. 이는 **모델이 개입에 가장 긍정적으로 반응하는 '설득 가능한' 고객을 성공적으로 식별했음을 의미**합니다. 반대로 부정적인 uplift를 보이는 구간은 '잠자는 개' 고객으로, 이들에게는 개입을 피해야 합니다. 이러한 그래프는 모델의 건전성 검사 역할을 합니다.

업리프트 모델을 프로덕션에 배포할 때는 두 가지 타겟팅 전략을 고려할 수 있습니다. 첫째, **모든 긍정적 uplift 고객(예: 1~4 구간)을 타겟팅**하여 더 많은 고객에게 도달하고 긍정적인 혜택을 예측합니다. 둘째, **가장 높은 uplift 구간(예: 1~2 구간)만 타겟팅**하여 더 적은 고객에게 가장 큰 영향을 미치고 리소스 효율성을 높이는 보수적인 접근 방식을 취할 수 있습니다. 실제 환경에서는 데이터 드리프트 등의 변화를 고려하여 보수적인 접근 방식이 선호될 수 있습니다.

인과적 머신러닝의 활용 시점과 실용적 팁

**업리프트 모델링은 모든 사람을 치료할 수 없거나, 예산 및 용량이 제한되어 있거나, 치료에 시간/돈/윤리적 비용이 발생할 때 유용**합니다. 반대로, 모든 고객을 치료할 수 있고 예측만 필요하며 치료가 사실상 무료인 경우에는 전통적인 머신러닝으로 충분합니다.

실용적인 구현 팁으로, **S-학습자는 시작하기 좋은 기준이 되지만, 충분한 데이터가 있다면 T-학습자가 더 나은 성능을 보입니다**. 치료 및 통제 데이터 모두에서 충분한 샘플을 확보하는 것이 매우 중요하며, 이는 전통적인 ML의 클래스 불균형 문제보다 더 복잡한 문제입니다. 또한, 빈별 실제 업리프트 곡선과 같은 다양한 검증 방법을 통해 모델의 성능을 확인해야 합니다.

인과적 ML 모델링을 위한 라이브러리로는 Uber의 Causal ML, Scikit-uplift, Microsoft의 EconML 등이 있으며, 이들을 활용하여 쉽게 작업을 시작할 수 있습니다.

질의응답: 데이터 분산 및 합성 데이터 활용

강연 이후 질의응답 시간에는 데이터의 분포와 분산이 큰 경우, 특히 마케팅이나 의료 분야에서 **모델 정확도를 유지하고 지니 계수를 최대화하는 방법에 대한 질문**이 나왔습니다. 강연자는 도메인 지식의 중요성을 강조하며, 다양한 고객 유형에 대한 좋은 특징(feature)을 확보하는 것이 중요하다고 답했습니다. 그러나 많은 특징은 많은 데이터를 의미하며, A/B 테스트에 대한 의존도를 줄이는 방법은 여전히 연구 과제라고 덧붙였습니다.

T-학습자에 필요한 **'충분한 데이터'의 임계값에 대한 질문에는 사용 사례에 따라 다르다**고 답변했습니다. 치료법의 수가 많을수록 더 많은 데이터가 필요하며, 치료군과 대조군 데이터가 극단적으로 불균형해서는 안 된다고 설명했습니다. 데이터가 부족한 경우 합성 데이터(synthetic data)를 사용하여 보완하는 것이 가능하지만, 생성 모델을 활용하더라도 **실제 고객 데이터는 매우 다양하므로 신중하게 접근해야 하는 어려운 연구 문제**라고 강조했습니다.

또한, 치료법이 이진수(1 또는 0)가 아닌 회귀 유형의 비이진 특징에도 이 프레임워크가 적용 가능한지에 대한 질문에, **수익과 같은 회귀 분석 문제는 매우 실현 가능하며 분류기를 회귀 분석기로 변경하기만 하면 된다**고 답했습니다. 다중 클래스 분류 문제의 경우에도 메타 학습자 개념상 큰 변화는 없을 것이며, 내부적으로 잘 처리할 수 있다면 문제가 되지 않을 것이라고 설명했습니다. 여기서 중요한 것은 목표 변수가 아닌 치료법이라고 재차 강조했습니다.

아비크 바수(Avik Basu)가 제시한 이탈 예측 모델의 사례를 통해 상관관계와 인과관계의 차이를 어떻게 설명할 수 있나요?

전통적인 머신러닝 모델과 인과 모델의 주요 차이점은 무엇이며, 각각 어떤 질문에 답하는 데 중점을 두나요?

잠재적 결과 프레임워크에서 '반사실(counterfactual)'이라는 개념이 왜 중요하며, 이를 통해 개별 치료 효과를 어떻게 이해하나요?

S-학습자와 T-학습자는 조건부 평균 치료 효과(CATE)를 추정하는 데 어떤 차이가 있으며, 각각의 장단점은 무엇인가요?

업리프트 모델링의 평가 지표로 '빈별 실제 업리프트(bin-wise actual uplift)'를 사용하는 이유는 무엇이며, 이 그래프를 통해 어떤 정보를 얻을 수 있나요?

강연자는 머신러닝에서의 인과적 사고에 대해 이야기할 예정이며, 이는 강연자에게도 새로운 분야이지만 최근 많은 관심을 받고 있음.

강연자는 Intuit의 데이터 과학자이자 PyOpenSci의 편집자이며, 엔지니어링 및 데이터 과학 분야 경력과 게임, 테니스, 축구, 운전 등 개인적인 취미를 소개함.

오늘 강연의 목표는 인과적 사고에 대한 직관을 제공하고 이를 실제 사용 사례에 활용하는 방법을 알려주는 것임.

강연은 상관관계와 인과관계, 인과 추론의 특정 개념, 업리프트 모델링, 평가 및 주요 내용 순으로 진행될 예정임.

상관관계와 인과관계의 혼동 사례: 고객 이탈 예측

고객 이탈 예측 모델이 콜 지원을 받는 고객이 이탈할 확률이 3배 더 높다고 예측했으나, 이는 잘못된 비즈니스 결과로 이어질 수 있음.

지원 요청이 이탈을 유발하는지, 아니면 불만족스러운 고객이 지원을 요청하는지가 중요한 질문이며, 이는 상관관계와 인과관계의 고전적인 예임.

높은 정확도가 항상 실행 가능한 통찰력으로 이어지지 않음을 강조하며 예측 모델과 인과 모델의 차이를 설명함.

인과 모델은 '처치로 인해 누가 구매할 것인가?'라는 질문에 답하며, '업리프트' 즉 처치를 했을 때와 안 했을 때의 기대치 차이를 추정함.

이메일 마케팅 캠페인 사례를 통한 선택 편향 설명

이메일을 받은 고객의 구매율이 20%, 받지 않은 고객이 8%로 나타나 단순 계산으로는 이메일이 구매를 12% 증가시킨다고 보이지만 이는 선택 편향이 반영된 결과임.

마케팅팀이 이메일을 무작위로 보내지 않고 최근 활동 고객 및 참여도가 높은 고객에게 보냈기 때문에 관찰된 12% 차이는 진정한 효과가 아님.

진정한 효과를 얻기 위해서는 상당한 양의 선택 편향을 제거해야 함.

고객 참여도를 교란변수로 세분화하여 분석한 결과, 참여도가 높은 고객의 실제 효과는 4%, 참여도가 낮은 고객의 실제 효과는 3%임을 확인함.

고객 참여도 특징은 교란변수(confounder)로, 누가 치료를 받는지(이메일 수신 여부)와 누가 구매하는지에 모두 영향을 미침.

무작위 대조 시험(A/B 테스트)의 중요성 및 한계

이러한 문제를 해결하는 가장 좋은 방법은 무작위 대조 시험(A/B 테스트)을 통해 치료군과 대조군이 기준선에서 동일하도록 보장하는 것임.

무작위화는 고객 특성과 치료 할당 간의 연결을 끊어 진정한 효과를 관찰할 수 있게 함.

하지만 A/B 테스트는 비용이 많이 들고, 시간이 오래 걸리며, 업계에 따라 비윤리적일 수도 있고, 이미 수집된 데이터를 활용해야 하는 경우가 많다는 한계가 있음.

업리프트 모델링의 세 가지 구성 요소

관찰 데이터에서 치료 효과를 추정하는 방법이 필요하며, 여기서 업리프트 모델링이 등장함.

업리프트 모델링의 세 가지 구성 요소는 잠재적 결과, 조건부 평균 치료 효과(CATE), 그리고 메타 학습자임.

잠재적 결과 프레임워크와 개별 치료 효과

잠재적 결과 프레임워크는 치료 효과에 대한 사고방식 프레임워크이며, 각 개인에게는 치료를 받았을 때(Y1)와 받지 않았을 때(Y0)의 두 가지 잠재적 결과가 있음.

개별 치료 효과는 Y1 - Y0이며, 이는 이상적인 세상에서 필요한 것이지만, 한 개인에 대해 두 가지 결과를 모두 관찰할 수는 없음. 관찰하지 못하는 결과는 반사실(counterfactual)이라고 불림.

사람들은 개입에 다르게 반응하며, 평균 치료 효과가 0이더라도 개입이 효과가 없을 수 있으므로, 적절한 고객에게 개입을 제공하는 것이 목표임.

네 가지 고객 유형: 확실한 고객, 설득 가능한 고객, 가망 없는 고객, 잠자는 개

가상 시나리오를 통해 네 가지 고객 유형을 소개함.

확실한 고객(Sure thing): 이메일을 받았든 안 받았든 구매하는 고객 (IT=0).

설득 가능한 고객(Persuadable): 이메일을 받았을 때 구매하고, 받지 않았을 때 구매하지 않는 고객 (IT=1). 이들이 주요 타겟.

가망 없는 고객(Lost cause): 이메일을 받았든 안 받았든 구매하지 않는 고객 (IT=0).

잠자는 개(Sleeping dog): 이메일을 받았을 때 구매하지 않고, 받지 않았을 때 구매하는 고객 (IT=-1). 이들은 피해야 할 고객.

기존 ML 모델은 모든 전환될 확률이 있는 고객(확실한 고객 + 설득 가능한 고객)을 목표로 하지만, 우리는 설득 가능한 고객만 식별해야 함.

조건부 평균 치료 효과(CATE)와 메타 학습자

개별 수준에서 치료 효과를 관찰할 수 없으므로, 특정 특징 X를 가진 사람들의 평균 치료 효과인 조건부 평균 치료 효과(CATE)를 추정함.

CATE는 유사한 특성을 가진 고객에 대한 예상되는 향상 또는 치료 효과이며, 이를 통해 개별적인 반사실을 볼 수 없더라도 예상 효과를 추정할 수 있음.

CATE를 추정하는 방법 중 하나는 메타 학습자(Meta-learner)이며, 이는 예측 ML 예측을 활용하여 치료 효과를 추정함.

메타 학습자는 기존의 ML 모델(신경망, 부스팅 트리, SVM 등)을 사용하여 치료 효과를 측정하며, 예측 모델은 회귀 또는 분류일 수 있음.

주요 메타 학습자로는 S-학습자, T-학습자, X-학습자가 있으며, 강연에서는 S-학습자와 T-학습자에 집중함.

S-학습자는 특징과 치료 변수를 결합하여 모든 데이터에 대해 하나의 모델을 훈련하고, 두 가지 결과(Y1, Y0)를 모두 예측하여 업리프트를 계산함.

장점은 단순하고 모델이 하나뿐이므로 제한된 데이터로도 잘 작동한다는 것임.

단점은 치료를 다른 특징으로 취급하여 복잡한 상호 작용을 포착하지 못할 수 있고, 치료 데이터가 적으면 모델이 이를 무시할 수 있다는 것임.

T-학습자는 치료법에 따라 데이터를 분할하여 치료군(T=1)과 대조군(T=0) 각각에 대해 별도의 모델을 훈련함 (최소 두 개의 모델).

장점은 모델이 치료군과 대조군에서 서로 다른 패턴을 이해할 수 있어 이질적인 치료 효과를 더 잘 포착하며, 두 모델을 다르게 조정할 수 있다는 것임.

단점은 양쪽 그룹 모두에 충분한 데이터가 필요하다는 것임 (데이터 불균형이 심하면 좋지 않음).

기존 ML 지표는 결과 예측에 초점을 맞추므로 업리프트 모델 평가에 적합하지 않음. 치료 효과를 예측해야 하므로 다른 지표가 필요함.

평가 방법 중 하나인 '빈별 실제 업리프트(Bin-wise Actual Uplift)'는 예측된 업리프트 점수를 기준으로 사용자를 순위 매긴 후 구간으로 나누어 각 구간의 평균 업리프트를 계산함.

좋은 업리프트 모델은 상위 구간에서 높은 업리프트를 보이고, 오른쪽으로 갈수록 단조 감소하는 패턴을 보여야 함. (예: 설득 가능한 고객은 상위, 잠자는 개는 하위).

이 그래프는 모델의 건전성 검사 역할을 하며, 과적합 여부 및 모델의 약점을 파악하는 데 도움을 줌.

데이터가 적으면 구간 수를 줄이는 것이 좋음.

타겟팅 전략은 두 가지 주요 옵션이 있음: 모든 긍정적 업리프트 고객(예: 1~4 구간)을 타겟팅하거나, 더 보수적으로 최상위 업리프트 구간(예: 1~2 구간)만 타겟팅하는 것임.

Criteo 데이터 세트를 사용한 S-러너와 T-러너의 향상 플롯 예시를 보여주며, T-러너가 더 좋고 부드러운 곡선을 보여줌.

업리프트 모델링은 모든 고객에게 치료를 제공할 수 없거나 예산, 시간, 윤리적 이유, 고객 경험 등의 비용이 발생할 때 사용함.

반면, 모든 가능한 고객을 치료할 수 있고 비용이 사실상 무료라면 전통적인 머신러닝(예측)을 고수해도 됨.

실용적인 구현 팁: S-러너를 시작점으로 삼고, 치료 및 통제 데이터 모두에 충분한 샘플이 중요하며, 상승 곡선과 같은 다양한 곡선으로 검증해야 함.

관련 오픈 소스 라이브러리로 Uber의 Causal ML, Scikit-uplift, Microsoft의 EconML을 언급함.

질의응답: 데이터 분산 및 합성 데이터

데이터 분포와 분산이 다른 애플리케이션(마케팅, 의료)에서 모델의 정확도와 지니 계수를 유지하는 방법과 데이터가 엉망일 때의 처리 방법에 대한 질문에, 강연자는 도메인 지식의 중요성과 좋은 특징의 필요성을 강조함.

충분한 데이터를 확보하는 것이 연구 문제이며, A/B 테스트 의존도를 줄이는 휴리스틱한 방법을 모색 중이라고 언급함.

T-러너 사용 시 충분한 데이터 확보를 위한 임계값 결정 방법에 대한 질문에, 강연자는 사용 사례별 특수성을 언급하며 치료법의 수, 데이터의 불균형 정도, 특징의 수에 따라 달라진다고 설명함.

데이터가 충분하지 않을 경우 합성 데이터를 사용하는 실현 가능성에 대한 질문에, 강연자는 합성 데이터는 흥미로운 접근 방식이지만 좋은 합성 데이터를 확보해야 하고, 생성 모델을 사용할 수 있지만 고객 데이터는 매우 다양하므로 주의해야 한다고 답변함.

질의응답: 비이진수(회귀 유형) 치료법 적용 가능성

Avik Basu - Beyond Just Prediction: Causal Thinking in Machine Learning | PyData Seattle 2025

스크립트