వి హావ్ అ నెక్స్ట్ స్పీకర్ ఇంగే వెన్ ఎండే అండ్ షి ఇస్ గోయింగ్ టు టాక్ అబౌట్ ప్రబబిలిస్టిక్ ఫోర్కాస్టింగ్ ఇంగే ఇస్ ఏటక్లీ at ఎనర్జీ షి వాస్ ద personర్స హబిల్ట్ దఫ్రస్్రచ్ సో ఇనిషally ఇట్ was aboutబౌ 10 peopleల్ అర నౌ are మోర్ దన్ 100 peopleల్ అ it is also సోడ ఎనర్జీ is a compపెనీy which also isన functioning multiple count I would give it to India from here to niet welcome everyone.

I'm a tech lead of our forecasting team at Dexter Energy. And at Dexter we forecast and we optimize renewable energy.

And today I'm gonna talk to you about forecasting and specifically about probabilistic forecasting. So do we even need that? I will give a small example.

So imagine you own your own wind turbine. It's happily spinning in your backyard and you wan to sell the energy that it produces.

So, usually we sell energy a day in advance. So, to be able to sell your energy of your wind turbine, you get a wind forecast.

How much wind is there going to be tomorrow? The forecast model is not spinning very happily in your backyard because there is less wind than was predicted.

Yeah, damn, you already sold it and you're not producing it. These kinds of scenarios can lead to very high costs for renewable asset owners.

Um, and if you would have known beforehand more about the uncertainty, how likely was it that the wind was gonna be lower?

You could have made a wiser decision. Optimize it, think about your risk. That amount of information would be given by a probabilistic forecast.

So, usually we don't do probabilistic forecasting. Usually we work with point forecasts.

So, here you see a time series on the horizontal axis and vertical axis you see the quantity that you predict. So now, energy production. So, until now we have observed the actuals, which are actually points.

For every point in time we observe only one value. So, we build a forecast, which is also one value per point in time.

But actually we already know that it's not gonna be exactly that value.

The value we forecast is what we think is gonna happen. But quite likely it's gonna be a bit different. But is it gonna be very different or will it be very similar?

What do we expect? This line gives us no information about that. So, for that we need probabilistic forecasting.

And I will start with a short refresh of some concepts of probabilistic forecasting to get you all ready to listen to this presentation.

So if I talk about a probabilistic forecast, it means we forecast the full distribution. So a distribution often is shown as a probability density function which basically shows, yeah, the density of the probability where we expect our forecast.

So the higher, the more likely that it's going to be there. So here on the horizontal axis, you see the quantity energy, vertical axis, how likely we expect it.

It's often called PDF, and the area under the curve together is one, so 100%.

So we expect it for 100% to be within the full curve, but most likely it's going to be at the highest point.

And now we're here at PyData. So you work in Python, and then, yeah, this is not something we see in our code, a smooth curve.

So what can you do? You can either do it in a parametric way, that you say I have a Gaussian curve with a sort of standard deviation that describes my curve, or you can do it in a discrete way, which we do a lot, eh, yeah, if you work in Python, that's a very common way to do it.

So then actually, basically, it's just a histogram. You have your quantiles, you say, for certain quantiles, I expect a certain level, and that way you describe the distribution.

Eh, you can do that by setting quantiles, but you could also do that by having a set of samples that together describe a forecast distribution.

We need to evaluate it only one point anymore, so we need different evaluation metrics that we usually use.

And there are lots of evaluation metrics for probabilistic forecasting. I'll talk about only two: calibration and sharpness. So calibration here on the left shows the reliability of your forecast.

Calibration 45 line, all the forecasts exactly are observed in the actual values. So if I look at the distribution of my actual values, it is exactly the same distribution as I'm forecasting.

Usually, that's not the case. Usually, it's not perfectly calibrated.

So here in the example, you see the blue line. So let's say I say for a certain value, I think it's going to be 20% probability that the value is lower, then I look at my actual values and actually I observe that 30% of them is lower.

So then it's not perfectly calibrated as in this example, but we want to strive towards improving this calibration to have a reliable forecast.

But only having a very well-calibrated forecast is not enough. So for example, I take all the data in my train data, I take the average distribution and I forecast that for every moment in time, just give exactly the same distribution would be a very well-calibrated forecast, but it doesn't give me any information because everything is going to be the same.

So if I actually want to make a decision like when is it going to be higher, when is it going to be lower, I have to add more information to the forecast.

Sharpness gives how precise my forecast is. So if I have a very sharp forecast, I'm very certain.

So it's going to be a very narrow distribution. If I don't have a very sharp forecast, it will be a very wide distribution.

Basically saying, I don't really know. Good luck making a decision.

So I want to have a very sharp forecast because then I know, okay, I'm really likely it's going to be there and the combination is essential, then I have a precise and a reliable forecast.

So it can say very precisely it's going to be there and I'm also on average correct.

It matches with the real distribution. So now we heard some things about probabilistic forecasts, about the amount of information that it actually adds.

And I hear you all thinking, this is very cool. I want to build a probabilistic forecast. I want to start on this today and I'm for my project, I will turn the point forecast that I'm working with, I will turn it into a probabilistic one and then you start.

Probabilistic forecasting is a very extensive field. It's quite easy to get swamped up in lots of papers, lots of blogs, also lots of evaluation metrics, many Python packages.

What to pick from? Um, so it's a good kickstart to just try it out, see where it adds value for your project.

And that's my goal for this presentation today. After this presentation, you can start today to convert your project that you already work on into a probabilistic forecast.

Just try it out. See where it adds value without first having to do a whole study on this topic.

So to do that, I will present you two practical models that give you the full distribution without having to do any assumptions beforehand.

So you don't have to know anything about the distribution of your data beforehand, but still they give you the full distribution and you can directly start on it and you can also use it in every project.

So we'll start with the Level Set Forecaster.

The cool thing about this one is that you can combine it with every point forecast that you already have. So if you're working on a project, you have a regression forecast.

It doesn't matter which model you're using. It can be linear regression, can be tree-based models, can be deep learning.

Whatever model you already have, you can use it, but it will be converted into a probabilistic forecast.

So how does that work? This is the workflow you know from the model that you already have. We train it and we predict.

So we train, we fit it on our train set and we predict on our test set. So here on the slide I show an LGBM model, but that can be any model, just whatever you are using in your project.

So the level set forecaster follows this same workflow but it adds a few extra steps to add some more information to your forecast, to add information about this distribution.

So it starts with training your model. And this is the code you already have in your project.

There's nothing new about that. Use your usual model, you train it. And instead of moving to prediction, we start with doing an in-sample prediction.

So we don't predict the test set, but we first predict the train set.

And these predictions give us information for the next step. So we have these predictions, our in-sample prediction, and we sort them. We sort them from low to high.

And with that, we also sort the actual value. So the actual target that we're working with.

And this sorting is used to create the bins. So you have a certain bin size that you select and then you create bins with the same level of prediction.

So a level set is a set with one similar prediction level. And the observations in this set will be your forecast.

It will be a probabilistic forecast. So how would it look like with a decision tree? So let's assume the model that you work with is a decision tree.

Here I did draw the tree. You have your splits based on your features. You end up in one of the leaves.

That leaf will predict a certain value, for example, here 1.3, and then all the observations with these predictions will be grouped together.

So all the observations in this leaf of this decision tree will be grouped into one set.

But it can also happen that two of the leaves give the same prediction. In that case, those will also be grouped together.

So the level set forecasts are really groups based on prediction, not based on features. Groups based on prediction, not based on features.

And then in this example, all the observations of the two leaves are grouped together and that set of samples will be your probabilistic forecast.

So in code, it looks like this. You have already your sample predictions from the previous step. You sort them from low to high.

So that gives you the sorting index, and then you sort your target. So your actual observations, you sort in the same order as the predictions.

You pick your bin size and you make the groups. The size of the bins is a hyperparameter of the level set forecaster.

So this actually defines what you, yeah, where you also want to go with your forecast. If it's very small, the bin size, you will get a very sharp forecast.

If it's very high, the bin size, you group a lot of points together, you will have more reliable, better-calibrated forecasts.

But it also is less precise. So you have to find the balance for you in your data.

So now we have done everything to group those sets together. We have kept them as a group so that we can select from it.

And we do again our point prediction first. So we predict on the test set. This also is just the same as you always do.

Just your usual point model, you predict on your test set. Exactly the same code, but then instead of using that value that we predict, we use it to select one of those sets.

So we see, okay, is this a high prediction? Then I select a group that correlates with this high prediction.

I select a group of observations, and that group of observations is my probabilistic forecast. So you have just made your first probabilistic forecast.

It's given as a set of samples, but from that set, you can also determine quantiles that works easier for you for the rest of your code.

And here we see our first probabilistic forecast. So you see in the light gray, you see 10 to 90% probability, darker gray 30 to 70%, and the darkest is the median and in blue the mean.

So you see there is a lot more information than if this would be only one line, because I can really see at some point one side is very uncertain, while just one line wouldn't have given me that information.

Um, but we also see something else, most likely you already saw it. It can be repetitive because of this grouping and selecting these groups.

It can be that for multiple times in a row we select the same group, which means I get exactly the same project.

So if this is a problem for your project, you can use the next method, the Quantile Regression Forest. So the Quantile Regression Forest will give a unique forecast for every sample.

So that doesn't give this repetitiveness. So if that's important to you, you can use it.

But the downside is it works only with a random forest. So random forest needs to be working for your project.

So the Quantile Regression Forest also follows the same workflow: train and predict. Similar to the level set, again we use our same code.

We fit a random forest, so here you cannot swap it with other models, but just your random forest. But if in your project you already use a random forest, that's perfect, you can just continue with it.

And how we usually use a random forest is that we predict an average value per leaf.

We look at all the trees of the random forest and we take the average prediction of, so per leaf, we give an average prediction, we take the average of all the trees and we have our prediction.

So it gives us a point forecast, just one value. Now what we do in the Quantile Regression Forest is that we don't only look at this one value, we actually keep the information that's in the leaves.

We don't throw away all those samples that are there.

We keep that information that is actually in the leaves already. So again, we have the first tree of a random forest.

We follow the split. So the features are split, follow it into one leaf and we keep the observation in that leaf.

So this is also important to realize where the level set forecaster really makes splits based on predictions only. Here we actually split based on features because it uses the features that are used in the model to make the splits.

Then we do that for every tree. So we have a lot of trees and we have a lot of groups of samples together.

We want to have that every leaf has the same weight.

So for that we have to resample. So we resample all the leaves to the same number of observations which means that a leaf has a weight of one instead of that every observation has a weight of one.

Inge van den Ende - Kickstart Your Probabilistic Forecasting | PyData Amsterdam 2025

PyData is an educational program of NumFOCUS, a 501(c)3 non-profit organization in the United States. PyData provides a forum for the international community of users and developers of data analysis tools to share ideas and learn from each other. The global PyData network promotes discussion of best practices, new approaches, and emerging technologies for data management, processing, analytics, and visualization. PyData communities approach data science using many languages, including (but not limited to) Python, Julia, and R.

We aim to be an accessible, community-driven conference, with novice to advanced level presentations. PyData tutorials and talks bring attendees the latest project features along with cutting-edge use cases.

PyData

확률론적 예측은 풍력 터빈의 에너지 생산량과 같이 단일 값으로만 예측하는 포인트 예측과 달리, 불확실성에 대한 정보(예: 바람이 낮아질 가능성)를 제공하여 비즈니스 의사 결정 및 위험 관리에 매우 중요합니다.

확률론적 예측의 핵심은 전체 분포를 예측하는 것으로, 이는 예측의 신뢰도를 나타내는 '보정(calibration)'과 예측의 정밀도를 나타내는 '선명도(sharpness)'라는 두 가지 지표로 평가하여 신뢰성 있고 유용한 정보를 얻는 것이 중요합니다.

기존 포인트 예측 모델과 결합하여 사용할 수 있는 '레벨 세트 예측기'와 랜덤 포레스트 모델에 특화된 '퀀타일 회귀 포레스트'는 사전에 분포 가정이 필요 없이 전체 예측 분포를 제공하여 확률론적 예측을 시작할 수 있는 실용적인 방법입니다.

잉에 반 덴 엔데는 확률적 예측이 필요한 이유를 설명하기 위해 어떤 비유를 사용했나요?

확률적 예측을 위한 두 가지 평가 지표인 보정(calibration)과 선명도(sharpness)는 각각 무엇을 의미하며, 왜 둘 다 중요하다고 언급되었나요?

제시된 두 가지 실용적인 확률적 예측 모델, 즉 레벨 세트 예측기와 분위수 회귀 포레스트의 주요 차이점은 무엇이며, 각각 어떤 상황에 더 적합하다고 설명되었나요?

발표자는 확률적 예측 결과를 비즈니스 이해 관계자에게 효과적으로 전달하기 위한 조언으로 무엇을 제시했나요?

에너지 시장에서 '시장 영향'이 확률적 예측에 미치는 영향은 무엇이며, 이에 대한 발표자의 설명은 무엇이었나요?

다음 연사는 잉에 반 덴 엔데입니다. 확률적 예측에 대해 이야기할 예정입니다. 잉에는 덱스터 에너지의 기술 책임자입니다. 처음에는 10명 정도였는데 지금은 100명이 넘습니다. 덱스터 에너지는 여러 국가에서 기능하는 회사이기도 합니다. 여기서부터 잉에에게 넘기겠습니다. 여러분 모두 환영합니다.

저는 덱스터 에너지의 예측 팀의 기술 책임자입니다. 덱스터에서는 신재생 에너지를 예측하고 최적화합니다.

오늘 저는 여러분에게 예측, 특히 확률적 예측에 대해 이야기하려고 합니다. 그래서 우리는 그것이 필요할까요? 간단한 예를 들어보겠습니다.

자, 여러분이 자신의 풍력 터빈을 소유하고 있다고 상상해 보세요. 그것은 여러분의 뒤뜰에서 행복하게 돌아가고 있고 여러분은 그것이 생산하는 에너지를 팔고 싶어합니다.

일반적으로 우리는 에너지를 하루 전에 판매합니다. 풍력 터빈의 에너지를 판매하려면 풍력 예측을 받아야 합니다.

내일 바람이 얼마나 불까요? 예측 모델이 예측보다 바람이 적기 때문에 마당에서 제대로 작동하지 않습니다.

이미 팔았는데 생산하지 못하고 있네요. 이러한 시나리오는 재생 가능 자산 소유자에게 매우 높은 비용을 초래할 수 있습니다.

만약 불확실성에 대해 미리 더 많이 알았더라면 바람이 더 낮아질 가능성이 얼마나 될까요?

더 현명한 결정을 내릴 수 있었을 겁니다. 최적화하고 위험에 대해 생각해 보세요. 이러한 정보는 확률적 예측을 통해 얻을 수 있습니다.

그래서 보통 확률적 예측은 하지 않습니다. 보통은 포인트 예측을 사용합니다.

여기 가로축에는 시계열이 있고 세로축에는 예측하는 양이 있습니다. 지금은 에너지 생산량입니다. 지금까지는 실제 값을 관찰했는데, 실제 값은 포인트입니다.

모든 시점에서 단 하나의 값만 관찰합니다. 그래서 예측을 하는데, 이것 또한 시점 당 하나의 값입니다.

하지만 실제로는 정확히 그 값이 되지 않을 것이라는 것을 이미 알고 있습니다.

우리가 예측하는 값은 일어날 것이라고 생각하는 것입니다. 하지만 약간 다를 가능성이 큽니다. 하지만 매우 다를까요, 아니면 매우 비슷할까요?

우리는 무엇을 예상할까요? 이 선은 그에 대한 정보를 제공하지 않습니다. 그래서 확률적 예측이 필요합니다.

이 프레젠테이션을 들을 준비를 하실 수 있도록 확률적 예측의 몇 가지 개념을 간단히 복습하는 것으로 시작하겠습니다.

확률적 예측에 대해 이야기한다면 전체 분포를 예측한다는 의미입니다. 분포는 종종 확률 밀도 함수로 표시되는데, 이는 기본적으로 예측을 예상하는 확률의 밀도를 보여줍니다.

높을수록 거기에 있을 가능성이 더 높습니다. 여기 가로축에는 에너지 양이 있고 세로축에는 예상되는 가능성이 있습니다.

종종 PDF라고 불리며 곡선 아래 영역은 모두 합쳐서 1, 즉 100%입니다.

전체 곡선 안에 100% 있을 것으로 예상하지만 가장 높은 지점에 있을 가능성이 가장 큽니다.

자, 지금 우리는 PyData에 와 있습니다. 파이썬으로 작업하고 계시다면, 코딩에서 매끄러운 곡선을 보기는 쉽지 않죠.

그렇다면 어떻게 해야 할까요? 모수적인 방법으로, 즉 곡선을 설명하는 일종의 표준 편차를 가진 가우스 곡선이 있다고 말하거나, 이산적인 방법으로 할 수 있습니다. 파이썬으로 작업한다면 매우 일반적인 방법입니다.

기본적으로 히스토그램과 같습니다. 특정 분위수에 대해 특정 수준을 예상한다고 말하는 방식으로 분포를 설명합니다.

분위수를 설정하여 그렇게 할 수도 있지만, 예측 분포를 함께 설명하는 샘플 집합을 가질 수도 있습니다.

더 이상 한 지점만 평가하면 안 되므로 일반적으로 사용하는 것과 다른 평가 지표가 필요합니다.

확률적 예측에는 많은 평가 지표가 있습니다. 보정(calibration)과 선명도(sharpness) 두 가지만 이야기하겠습니다. 여기서 왼쪽의 보정은 예측의 신뢰성을 보여줍니다.

보정 45도 선은 모든 예측이 실제 값에서 정확하게 관찰됩니다. 따라서 실제 값의 분포를 보면 예측하는 분포와 정확히 동일합니다.

대개는 그렇지 않습니다. 완벽하게 보정되지는 않습니다.

예를 들어, 파란색 선을 봅시다. 특정 값에 대해 값이 낮을 확률이 20%라고 말하면 실제 값을 보고 실제 값의 30%가 더 낮다는 것을 관찰합니다.

따라서 이 예에서처럼 완벽하게 보정되지는 않았지만, 신뢰할 수 있는 예측을 위해 이 보정을 개선하기 위해 노력해야 합니다.

그러나 보정이 잘 된 예측만으로는 충분하지 않습니다. 예를 들어 훈련 데이터의 모든 데이터를 가져와서 평균 분포를 취하고 매 순간 정확히 동일한 분포를 제공하는 예측을 한다면 매우 잘 보정된 예측이겠지만, 모든 것이 동일해지기 때문에 아무런 정보도 얻을 수 없습니다.

언제가 더 높고 언제가 더 낮을지와 같은 결정을 실제로 내리려면 예측에 더 많은 정보를 추가해야 합니다.

정확도는 예측이 얼마나 정밀한지를 나타냅니다. 따라서 예측이 매우 정확하다면 저는 매우 확신하는 것입니다.

그래서 매우 좁은 분포를 가질 것입니다. 만약 예측이 그다지 정확하지 않다면 매우 넓은 분포를 가질 것입니다.

기본적으로 저는 잘 모른다고 말하는 것과 같습니다. 결정을 내리는데 행운을 빌죠.

그래서 저는 매우 정확한 예측을 하고 싶습니다. 왜냐하면 저는 정말로 그럴 가능성이 높다는 것을 알기 때문입니다. 그리고 조합이 필수적입니다. 그러면 저는 정확하고 신뢰할 수 있는 예측을 할 수 있습니다.

그래서 매우 정확하게 그럴 것이라고 말할 수 있고, 평균적으로도 정확합니다.

실제 분포와 일치합니다. 이제 확률적 예측에 대해, 실제로 추가하는 정보의 양에 대해 몇 가지 이야기를 들었습니다.

그리고 여러분 모두가 '정말 멋지다. 확률적 예측을 만들고 싶다. 오늘부터 시작하고 싶고, 제가 작업하고 있는 포인트 예측을 확률적인 것으로 바꿀 것이다'라고 생각하는 것을 듣습니다. 그리고 여러분은 시작합니다.

확률적 예측은 매우 광범위한 분야입니다. 많은 논문, 많은 블로그, 또한 많은 평가 지표, 많은 파이썬 패키지에 쉽게 압도될 수 있습니다.

무엇을 선택해야 할까요? 음, 그냥 시도해보고 프로젝트에 어떤 가치를 더하는지 확인하는 것이 좋은 시작입니다.

그리고 그것이 오늘 이 프레젠테이션의 목표입니다. 이 프레젠테이션이 끝나면 이미 작업 중인 프로젝트를 확률적 예측으로 변환하기 위해 오늘부터 시작할 수 있습니다.

그냥 시도해보세요. 이 주제에 대해 전체 연구를 수행하지 않고도 어떤 가치를 더하는지 확인하세요.

이를 위해 저는 사전 가정 없이 전체 분포를 제공하는 두 가지 실용적인 모델을 제시할 것입니다.

따라서 데이터의 분포에 대해 미리 알 필요는 없지만 여전히 전체 분포를 제공하고 직접 시작할 수 있으며 모든 프로젝트에서 사용할 수도 있습니다.

레벨 세트 예측기로 시작하겠습니다.

이것의 멋진 점은 이미 가지고 있는 모든 포인트 예측과 결합할 수 있다는 것입니다. 따라서 프로젝트를 진행 중이고 회귀 예측이 있다면,

어떤 모델을 사용하든 상관없습니다. 선형 회귀, 트리 기반 모델, 딥러닝이 될 수 있습니다.

어떤 모델이든 이미 가지고 있다면 사용할 수 있지만 확률적 예측으로 변환됩니다.

그렇다면 어떻게 작동할까요? 이것은 이미 가지고 있는 모델에서 알 수 있는 워크플로우입니다. 우리는 그것을 훈련하고 예측합니다.

그래서 우리는 훈련하고, 훈련 세트에 적합시키고, 테스트 세트에서 예측합니다. 여기 슬라이드에서 LGBM 모델을 보여 주지만 프로젝트에서 사용하는 모델이면 어떤 모델이든 될 수 있습니다.

따라서 레벨 세트 예측기는 이와 동일한 워크플로우를 따르지만 예측에 더 많은 정보를 추가하고 이 분포에 대한 정보를 추가하기 위해 몇 가지 추가 단계를 추가합니다.

모델 훈련으로 시작합니다. 그리고 이것은 프로젝트에 이미 있는 코드입니다.

새로운 것은 없습니다. 평소 모델을 사용해서 훈련하세요. 그리고 예측으로 넘어가는 대신, 먼저 내부 샘플 예측을 시작합니다.

따라서 테스트 세트를 예측하지 않고 먼저 훈련 세트를 예측합니다.

그리고 이러한 예측은 다음 단계에 대한 정보를 제공합니다. 그래서 이러한 예측, 즉 내부 샘플 예측이 있고 이를 정렬합니다. 낮은 것부터 높은 것 순으로 정렬합니다.

그리고 이를 통해 실제 값도 정렬합니다. 따라서 우리가 작업하고 있는 실제 목표입니다.

그리고 이 정렬은 빈을 만드는 데 사용됩니다. 따라서 선택한 특정 빈 크기가 있고 동일한 수준의 예측으로 빈을 만듭니다.

따라서 레벨 세트는 하나의 유사한 예측 레벨을 가진 세트입니다. 그리고 이 세트의 관측값이 예측이 됩니다.

확률적 예측이 될 것입니다. 의사 결정 트리에서는 어떻게 보일까요? 따라서 작업하는 모델이 의사 결정 트리라고 가정해 보겠습니다.

여기서 트리를 그렸습니다. 기능에 따라 분할됩니다. 결국 잎 중 하나에 도달합니다.

그 잎은 특정 값(예: 여기 1.3)을 예측하고 이러한 예측이 있는 모든 관측값은 함께 그룹화됩니다.

따라서 이 의사 결정 트리의 이 잎에 있는 모든 관측값은 하나의 세트로 그룹화됩니다.

그러나 두 개의 잎이 동일한 예측을 제공하는 경우도 발생할 수 있습니다. 이 경우에도 함께 그룹화됩니다.

따라서 레벨 세트 예측은 기능이 아닌 예측을 기반으로 하는 그룹입니다. 기능이 아닌 예측을 기반으로 하는 그룹입니다.

그런 다음 이 예에서는 두 잎의 모든 관측값이 함께 그룹화되고 해당 샘플 세트가 확률적 예측이 됩니다.

자, 코드에서 보면 이렇습니다. 이전 단계에서 이미 샘플 예측을 가지고 있습니다. 낮은 것부터 높은 것 순으로 정렬합니다.

그러면 정렬 인덱스가 주어지고, 타겟을 정렬합니다. 실제 관측치를 예측과 동일한 순서로 정렬합니다.

구간 크기를 선택하고 그룹을 만듭니다. 구간 크기는 레벨 세트 예측기의 하이퍼파라미터입니다.

따라서 이는 실제로 예측에서 원하는 바를 정의합니다. 구간 크기가 매우 작으면 매우 날카로운 예측을 얻을 수 있습니다.

구간 크기가 매우 크면 많은 포인트를 함께 그룹화하여 더 신뢰할 수 있고 더 잘 보정된 예측을 얻을 수 있습니다.

하지만 덜 정확하기도 합니다. 따라서 데이터에서 균형을 찾아야 합니다.

이제 이러한 세트를 함께 그룹화하기 위한 모든 작업을 완료했습니다. 선택할 수 있도록 그룹으로 유지했습니다.

그리고 포인트 예측을 다시 수행합니다. 따라서 테스트 세트에서 예측합니다. 이것은 항상 하는 것과 똑같습니다.

일반적인 포인트 모델과 마찬가지로 테스트 세트에서 예측합니다. 정확히 동일한 코드이지만 예측하는 값을 사용하는 대신 이러한 세트 중 하나를 선택하는 데 사용합니다.

그래서 알 수 있습니다. '이것이 높은 예측인가?' 그러면 이 높은 예측과 상관관계가 있는 그룹을 선택합니다.

관측치 그룹을 선택하면 해당 관측치 그룹이 확률적 예측이 됩니다. 따라서 방금 첫 번째 확률적 예측을 했습니다.

샘플 세트로 제공되지만 해당 세트에서 코드의 나머지 부분에 더 쉽게 사용할 수 있는 분위수를 결정할 수도 있습니다.

그리고 여기에서 첫 번째 확률적 예측을 볼 수 있습니다. 밝은 회색으로 10~90% 확률을 볼 수 있고, 더 어두운 회색은 30~70%, 가장 어두운색은 중앙값이고 파란색은 평균입니다.

그리고 시간에 따른 예측을 볼 수 있습니다.

따라서 이것이 단 하나의 선일 경우보다 훨씬 더 많은 정보가 있음을 알 수 있습니다. 왜냐하면 어느 시점에서 한쪽이 매우 불확실하다는 것을 실제로 알 수 있기 때문입니다. 단 하나의 선으로는 그러한 정보를 얻을 수 없었을 것입니다.

음, 하지만 다른 것도 알 수 있습니다. 아마도 이미 보셨을 것입니다. 이러한 그룹을 그룹화하고 선택하기 때문에 반복적일 수 있습니다.

여러 번 연속으로 동일한 그룹을 선택하여 정확히 동일한 프로젝트를 얻을 수도 있습니다.

따라서 이것이 프로젝트에 문제가 된다면 다음 방법인 Quantile Regression Forest를 사용할 수 있습니다. Quantile Regression Forest는 모든 샘플에 대해 고유한 예측을 제공합니다.

따라서 이러한 반복성이 없습니다. 따라서 그것이 중요하다면 사용할 수 있습니다.

그러나 단점은 랜덤 포레스트에서만 작동한다는 것입니다. 따라서 랜덤 포레스트가 프로젝트에 적합해야 합니다.

따라서 Quantile Regression Forest도 동일한 워크플로우인 학습 및 예측을 따릅니다. 레벨 집합과 유사하게 동일한 코드를 다시 사용합니다.

랜덤 포레스트를 적합합니다. 여기서는 다른 모델로 교체할 수 없고 랜덤 포레스트만 사용할 수 있습니다. 그러나 프로젝트에서 이미 랜덤 포레스트를 사용하고 있다면 완벽합니다. 계속 진행하면 됩니다.

그리고 일반적으로 랜덤 포레스트를 사용하는 방법은 리프당 평균값을 예측하는 것입니다.

랜덤 포레스트의 모든 트리를 살펴보고 평균 예측값을 취합니다. 즉, 리프당 평균 예측값을 제공하고 모든 트리의 평균을 취하여 예측값을 얻습니다.

따라서 단일 값인 포인트 예측을 제공합니다. 이제 Quantile Regression Forest에서 하는 일은 이 값 하나만 보는 것이 아니라 실제로 리프에 있는 정보를 유지하는 것입니다.

거기에 있는 모든 샘플을 버리지 않습니다.

이미 리프에 있는 정보를 유지합니다. 다시 말하지만, 랜덤 포레스트의 첫 번째 트리가 있습니다.

Inge van den Ende - Kickstart Your Probabilistic Forecasting | PyData Amsterdam 2025

스크립트