welcome back. So in this video, I'm going to introduce this idea of a physics informed neural network or a PINN, which was first presented in this paper by Maire Raissi, Paris Perdikaris, and George Karniadakis.

And since its introduction, it's become one of the workhorse uh algorithms and kind of ideas in physics informed machine learning.

So it's based on a kind of uh neural network idea that also incorporates known physics uh in the form of a partial differential equation in the loss function.

So I'm going to walk you through this, some examples of how it's been extended, some kind of caveats and cautionary tales, uh and some big success stories as well of what it can do.

So kind of a traditional approach to um using a neural network to predict something like a fluid uh flow field, you might build a neural network um some kind of, you know, deep feed forward network that predicts the field variables of interest, maybe U, V, W, and P.

These would be the X, the Y, and the Z velocity field components and P might be the pressure of a fluid and those are functions of the spatial coordinates X, Y, Z, and time T.

This picture is just a two-dimensional fluid, but you can imagine uh if I wanted to model a three-dimensional fluid with three velocity components and a pressure in terms of three spatial coordinates and time, uh I might be able to do that by building a big feed forward neural network and training it on a bunch of examples of flow data.

I might be able to learn that mapping uh from space and time to some uh coordinates U, V, W, and P.

Okay, this is kind of the naive approach to using a neural network to predict some physics and what uh what these authors did in this kind of classic now PINN paper is they extended this uh this naive neural network picture where you have just a simple loss function um of your kind of predicted fields from your true measured fields.

They extend this by computing things like partial derivatives of these output variables in terms of the input spatial and temporal variables.

And this is a really simple but very powerful idea that you can compute these terms essentially using the same kind of auto differentiation, automatic differentiation, and back propagation that you would normally use to train a neural network.

You can use that same idea in a modern language like PyTorch or JAX to compute these partial derivatives of the outputs with respect to the inputs.

And if you have those partial derivatives computed, you can add in this additional loss function that your partial differential equation should be satisfied.

So if you know, for example, that this uh velocity field should be divergence-free, you can add a term in purple here that is literally the divergence of your velocity field, and if it's non-zero, it means that that physics is being violated.

So I have an example here of uh the Navier-Stokes equations, which is one of the most popular examples used um with PINNs.

And again, just to reiterate, uh what this this big picture does is it takes a standard kind of neural network representation of the field variables you want to predict or estimate, things like velocity fields and pressure fields, as a function of space and time.

It takes that standard kind of generic neural network uh model, and it computes the partial derivatives that are relevant for the physics in this problem, again using automatic differentiation and back propagation, things like that.

And from those computed partial derivatives, you can create this additional loss term.

that tells you, uh, kind of if this known physics is being violated or not. Basically, you know, if there are things that should be zero, like the divergence, or you could take the right-hand side of this equation and move it over to the left-hand side, so all of that adds up to zero.

Those would be terms in this purple, uh, virtual loss function. And what that does is it adds this, um, this penalty when your neural network is violating known physics.

So this works really well for systems where we know, um, something about the physics. We know we're dealing with a fluid flow or a quantum system or an electromagnetic system, and we're still trying to predict kind of our field variables as a function of space and time.

And you'll notice that, um, I have these sums labeled. This is a sum over actual data, so that's training data. That's actual, you know, velocity fields that you have either measured or computed.

And then this purple sum is summed over virtual points. So this is one of the cool things about this network is if you know the physics, if you know that you're looking at a Navier-Stokes fluid flow, then even if I only have pretty limited data here, I can still test if my network is physical, meaning does it satisfy, you know, these equations?

Is this L function small? I can evaluate that on test points that are not actually in my training data.

So that's a huge and powerful idea. Also, is that oftentimes I've seen these PINNs trained on very small amounts of actual measurement data, and you offload a lot of the training to these kind of virtual points where you can evaluate, is this network physical on those virtual points?

Because even on a virtual point where I don't have real measurement data, I can still evaluate if my network is, you know, conserving mass and momentum.

Okay, pretty cool idea here. And if we uh kind of go back to this big picture of physics inform machine learning, it's pretty clear that um PINNs or this physics inform neural network sits here in this kind of stage four of crafting a loss function that promotes what we know about the physics.

Now of course there's some architecture, you know, we're computing those partial derivatives uh and we're modeling field variables as a function of space and time, but I think the real uh kind of special aspect of PINNs is here in this stage four crafting a loss function.

Okay, so back to this picture here. Now a couple of things I want to point out. Um there are reasons I like this architecture a lot and there's things that I think um you should be aware are maybe a little bit of like a cautionary tale about using an architecture like this.

So in general I think this is a really clever idea because it takes something that is very simple and powerful idea in machine learning, this kind of big feedforward neural network, a big MLP, and it adds a really simple way of incorporating physics into that uh problem.

So this loss function here and the fact that we're using kind of automatic differentiation to compute these quantities of interest that go into this virtual PD loss function, it's a very, very clever and also a very simple way of adding in known physics to this neural network process.

So I like that and I think that's probably one of the reasons that this has been so widely adopted, um you know, cited thousands and thousands of times and used by tons of researchers um across the world is because it's a really simple and intuitive way of adding physics into, you know, the standard way you would build a neural network to model physics.

Another thing I really like, and I mentioned this before, is that this really allows you to work with relatively small data sets.

You don't need necessarily that much data here. Uh, for the actual, um, database loss function, you can use virtual points to evaluate if your network is physical or not.

Um, and so I've seen lots of these networks trained with tons of virtual particles and not that much data. And so I think that's a really, really powerful part of this as well.

Now, the things that, um, this isn't, you know, exactly a negative, it's just a feature of the way that this is, um, that this is developed is that because the physics is added as a loss function, that's a strength because it's very intuitive and easy, but it also only suggests that your physics is being satisfied.

These two terms are always going to be fighting with each other.

You're always going to be having this pull between your possibly noisy data measurements and this kind of virtual term here that says that your PDE should be satisfied, your physics should be satisfied.

And so when you train this thing, it might be pretty stiff, um, and difficult optimization, and you're almost never going to actually have this purple term here be exactly zero.

So your physics is not being exactly satisfied by this, uh, this PIN mass is not exactly being conserved, momentum is not exactly being conserved.

And you know, that may or may not, um, become important in different applications. In tons of applications, it is perfectly fine to have a small but nonzero physics loss, and it still is an improvement over not adding that loss at all.

But in some applications, you might want to have a more exact, uh, enforcing of your of that physics, maybe through an architectural choice or through an actual constrained optimization.

And that's something we've talked about a little bit before and we'll talk about again, but I just want to point that out here.

Um, very simple and intuitive. It allows you to work with relatively small data sets, and those are both, you know, huge positives. But the fact that this is a loss function means you're only suggesting that the physics is informed.

You're not enforcing that the physics is informed. And so you should, or sorry, enforced, uh, and so you should just be aware of that.

I think that's, that's super important. Um, and I want us to be thinking about what this kind of architecture is going to be good for.

Okay, so it's really, really good for estimating things like whole flow fields with fairly sparse sensor measurements.

It's a really good way of doing that, and it improves on some of the past methods that we used to do before PINNs existed, and I'll talk a little bit about that.

So data assimilation and kind of flow estimates from, uh, limited or sparse measurements, that's a pretty cool application of this.

So you can picture maybe you have like a, you know, a fusion reactor, some kind of Sphera fusion reactor, and you can't put sensors everywhere inside of that reactor because they'll melt.

So you maybe only have a few, you know, probes on the surface.

This could be a pretty cool architecture to take that limited data on the surface and add in the physics loss because we know that the physics is, you know, magnetohydrodynamics or some kind of plasma physics and estimate the internal flow that's most consistent with those measurements and with the fact that we know our physics is governed by this PDE.

So that's just one example. Um, good. It might not be the most useful thing in the world for speeding up your high fidelity simulations, though, you know, that's something, uh, I think you should really be thinking about.

How can I use this architecture and what are ways that I maybe don't want to use this architecture?

Good. Um, and so actually one of the best and kind of most interesting papers, uh, that was published, you know, at around the same time as the original PINNs paper is, um, this this paper kind of, I think it's called something about hidden physics by many of the same authors in science.

So very high-profile paper where they essentially show that if you have relatively limited data from a fluid flow, um, I think this is, you know, some kind of a fluid flow in an artery or like a blood flow.

I don't know if this is called like a thrombosis, but it looks like there's some recirculation of blood flow here.

You can take very limited information and sometimes information that is, um, not even like a velocity field, like a smoke visualization or some kind of, uh, like a movie, and you can infer what the actual velocity field, the quantitative velocity field that is kind of closest to satisfying the Navier-Stokes equations and satisfying the measurement data that you have.

And you can see that you actually get relatively good reconstruction, uh, of the kind of PINNs reconstruction and the ground truth reference, uh, velocity field.

And you can kind of see quantitatively here, you should download this paper and actually read it.

It's very interesting paper and it tells you how to take, uh, other types of measurements and infer these velocity fields. But again, I think that's one of the things that, uh, PINNs are really, really good for is taking limited sensor data and inferring between the lines, kind of reading between the lines of what the velocity field should look like to be consistent with your measurement data and to be consistent with your governing equations.

And it's funny, that's actually pretty close to what a common filter does. If you think about it, it kind of optimally balances this idea between you want to, um, agree with your data, but you also want to agree with your model.

And depending on how much you trust your model or your data, you might change this kind of hyperparameter that balances those two.

So there's also a hyperparameter in PINNs that balances how much you trust your data versus how much you kind of want to be enforcing your governing partial differential equation.

Now, I'll point out because we're computing those derivatives, those partial derivatives that go into the kind of physics informed loss function here, this is going to have a harder time on systems that are, you know, discontinuous with things like shock waves or, you know, chaotic convecting flows where this neural network function of time might be really diverging and really chaotic.

It's not going to probably be amazing at those kinds of flows. So again, in the back of your mind, you have to be thinking this is not magic.

This is a neural network with a custom loss function and so you need to know when it is and is not going to work.

Okay, um, but it, you know, does really, really cool things in certain circumstances for things like flow reconstruction from limited measurements.

Okay, um, and in the past we used to use a method called 4D VAR. It was like kind of a variational method in space and time, so that's where the 4D comes from and it was this horrific physics-based constrained optimization.

It was an optimization constrained by the physics.

to again find a flow field that was consistent with your measurements and with the physics, and all of that now in PINNs is kind of abstracted from the human.

It uses modern machine learning architectures and optimizations, and it typically does, you know, as well in a lot of cases. So, for some of you who remember 4D-VAR, you'll see the parallel pretty quickly.

For those of you who don't, maybe just do a quick Google on 4D-VAR and you'll see kind of, uh, morally how these are related and different.

Okay. Um, now I'll put some links in the in the video description. There's some great resources out there that I'm going to link to.

Um, so a few really good, um, really good videos here. Um, this is one by, uh, Juan Tuscano, and I believe this is, uh, Benjamin Mosley on, uh, on this YouTube channel.

These are both really good kind of tutorial videos. Um, you know, this one, um, Juan actually works, this, uh, a training, how to train a, a physics informed neural network out in code, so I would highly recommend this one.

Um, and there's some great tutorials online also for how to code this up, uh, in Torch.

Okay, so I'll put links to these in, uh, in the video description, but really it's super important for you to try this yourself.

I think that's one of the main points here is if you want to know what this is good for and what this is not good for, you got to actually try it on a couple of examples and see, oh, was it, did it take forever to train?

Was it fast to train? Would did it take forever to execute? Was it fast to execute?

Did it generalize? Did I need a bunch of data or a little data? Those are all the things you would you would play.

around with and roughly speaking, um, you know, these methods, again, they're good for filling in lots of missing data or or kind of, um, inferring if you have very sparse measurement data.

They're good for speeding up the inference step. So training might be expensive, uh, compared to something like, you know, CFD or or or fluid flow simulations, uh, and you in fact need the training data from those high fidelity sources, but the inference step once you have a trained model can be very, very fast.

And so that's another, you know, good use of these methods. And among these resources, again, this video was by, uh, Benjamin Mosley and they have a really, really nice, um, kind of blog you should check out, um, all about scientific machine learning and they have a really cool blog post specifically about PINNs with, uh, code on how to actually, you know, train these and test these yourself.

So I think this is one of my favorite, uh, to follow along and they contrast PINNs with the kind of classic naive neural network approach where you don't add that physics informed loss.

And so I believe the example that they train on here is a really simple one-dimensional physics where you basically take a mass on a spring and you let that spring go or sorry, you let the mass go and you have this kind of decaying oscillation of your your spring mass damper system and there is some pretty sparse training data, these blue points here.

And essentially these are movies, so go to the website and actually, you know, check out the movies, but essentially this shows the training of a naive neural network over, uh, training step and it basically never trains.

It goes into this kind of suboptimal kind of crummy solution because it can't generalize past the blue data that it was trained on because it doesn't know anything about the physics.

And in contrast, if you have this kind of physics informed loss function where you actually say, hey, I know that this is a, you know, F equals MA, a spring system.

Now, from those blue training points, you can train a physics informed neural network that is much, much better at generalizing into the future because it got the physics right, because that was in the loss function.

Okay, um, so really simple example, but it's one you can code up yourself, you can follow it.

All makes intuitive sense. Um, and it's a little easier than the PTE version. Now, I will point out I noticed here that this is trained to 620 steps and this is trained to 12,000 steps.

So again, that should be making you wonder, hey, how much training do I really have to do to get this PIN to converge?

But again, maybe the training is an offline computation, maybe you're willing to spend a lot of resources to train this thing as long as it learns the physics and executes quickly, uh, in the future.

And again, this generalizes way better because it incorporates the physics.

That's kind of the upshot here. Good. Um, and there's a lot of cool extensions to PINNs. That's one of the things I like, you know, my lab and my collaborators, we develop a lot of methods, um, you know, similar kind of machine learning and physics informed machine learning methods.

And when I think of my favorite methods, things like, uh, DMD and Cindy and, you know, PINNs and things like that, they tend to be highly extensible.

They're such a simple idea that you can often add a lot of kind of add-ons to make them more performant for different kinds of scenarios.

And so this is just a very, you know, select few examples out in the literature, there are dozens of custom types of PINNs for different types of physics, for different types of data, different types of scenarios.

Physics Informed Neural Networks (PINNs) [Physics Informed Machine Learning]

Steve Brunton

물리 기반 신경망(PINN)은 신경망 아키텍처에 물리 법칙을 손실 함수 형태로 통합하여, 데이터와 물리적 제약 조건을 동시에 만족하는 해를 찾도록 훈련시키는 방법이다.

PINN은 제한된 데이터로도 물리 현상을 모델링할 수 있으며, 특히 희소한 센서 데이터로부터 전체 흐름장을 추정하는 데 유용하지만, 손실 함수 기반 접근 방식이므로 항상 물리 법칙을 정확하게 만족시키지는 못한다는 점을 유의해야 한다.

PINN은 다양한 확장과 개선이 이루어지고 있으며, 특정 문제에 따라 적절한 아키텍처와 하이퍼파라미터를 선택하는 것이 중요하며, 실패 모드에 대한 이해와 체계적인 연구가 필요하다.

💡 물리학 기반 신경망(PINN) 소개

이번 영상에서는 물리학 기반 신경망(PINN)이라는 아이디어를 소개합니다. **PINN은 손실 함수에 편미분 방정식 형태의 물리학을 통합하는 신경망**입니다. 유체 흐름 예측 등에 사용되며, 물리학 기반 머신러닝에서 중요한 알고리즘 중 하나입니다.

PINN은 예측하려는 필드 변수(예: 속도장, 압력장)에 대한 표준적인 신경망 표현을 사용합니다. **자동 미분 및 역전파를 통해 문제의 물리학과 관련된 편미분을 계산**하고, 이를 통해 추가적인 손실 항을 만들어 신경망이 알려진 물리 법칙을 위반하는 경우 페널티를 줍니다.

손실 함수는 실제 측정된 필드와 예측된 필드의 차이, 그리고 편미분 방정식이 충족되어야 하는 조건을 포함합니다. **만약 속도장이 발산이 없어야 한다면, 손실 함수에 속도장의 발산 항을 추가**할 수 있습니다. 이는 네트워크가 물리 법칙을 따르도록 유도합니다.

PINN의 큰 장점 중 하나는 **비교적 작은 데이터 세트로도 훈련이 가능하다는 점**입니다. 실제 데이터가 부족하더라도, 가상 점들을 사용하여 네트워크가 물리적인지 평가할 수 있습니다. 이는 실제 측정 데이터가 없는 가상 점에서도 네트워크가 질량과 운동량을 보존하는지 평가할 수 있기 때문입니다.

PINN은 희소한 센서 측정으로부터 전체 흐름장을 추정하는 데 매우 유용합니다. 예를 들어, 핵융합로 내부의 제한된 센서 데이터로부터 내부 흐름을 추정하는 데 활용될 수 있습니다. **이는 측정 데이터와 일치하고 지배 방정식과 일치하도록 속도장이 어떻게 보여야 하는지 추론**하는 데 효과적입니다.

PINN은 물리학이 손실 함수로 추가되기 때문에, **물리학이 정확히 충족된다는 보장이 없습니다**. 데이터 측정값과 물리학 조건 사이의 균형을 맞추는 것이 어려울 수 있으며, 최적화가 뻣뻣해질 수 있습니다. 따라서 물리학이 정확히 보존되지 않을 수 있다는 점을 인지해야 합니다.

충격파와 같이 불연속적이거나 혼란스러운 대류 흐름이 있는 시스템에서는 PINN이 어려움을 겪을 수 있습니다. **PINN은 맞춤형 손실 함수를 가진 신경망이므로, 언제 작동하고 작동하지 않는지 알아야 합니다**. 따라서 모든 문제에 대한 만능 해결책은 아니라는 점을 명심해야 합니다.

PINN은 다양한 유형의 물리학, 데이터, 시나리오에 맞춰 확장될 수 있습니다. 예를 들어, **분수 도함수를 갖는 편미분 방정식에 대한 분수 PINN**이 있습니다. 이는 기존 PINN 항과 수치 이산화 방식을 결합하여 더 광범위한 PDE 클래스를 다룰 수 있게 합니다.

**Delta PINN은 기하학적 정보를 통합하여 성능을 향상**시킵니다. 예를 들어, 심장 흐름과 같이 복잡한 형상에 대한 라플라스-벨트라미 연산자의 고유 함수를 사용하여 PDE 해를 나타내는 데 좋은 기반을 제공합니다. 이는 형상과 PDE 물리학에 대한 지식을 결합하여 더 나은 결과를 얻을 수 있게 합니다.

PINN에 대해 더 자세히 알고 싶다면, **후안 투스카노와 벤자민 모슬리의 튜토리얼 비디오를 참고**하십시오. 특히 후안 투스카노의 비디오는 PINN을 훈련하는 방법을 코드를 통해 자세히 설명합니다. 또한, 벤자민 모슬리의 과학적 머신 러닝 블로그에는 PINN에 대한 멋진 게시물과 코드가 있습니다.

PINN의 실제 실패 모드를 이해하려면 **Michael Mahoney 그룹의 연구**를 참고하십시오. 이 연구는 PINN이 언제 작동하지 않는지 체계적으로 분석하고, 훈련 과정을 개선하기 위한 구체적인 제안을 제공합니다. 또한, 파레토 전면을 살펴보는 연구를 통해 하이퍼파라미터를 조정하는 방법에 대한 실용적인 가이드를 얻을 수 있습니다.

다시 오신 것을 환영합니다. 이번 영상에서는 물리학 기반 신경망, 즉 PINN이라는 아이디어를 소개하려고 합니다. 이 아이디어는 Maire Raissi, Paris Perdikaris, George Karniadakis가 발표한 논문에 처음 소개되었습니다.

이후 물리학 기반 머신러닝에서 가장 중요한 알고리즘이자 아이디어 중 하나가 되었습니다.

이것은 일종의 신경망 아이디어를 기반으로 하며, 손실 함수에서 편미분 방정식 형태로 알려진 물리학을 통합합니다.

그래서 저는 이것을 통해 확장된 몇 가지 예와 몇 가지 주의 사항, 경고성 이야기, 그리고 그것이 할 수 있는 일에 대한 몇 가지 큰 성공 사례를 보여드리려고 합니다.

유체 흐름과 같은 것을 예측하기 위해 신경망을 사용하는 기존의 접근 방식은 신경망, 예를 들어 관심 있는 필드 변수를 예측하는 일종의 심층 피드 포워드 네트워크를 구축하는 것입니다. 아마도 U, V, W, 그리고 P일 것입니다.

이것은 X, Y, Z 속도 필드 구성 요소이고 P는 유체의 압력일 수 있으며, 이는 공간 좌표 X, Y, Z 및 시간 T의 함수입니다.

이 그림은 2차원 유체일 뿐이지만, 3차원 유체를 3개의 속도 구성 요소와 3개의 공간 좌표 및 시간 측면에서 압력으로 모델링하고 싶다면 큰 피드 포워드 신경망을 구축하고 많은 흐름 데이터 예제에 대해 훈련하여 이를 수행할 수 있다고 상상할 수 있습니다.

공간과 시간에서 일부 좌표 U, V, W, P로의 매핑을 학습할 수 있을 것입니다.

좋습니다. 이것은 신경망을 사용하여 일부 물리학을 예측하는 순진한 접근 방식이며, 이 고전적인 PINN 논문에서 저자들이 한 일은 단순히 손실 함수가 있는 이 순진한 신경망 그림을 확장한 것입니다. 즉, 실제 측정된 필드에서 예측된 필드의 간단한 손실 함수입니다.

그들은 입력 공간 및 시간 변수 측면에서 이러한 출력 변수의 편미분과 같은 것을 계산하여 이를 확장합니다.

그리고 이것은 신경망을 훈련하는 데 일반적으로 사용하는 것과 동일한 종류의 자동 미분, 자동 미분 및 역전파를 사용하여 이러한 항을 계산할 수 있다는 정말 간단하지만 매우 강력한 아이디어입니다.

이러한 아이디어를 PyTorch나 JAX와 같은 최신 언어에서도 활용하여 입력에 대한 출력의 편미분을 계산할 수 있습니다.

그리고 이러한 편미분을 계산했다면, 편미분 방정식이 충족되어야 하는 추가 손실 함수를 추가할 수 있습니다.

예를 들어 이 속도장이 발산이 없어야 한다는 것을 알고 있다면, 여기에 보라색으로 속도장의 발산인 항을 추가할 수 있습니다. 만약 0이 아니라면 해당 물리 법칙을 위반하고 있다는 의미입니다.

여기 PINN에서 가장 많이 사용되는 예 중 하나인 Navier-Stokes 방정식의 예가 있습니다.

다시 한번 강조하지만, 이 큰 그림은 예측하거나 추정하려는 필드 변수, 즉 공간과 시간의 함수로서의 속도장 및 압력장과 같은 것들의 표준적인 신경망 표현을 취합니다.

이러한 표준적인 일반 신경망 모델을 사용하여, 자동 미분 및 역전파 등을 통해 이 문제의 물리학과 관련된 편미분을 계산합니다.

그리고 이러한 계산된 편미분으로부터 추가적인 손실 항을 만들 수 있습니다.

이는 알려진 물리 법칙을 위반하는지 여부를 알려줍니다. 기본적으로 발산과 같이 0이 되어야 하는 것들이 있거나, 이 방정식의 우변을 좌변으로 옮겨서 모두 0이 되도록 할 수 있습니다.

이러한 것들이 이 보라색 가상 손실 함수에 포함될 것입니다. 그리고 이것은 신경망이 알려진 물리 법칙을 위반할 때 페널티를 추가합니다.

따라서 이는 물리학에 대해 어느 정도 알고 있는 시스템에 매우 효과적입니다. 유체 흐름, 양자 시스템 또는 전자기 시스템을 다루고 있다는 것을 알고 있으며, 여전히 공간과 시간의 함수로서의 필드 변수를 예측하려고 노력하고 있습니다.

여기 합계에 레이블이 지정되어 있는 것을 볼 수 있습니다. 이것은 실제 데이터에 대한 합계, 즉 훈련 데이터입니다. 이는 측정하거나 계산한 실제 속도장입니다.

그리고 이 보라색 합은 가상 점들에 대해 합산됩니다. 이 네트워크의 멋진 점 중 하나는 물리학을 알고, 나비에-스토크스 유체 흐름을 보고 있다는 것을 안다면, 제한된 데이터만 있더라도 네트워크가 물리적인지, 즉 이러한 방정식을 만족하는지 테스트할 수 있다는 것입니다.

이 L 함수가 작은가? 훈련 데이터에 없는 테스트 포인트에서도 평가할 수 있습니다.

이것은 매우 강력한 아이디어입니다. 또한 이러한 PINN은 실제 측정 데이터가 매우 적은 양으로 훈련되는 경우가 많으며, 이러한 가상 점들에서 네트워크가 물리적인지 평가할 수 있는 가상 점들로 훈련을 많이 오프로드합니다.

실제 측정 데이터가 없는 가상 점에서도 네트워크가 질량과 운동량을 보존하는지 평가할 수 있기 때문입니다.

좋아요, 꽤 멋진 아이디어입니다. 그리고 물리학 기반 머신 러닝의 큰 그림으로 돌아가 보면, PINN 또는 이 물리학 기반 신경망이 물리학에 대해 알고 있는 것을 촉진하는 손실 함수를 만드는 이 4단계에 있다는 것이 분명합니다.

물론 아키텍처도 있습니다. 편미분을 계산하고 공간과 시간의 함수로 필드 변수를 모델링하지만, PINN의 특별한 측면은 손실 함수를 만드는 이 4단계에 있다고 생각합니다.

좋아요, 다시 이 그림으로 돌아가서 몇 가지 지적하고 싶은 점이 있습니다. 저는 이 아키텍처를 매우 좋아하지만, 이와 같은 아키텍처를 사용하는 것에 대한 경고와 같은 점도 알아야 합니다.

일반적으로 이것은 머신 러닝에서 매우 간단하고 강력한 아이디어인 큰 피드포워드 신경망, 큰 MLP를 사용하여 물리학을 문제에 통합하는 매우 간단한 방법을 추가하기 때문에 정말 영리한 아이디어라고 생각합니다.

따라서 이 손실 함수와 가상 PD 손실 함수에 들어가는 관심 있는 양을 계산하기 위해 자동 미분을 사용한다는 사실은 신경망 프로세스에 알려진 물리학을 추가하는 매우 영리하고 간단한 방법입니다.

그래서 저는 그 점이 좋고, 이것이 널리 채택된 이유 중 하나라고 생각합니다. 아시다시피, 수천 번 인용되고 전 세계 수많은 연구자들이 사용한 이유는 물리학을 모델링하기 위해 신경망을 구축하는 표준적인 방법에 물리학을 추가하는 정말 간단하고 직관적인 방법이기 때문입니다.

제가 정말 좋아하는 또 다른 점은, 앞서 말씀드렸듯이, 비교적 작은 데이터 세트로 작업할 수 있다는 것입니다.

여기서는 반드시 많은 데이터가 필요하지 않습니다. 실제 데이터베이스 손실 함수의 경우 가상 포인트를 사용하여 네트워크가 물리적인지 여부를 평가할 수 있습니다.

그래서 저는 수많은 가상 입자와 그렇게 많지 않은 데이터로 훈련된 이러한 네트워크를 많이 보았습니다. 그래서 저는 이것이 정말 강력한 부분이라고 생각합니다.

이제 이것이 정확히 부정적인 것은 아니고, 이것이 개발된 방식의 특징일 뿐인데, 물리학이 손실 함수로 추가되기 때문에 매우 직관적이고 쉽다는 장점이 있지만, 물리학이 충족되고 있음을 암시할 뿐입니다.

이 두 용어는 항상 서로 싸울 것입니다.

가능성이 있는 노이즈가 있는 데이터 측정값과 PDE가 충족되어야 하고, 물리학이 충족되어야 한다고 말하는 일종의 가상 용어 사이에서 항상 이러한 끌어당김이 있을 것입니다.

그래서 이것을 훈련할 때 꽤 뻣뻣하고 어려운 최적화가 될 수 있으며, 이 보라색 용어가 정확히 0이 되는 경우는 거의 없을 것입니다.

따라서 물리학은 정확히 충족되지 않고, 이 PIN 질량은 정확히 보존되지 않으며, 운동량은 정확히 보존되지 않습니다.

그리고 아시다시피, 그것이 다른 응용 분야에서 중요해질 수도 있고 그렇지 않을 수도 있습니다. 수많은 응용 분야에서 작지만 0이 아닌 물리학 손실을 갖는 것이 완벽하게 괜찮으며, 손실을 전혀 추가하지 않는 것보다 여전히 개선된 것입니다.

그러나 일부 응용 분야에서는 아키텍처 선택이나 실제 제약 조건 최적화를 통해 해당 물리학을 보다 정확하게 적용하고 싶을 수도 있습니다.

그리고 그것은 우리가 전에 조금 이야기했고 다시 이야기할 내용이지만, 여기서 지적하고 싶었습니다.

음, 매우 간단하고 직관적입니다. 비교적 작은 데이터 세트로 작업할 수 있게 해주는데, 이는 모두 큰 장점입니다. 하지만 이것이 손실 함수라는 사실은 물리학이 반영되었다는 점만 제시한다는 의미입니다.

물리학이 반영되도록 강제하는 것이 아닙니다. 따라서 이를 인지해야 합니다.

이것이 매우 중요하다고 생각합니다. 음, 그리고 저는 이런 종류의 아키텍처가 무엇에 좋을지 고민해야 한다고 생각합니다.

좋습니다. 따라서 상당히 희소한 센서 측정으로 전체 흐름장을 추정하는 데 매우 좋습니다.

이는 정말 좋은 방법이며, PINN이 존재하기 전에 사용했던 과거 방법보다 개선되었으며, 이에 대해 조금 이야기하겠습니다.

따라서 데이터 동화 및 제한적이거나 희소한 측정에서 흐름을 추정하는 것은 이 방법의 꽤 멋진 응용 분야입니다.

예를 들어 핵융합로, 일종의 스페라 핵융합로가 있다고 상상해 보세요. 센서가 녹을 수 있기 때문에 원자로 내부에 모든 센서를 배치할 수 없습니다.

따라서 표면에 몇 개의 프로브만 있을 수 있습니다.

이것은 표면의 제한된 데이터를 가져와서 물리학 손실을 추가하는 꽤 멋진 아키텍처가 될 수 있습니다. 왜냐하면 우리는 물리학이 자기유체역학 또는 일종의 플라스마 물리학이라는 것을 알고 있고, 우리의 물리학이 이 PDE에 의해 지배된다는 사실과 함께 이러한 측정과 가장 일치하는 내부 흐름을 추정할 수 있기 때문입니다.

이것은 단지 하나의 예일 뿐입니다. 음, 좋습니다. 이것이 고충실도 시뮬레이션 속도를 높이는 데 가장 유용한 것은 아닐 수도 있지만, 그것은 여러분이 정말로 생각해야 할 문제입니다.

이 아키텍처를 어떻게 사용할 수 있으며, 이 아키텍처를 사용하지 않아야 할 방법은 무엇입니까?

좋습니다. 음, 실제로 가장 훌륭하고 흥미로운 논문 중 하나는 원래 PINN 논문과 거의 같은 시기에 발표된 논문인데, 이 논문은 과학 분야에서 많은 동일한 저자들이 작성한 숨겨진 물리학에 관한 논문이라고 생각합니다.

아주 유명한 논문에서 그들은 기본적으로 유체 흐름에서 비교적 제한된 데이터를 가지고 있다면, 음, 이것은 동맥의 유체 흐름이나 혈류의 일종이라고 생각합니다.

이것이 혈전증이라고 불리는지는 모르겠지만 여기 혈류가 재순환되는 것처럼 보입니다.

매우 제한된 정보, 때로는 속도장이 아닌 연기 시각화 또는 일종의 영화와 같은 정보도 사용하여 실제 속도장, 즉 나비에-스토크스 방정식을 만족시키고 가지고 있는 측정 데이터를 만족시키는 데 가장 가까운 정량적 속도장을 추론할 수 있습니다.

그리고 실제로 PINN 재구성과 실제 참조 속도장의 종류를 비교적 잘 재구성할 수 있다는 것을 알 수 있습니다.

그리고 여기에서 정량적으로 볼 수 있습니다. 이 논문을 다운로드하여 실제로 읽어봐야 합니다.

매우 흥미로운 논문이며 다른 유형의 측정값을 가져와 이러한 속도장을 추론하는 방법을 알려줍니다. 하지만 다시 말하지만, PINN이 정말로 잘하는 것 중 하나는 제한된 센서 데이터를 가져와 측정 데이터와 일치하고 지배 방정식과 일치하도록 속도장이 어떻게 보여야 하는지 행간을 읽는 것과 같이 추론하는 것이라고 생각합니다.

재미있게도 그것은 실제로 칼만 필터가 하는 일과 매우 유사합니다. 생각해 보면 데이터와 일치하기를 원하지만 모델과도 일치하기를 원하는 이 아이디어 사이에서 최적으로 균형을 이룹니다.

그리고 모델이나 데이터를 얼마나 신뢰하는지에 따라 이러한 종류의 하이퍼파라미터를 변경하여 둘 사이의 균형을 맞출 수 있습니다.

따라서 PINN에는 데이터를 얼마나 신뢰하는지, 지배적인 편미분 방정식을 얼마나 강제하고 싶은지 균형을 맞추는 하이퍼파라미터도 있습니다.

이제 여기서 일종의 물리 정보 손실 함수에 들어가는 이러한 도함수, 즉 편도함수를 계산하고 있기 때문에 충격파와 같은 불연속적이거나 시간의 신경망 함수가 실제로 발산하고 매우 혼란스러울 수 있는 혼란스러운 대류 흐름이 있는 시스템에서는 더 어려울 것이라고 지적하겠습니다.

이러한 종류의 흐름에 능숙하지 않을 수 있습니다. 다시 말씀드리지만, 이것은 마법이 아니라는 것을 명심해야 합니다.

이것은 맞춤형 손실 함수를 가진 신경망이므로 언제 작동하고 작동하지 않는지 알아야 합니다.

제한된 측정값으로부터 흐름을 재구성하는 것과 같은 특정 상황에서는 정말 멋진 작업을 수행합니다.

예전에는 4D VAR이라는 방법을 사용했습니다. 시공간에서 일종의 변동 방법과 같았습니다. 4D가 여기서 나온 것이고 끔찍한 물리 기반 제약 최적화였습니다.

물리학에 의해 제약을 받는 최적화였습니다.

측정값 및 물리학과 일치하는 흐름 필드를 다시 찾기 위해 PINN에서는 이 모든 것이 인간으로부터 추상화되었습니다.

최신 머신러닝 아키텍처와 최적화를 사용하며 일반적으로 많은 경우에 효과가 좋습니다. 4D-VAR을 기억하는 분들은 유사점을 꽤 빨리 알 수 있을 것입니다.

그렇지 않은 분들은 4D-VAR을 빠르게 검색해 보면 도덕적으로 이들이 어떻게 관련되고 다른지 알 수 있을 것입니다.

좋습니다. 이제 비디오 설명에 몇 가지 링크를 넣겠습니다. 링크할 훌륭한 리소스가 있습니다.

정말 좋은 비디오가 몇 개 있습니다. 후안 투스카노의 비디오이고, 이것은 벤자민 모슬리의 YouTube 채널에 있는 비디오입니다.

이들은 모두 훌륭한 튜토리얼 비디오입니다. 후안은 실제로 코드를 통해 물리 정보 신경망을 훈련하는 방법을 알려줍니다. 이 비디오를 적극적으로 추천합니다.

Torch에서 코드를 작성하는 방법에 대한 훌륭한 튜토리얼도 온라인에 있습니다.

좋습니다. 비디오 설명에 이러한 링크를 넣겠지만, 직접 시도해 보는 것이 매우 중요합니다.

제 생각에 여기서 가장 중요한 점 중 하나는 이게 무엇에 좋고 무엇에 좋지 않은지 알고 싶다면 몇 가지 예시에 실제로 적용해 보고 학습하는 데 시간이 얼마나 걸리는지 확인해야 한다는 것입니다.

학습 속도가 빠른지, 실행하는 데 시간이 오래 걸리는지, 실행 속도가 빠른지 확인해야 합니다.

일반화되었는지, 데이터가 많이 필요한지, 적게 필요한지 등을 파악해야 합니다. 이런 것들을 가지고 놀면서 대략적으로 말하면, 아시다시피 이러한 방법들은 많은 누락된 데이터를 채우거나 매우 희소한 측정 데이터가 있는 경우 추론하는 데 유용합니다.

추론 단계를 가속화하는 데 좋습니다. 따라서 학습은 CFD 또는 유체 흐름 시뮬레이션과 같은 것에 비해 비용이 많이 들 수 있으며 실제로 이러한 고충실도 소스에서 학습 데이터가 필요하지만 학습된 모델이 있으면 추론 단계가 매우 빠를 수 있습니다.

그래서 이것이 이러한 방법을 사용하는 또 다른 좋은 방법입니다. 그리고 이러한 리소스 중에서 다시 말하지만 이 비디오는 벤자민 모슬리가 제작했으며 과학적 머신 러닝에 대한 정말 멋진 블로그가 있으니 꼭 확인해 보시고, PINN에 대한 매우 멋진 블로그 게시물과 실제로 이러한 것들을 훈련하고 직접 테스트하는 방법에 대한 코드가 있습니다.

제 생각에 이것은 제가 가장 좋아하는 것 중 하나이고, 그들은 PINN과 물리학에 기반한 손실을 추가하지 않는 고전적인 순진한 신경망 접근 방식을 대조합니다.

그리고 그들이 여기서 훈련하는 예는 기본적으로 스프링에 질량을 놓고 그 스프링을 놓거나 질량을 놓으면 스프링 질량 댐퍼 시스템의 감쇠 진동이 발생하는 매우 간단한 1차원 물리학이라고 생각합니다. 그리고 여기에는 꽤 희소한 훈련 데이터인 이 파란색 점들이 있습니다.

Physics Informed Neural Networks (PINNs) [Physics Informed Machine Learning]

Physics Informed Neural Networks (PINNs) [Physics Informed Machine Learning]

스크립트