[CIKM' 25 LOD] - Learnable Orthogonal Decomposition for Non-Regressive Prediction for PDE

LOD Github: https://github.com/voltwin-dev/LOD-ML

GitHub - voltwin-dev/LOD-ML: (CIKM '25 Oral) Learnable Orthogonal Decomposition for Non-Regressive Prediction for PDE

 

Paper: https://dl.acm.org/doi/10.1145/3746252.3761364

 

ACM Kudos: Learnable Orthogonal Decomposition for Non-Regressive Prediction for PDE – Kudos: Growing the influence of research

Learnable Orthogonal Decomposition for Non-Regressive Prediction for PDE

---

LOD 구조

이번에 Partial Differential Equation (PDE) problem을 non-regressive 관점으로 해결한 LOD paper가 CIKM' 25에 Oral presentation으로 accept 되어서 11월 초에 seoul COEX에서 발표를 하고 왔다!🤗🤗

(아니 해외학회인데 하필 이번에 한국에서!? ㅠㅠ)

---

문제정의

PDE는 오늘날 많은 physical simulation이나 sciectific computing에 필수적으로 다뤄야하는 방정식이다.

지금 생각나는 예시로, 비행기가 날아갈 때 특정한 조건에서 날개 부근에서 생기는 유체의 압력/속도 변화가 미래에 어떻게 되는지 예측하는 것이 있다.🌎🌍

 

이 문제는 풀기 위해서는 PDE problem을 풀어야하고, 즉 PDE는 spatio-temporal dataset이라고 할 수 있다.

-> (공간 및 시간축 공존)

 

기존에 여러 방법들은 PDE를 다루기 위해서 auto-regressive manner를 활용했는데, 해당 방법은

- long time일 수록, computational cost 증가

- cumulative error로 인한 예측 성능 하락

이라는 한계점들을 가지고 있었다.🧐

---

LOD Pipeline 간략 소개

Learnable Orthogonal Decomposition (LOD)는 이전의 연구들이 가지고 있는 문제점을 해결하기 위해 non-regressive manner로 PDE problem을 해결하는 것에 초점을 맞춘 구조이다.😎😎

 

POD & LOD Preprocessing

일단 기본적으로 LOD는 Proper Orthogonal Decomposition 에서 영감을 받아 만들어졌다.🤗

(POD 설명이 길기 때문에.. section 밑에 첨부한 내용은 아래의 블로그 참고)

 

POD

POD는 위에 보이는 이미지처럼, single PDE dataset을 temporal coefficients와 spatial bases로 decomposition 할 수 있다. 

POD -> LOD

우리는 여기서 POD의 아이디어에 감명을 받아, POD를 N개의 PDE dataset에 적용하여 parameter coefficients와 spatial bases로 decomposition 할 수 있으면 좋지 않을까?라고 생각했다.🤗🤗

• PDE datasets Y: 초기조건 parameter가 서로 다른 N개의 PDE samples
• Parameter Coefficients: 각각의 PDE sample에 대한 coefficients
• Spatial Bases: PDE datasets Y의 공간정보를 대표하는 bases

 

LOD preprocessing

 

따라서, 우리는 LOD Preprocessing이라는 과정을 통해, PDE datasets Y를 위와 같이 시간축 T에 대해서 POD를 적용하여 parameter coefficients와 spatial bases를 얻는다.🤗

 

LOD model structure

LOD model structure

위에 이미지는 LOD의 모델 구조이다.🤗

- 우선 LOD preprocessing에서 얻은 spatial bases를 nn.Parameter를 통해 learnable bases로 설정한다. (성능 improvement)

- 초기조건 T0만큼의 PDE 데이터를 받아서, LOD encoder를 통해 각 Batch sample에 대한 parameter coefficients를 예측한다

- 그리고 사전에 얻어진 learnable bases와 coefficients를 통해 full time-sequence T PDE를 reconstruction 한다.

(*여기서 latent projection은 auxiliary layer로, 성능 improvement에 도움을 준다)

 

즉, LOD model은 초기조건 T0에 대한 정보만 가지고 single-step으로 entire time horizon PDE sequence를 예측할 수 있는 것이다!

---

POD에 대한 자세한 설명 리뷰: https://pasus.tistory.com/98

[POD-1] 고전 적합직교분해 (classical POD)

---

LOD 모델 성능

Advection equation

Diffusion-Reaction equation

Shallow-water equation

 

 

논문에 나온 구조와 ablation study 전부 github 코드에서 활용 가능합니다!

관심있으신 분들은 github와 논문을 읽어보세요!!🌟🌟🌟

 

감사합니다!

(이전에 다른 AI conference 떨어져서.. 슬펐던 건 안 비밀..)