Evaluating Pretrained Time Series Foundation Models for Smart City Sensor Forecasting

Problem

Vortrainierte Foundation Models versprechen Prognosen ohne aufgabenspezifisches Training. Echte Sensordaten einer Stadt haben Lücken, Ausfälle und kurze Historien. Ich prüfe, ob die Modelle dort bestehen und ob sie auf denselben Daten trainierte Modelle schlagen.

Vorgehen

• Sechs vortrainierte Modelle gegen statistische, Boosting- und Deep-Learning-Baselines, Zero-Shot und feinabgestimmt.
• Quantilsprognosen, bewertet mit Quantile Loss und Abdeckung des 80-%-Intervalls.
• Stresstests mit Lücken und Ausfällen: über 1.000 rollierende Prognosen pro Modell.
• Diebold-Mariano-Tests mit Holm-Korrektur, Protokoll vor dem bestätigenden Test eingefroren.

Ergebnisse

Vorläufige Pilotergebnisse; die Arbeit ist in Bearbeitung, die Werte können sich noch ändern.

• Alle sechs schlagen die saisonale Naiv-Referenz: 30 von 30 Tests.
• Chronos-2: 24-h-Fehler um 29 % gesenkt. Beste trainierte Baseline: 18 %.
• Abdeckung der 80-%-Intervalle: 0,70–0,74 vor der Rekalibrierung, 0,80 danach.
• FastAPI-Dienst: Prognose und 80-%-Band in 0,5–1,7 s.