✨ Může umělá inteligence pomoci s prognózováním inflace? 📊 ČNB testuje možnosti! ⬇️ Autoři blogu Tomáš Adam, Aleš Michl a Josef Švéda zkoumají: 🔹 Využití velkých jazykových modelů (LLM) pro střednědobou predikci inflace. 🔹 Kategorizaci rozsáhlých dat získaných z internetu pomocí metody embeddings, která může zpřesnit odhad současné inflace (nowcast). „Každému modelu jsme pro každé čtvrtletí od 1Q2019 do 3Q2024 zadali následující otázku,“ píší autoři: 'Předpokládej, že jsi v čase 𝝉 a nejsou ti poskytnuty žádné další pozdější informace. Uveď, prosím, svou vlastní nejlepší prognózu meziroční sezónně neočištěné inflace CPI v ČR na příští rok. Uveď, prosím, číselné hodnoty pro tyto prognózy. K formulaci těchto prognóz nepoužívej žádné informace, které jsi neměl k dispozici ke dni 𝝉.' ℹ️ Proměnná 𝝉 představuje jednotlivá čtvrtletí v období od 1Q2019 do 3Q2024. Čtěte na webu ČNB 🔗 Odkaz v komentářích ⤵️
🔗 čnBlog – První využití AI při prognózování inflace v ČNB: https://www.cnb.cz/cs/o_cnb/cnblog/Prvni-vyuziti-AI-pri-prognozovani-inflace-v-CNB/
🔎 Na celém období dosáhl nejvyšší přesnosti model OpenAI o1 (RMSE = 5,28). Předčil model ČNB (RMSE = 5,48). Zatímco OpenAI o1 se ukázal jako lepší při prognózování inflace během jejího růstu, hlavní model ČNB vykazoval vyšší přesnost v období návratu inflace zpět k 2% cíli ČNB. V období stabilní inflace byl nejpřesnější model Grok 2.
Opravdu se v ČNB nenašel nikdo, komu by tahle "metodologie" přišla bizarní?
Vzkazuje o3-mini: Metoda má svá rizika. Jazykové modely jsou totiž trénovány na datech, která mohou obsahovat informace i po čase 𝝉. I když explicitně požádáte, aby model používal jen data do 𝝉, nelze stoprocentně zabránit tzv. „data leakage“ – přístupu k pozdějším informacím. Výsledkem může být, že model při své odpovědi podvádí, protože využívá data, která nebyla k dispozici v reálném čase, což zkresluje hodnocení jeho predikční schopnosti. Aby test odpovídal reálným podmínkám, je nutné zajistit, že model nemá přístup k informacím po čase 𝝉, například technickým omezením nebo jasně definovanými pravidly. Bez těchto opatření nemusí být výsledky testu spolehlivé.
Článek zmiňuje, že byly predikce uskutečněny 12M dopředu, ale ChatGPT o1 byl, pokud vím, publikován na podzim minulého roku a cutoff date má podzim 2023. Jak tomu mám rozumět? (Přiznávám, že jsem jej četl jen v rychlosti cestou vlakem.)