J'ai regroupé ici les fichiers de ma présentation et du workshop à l'insee, les 26, 27 et 28.10.09:
Les buts que je me suis proposés pour ces présentations sont à la fois ambitieux et modestes:
- L'ambition d'abord:
- Une incitation à prendre conscience que le problème d'estimation de cycle, de tendance, de correction saisonnière en temps réel ne peut pas être résolu efficacement par le biais d'une approche model-based classique (X-12, TRAMO, STAMP,...)
- Maximum likelihood, minimum mean-square one-step ahead forecasting criterion
- Suggérer que les besoins et les attentes classiques des utilisateurs -petites révisions, détection anticipée des points de retournement, fiabilité- ne sont pas retenus par les critères d'optimisation classiques
- Maximum de vraisemblance: minimiser l'erreur de prévision à l'horizon un n'a rien à voir -mais alors rien du tout- avec le désir d'anticiper les `turning-points'. Rien du tout...
- Révéler que des solutions intéressantes (au point de vue rapidité de détection de turning points) peuvent être profondément contre-intuitives (Arma(2,2)_MBA.xls)
- Inciter les utilisateurs à personnaliser/confectionner les filtres, plutôt que les modèles.
- De nombreuses présentations durant le workshop témoignaient des déboirs d'utilisateurs frustrés par la mauvaise qualité des estimations en temps réel durant la période 2008-2009.
- Il ne sert à rien -j'insiste : il ne sert à rien du tout- de modifier les paramètres du modèle. Il faudrait au contraire adapter les paramètres du filtre...
- La `modestie' pour conclure:
- Je n'ai pas eu le temps de démontrer aucun des critères théoriques.
- Je n'ai pas eu le temps de discuter le design des critères d'optimisation genéralisés (personnalisés) à même de produire des filtres à géométrie variable c-d-à propriétés désirables/enviables.
Je vois mes activités de consultant de la façon d'un tailleur qui ferait de la confection sur-mesure pour ses clients:
- Voulez vous un filtre (toujours et uniquement en temps réel, s'entend) qui minimise les révisions?
- Un filtre rapide?
- Un filtre fiable?
- Fiable et rapide peut-être? Plus fiable que rapide,...
- Tout cela selon le `goût' et les mesures particuliers de l'utilisateur.
Dans mes présentations, j'ai essayé de montrer que le costume classique -approche model-based- est trop rigide et donc à un certain degré `vulgaire' et `démodé'. Je n'ai cependant pas eu le temps d'évoquer la confection sur-mesure.
La prochaine fois, Dominique...
En guise de rappel j'adjoins un bref résumé au sujet du contenu des fichiers excel, que j'emprunte à la précédente entrée:
How to Play with the Excel-files?
Let's take the simplest exercise, Excel-file AR(1), which is an AR(1) real-time filter applied to my simulated process:
- You should see four worksheets when clicking on the above link:
- examples
- time series
- filter characteristics
- filtered time series
- The simple artificial process that I'm using -for didactical purposes only- is generated in the second worksheet `time series'.
- It is a cosine with white noise.
- You could change the frequency of the cycle and the signal to noise ratio below the fields marked in yellow.
- The periodogram is showing the simple line + noise frequency spectrum.
- The crucial filter characteristics -amplitude and time-shift- can be seen in the 3.worksheet (filter characteristics).
- You could change the parameters of the AR(1)-filter as you like (fields in yellow)
- pole
- normalization
- argument
- Changes in amplitude and time-shift (phase divided by frequency) can be seen immediately.
- Everything is calculated in the spread-sheet so that you may verify results straightforwardly.
- The peak-correlation graph refers to the 4.fourth worksheet and looks for the lead/lag at which correlation of real-time estimate and signal (cycle) is maximal.
- One can straightforwardly verify two fundamental aspects
- The time-shift function has indeed the interpretation of a delay of the real-time filter (it coincides with the peak correlation concept).
- We talk about speed of detection.
- The amplitude function can be related to the amount of noise that contaminates the real-time estimate.
- We talk about reliability of real-estimates.
- A sample example is proposed in the work-sheet called accordingly:
- The cells correspond exactly to those in the worksheet `filter characteristics'
- You may put the sample example into work by marking the cells in the worksheet `example' and by copying them to the worksheet `filter characteristics'.
- The application of the one-sided filter to the data is described in the last worksheet (filtered time series).
AR(1), AR(2), ARMA(2,2)-ZPC, Model-Based Real-Time Designs
Besides AR(1) I implemented also more `practically relevant' (in the context of my artificial example) designs:
- AR(2)
- ARMA(2,2)-ZPC
- Model-based : ARMA(2,2) one-step ahead forecasting model
- I added this one on Oct 28: ARMA(4,4)_cycle and deseasonalization.
- The time series consist of a (deterministic) cycle, noise and a seasonal component (you could change frequency, height of spectral peak and width of spectral peak of the seasonal).
- The real-time filter is a serial linkage of an ARMA(2,2)-ZPC cycle-filter (as in the examples above) and an ARMA(2,2)-ZPC deseasonalizing filter.
- The deseasonalizing parameters include control of: frequency, heigth of spectral peak (deepness of filter-trough) and width of peak (trough).
- The examples in the corresponding worksheet propose pure cycle, pure deseasonalizing as well as combinations of both filters.
- Unlike the ubiquous 1-B^s deseasonalization filter (yearly-growth for data with fundamental seasonal of length s) the proposed design is able to account for specific location(s), height(s) and width(s) of the seasonal spectral peak (see my open-source book chaps. 3 and 4).
The elaboration is similar to the AR(1)-example:
- Four spread-sheets
- Fields marked in yellow correspond to parameters
- You can put sample-examples into work by marking cells and copying them to the worksheet named `filter characteristics'
- Please try to tailor the filter to your needs by modifying parameters and by observing:
- Filtered time series
- Amplitude function
- Time-shift function
- Peak-correlation