Archive for the Category forecasting

 
 

How to cope with a fad

Logistics guru Eric J. Joiner, Jr. posed an interesting question in LinkedIn:

Crocs are declining in popularity. If you were their head of Supply Chain what would you be doing now?

The question is interesting because the product was very likely a fad, with high early approval and equal backlash (a Facebook group titled “I Dont care How Comfortable Crocs Are, You Look Like A Dumbass.” has 930,000 members). Did Crocs managers evaluate all scenarios: e.g. fad vs stable demand? Their decisions point to them being optimistic:

Crocs made the decision to exit a 3PL distribution relationship and open their own “owned and operated” distribution center (this is well documents in their 10K reports). They “sunk” capital into a distribution facility in the Denver area. Now that volume is down, there has to be big unused capacity in that facility. That facility has ongoing fixed expenses that have to be paid, and are now a millstone around Crocs’ neck. Oh, and I don’t think that there is a lot of demand for a distribution facility in Denver.
Oops!

Let the data work it out itself

Chris Anderson’s article in Wired is about the notion that vast amounts of data (in the order of Petabytes) will render models superfluous. The rationale is that in very complex systems for which vast data can easily be collected, it is more efficient to let the data make the model rather than devising it ourselves; or in the words of Google’s research director Peter Norvig: “All models are wrong, and increasingly you can succeed without them.”

Anderson believes we have overcome a critical point were the computing/storage power we have is enough to do this:

At the petabyte scale, information is not a matter of simple three- and four-dimensional taxonomy and order but of dimensionally agnostic statistics. It calls for an entirely different approach, one that requires us to lose the tether of data as something that can be visualized in its totality. It forces us to view data mathematically first and establish a context for it later. For instance, Google conquered the advertising world with nothing more than applied mathematics. It didn’t pretend to know anything about the culture and conventions of advertising — it just assumed that better data, with better analytical tools, would win the day. And Google was right.

The problem is that when the model’s causality is unknown (since we didn’t design it in the first place; the data did), we can never be sure when it will misfire: the black swan problem. While such models may work in domains like marketing, biology etc., where the cost of mistakes is low, it cannot be trusted in mission critical functions (see quant funds and subprime crisis).

Εκτίμηση (πολύ) σπάνιων φαινομένων

Στον Guardian υπάρχει ένα ενδιαφέρον άρθρο σχετικά με τις λανθασμένες εκτιμήσεις που τείνουμε να κάνουμε σε σπάνια φαινόμενα (via Flowing Data) :

The single most pernicious threat to liberty today is humanity’s natural tendency to misunderstand the statistics of rare events. We’re just not wired to have good intuition about things that happen with extreme infrequency.
Το γεγονός αυτό είχε τονιστεί και από τον Nassib Taleb (Fooled by Randomness, The Black Swan), ο οποίος είχε δείξει την επίδραση που έχουν τέτοια σφάλματα στη συμπεριφορά των αγορών. Τέτοια σφάλματα οδηγούν σε πλήθος υποβέλτιστων επιλογών: μεγάλα αποθέματα στα εργοστάσια (επειδή κάποτε είχαμε ξεμείνει από α’ ύλη), χείριστες τακτικές στο πόκερ (επειδή μια φορά είχα κάνει φλος με δύο φύλλα στο χέρι) κλπ.

Chips

Το ενδιαφέρον στο άρθρο είναι ότι συνδέει την εσφαλμένη αυτή λογική με τις διάφορες στερήσεις ελευθερίας στο όνομα της τρομοκρατίας, ειδικά όταν τα εργαλεία μας δεν είναι αρκετά ακριβή:

Our innumeracy means that our fight against these super-rarities is likewise ineffective. Statisticians speak of something called the Paradox of the False Positive. Here’s how that works: imagine that you’ve got a disease that strikes one in a million people, and a test for the disease that’s 99% accurate. You administer the test to a million people, and it will be positive for around 10,000 of them – because for every hundred people, it will be wrong once (that’s what 99% accurate means). Yet, statistically, we know that there’s only one infected person in the entire sample. That means that your “99% accurate” test is wrong 9,999 times out of 10,000! Terrorism is a lot less common than one in a million and automated “tests” for terrorism – data-mined conclusions drawn from transactions, Oyster cards, bank transfers, travel schedules, etc – are a lot less accurate than 99%. That means practically every person who is branded a terrorist by our data-mining efforts is innocent.

Forecasting disaster

Προσπαθώντας και ο ίδιος να εξορθολογίσω ένα σύστημα προγραμματισμού παραγωγής, ξέρω  ότι έχω να κάνω με δύο ειδών αβεβαιότητες: αβεβαιότητες από “κάτω” (παραγωγή) και από “πάνω” (πωλήσεις). Και αν για τις πρώτες μπορώ να κάνω κάτι καθότι είναι ενδοσυστημικές για τις δεύτερες δε μπορώ να κάνω τίποτα: είμαι στο έλεος των προβλέψεων (forecasts):

Πέρα από τον κίνδυνο των σημειακών φαινομένων (οι “μαύροι κύκνοι” του Taleb), εδώ έχουμε ένα φαινόμενο όπου οι προβλέψεις πέφτουν έξω σε καθημερινή βάση. Από τη στιγμή που τα νούμερα είναι εκτός και μπορούν να οδηγήσουν σε καταστροφές όπως αυτή της Nike, μήπως πρέπει να βάλουμε τους ανθρώπους μέσα στη διαδικασία (crowdsourcing);

Πλάτωνας στο Εργοστάσιο?

Μπαίνοντας σε ένα νέο σύστημα παραγωγής, ο μηχανικός βρίσκεται απέναντι σε ένα θεμελιώδες δίλημμα: τι από όλα αυτά τα παράδοξα που βλέπω έχουν ένα λόγο ύπαρξης άγνωστο σε μένα αλλά λογικό, και ποια είναι απλά ιστορικά κατάλοιπα που χρίζουν άμεσης βελτίωσης; Από τη μια έχουμε την πλατωνική και απόλυτη λύση σε μια αφαίρεση του προβλήματος, και από την άλλη τη “βρώμικη” πραγματικότητα. Η πρώτη προσέγγιση δίνει μια κομψή λύση στο λάθος πρόβλημα, ενώ η άλλη δίνει μια μέτρια λύση στο σωστό. Είναι προφανές ότι η ακαδημαϊκή κοινότητα προτιμά τον πρώτο δρόμο, καθώς κρίνεσαι από την εξυπνάδα, ενώ η πράξη ενδιαφέρεται για κάτι που θα βελτιώσει την υπάρχουσα κατάσταση, τώρα (έστω κι αν αυτή η λύση στο μέλλον αποδειχθεί ανεπαρκής). Η απάντηση που δίνει η Εργονομία στο πως προσεγγίζουμε μια τέτοια κατάσταση είναι ότι πρέπει πρώτα να μελετηθεί το σύστημα εργασίας και να βρεθούν οι “σταθερές” του (invariances – Rasmussen et al, 1994; Vicente, 1999). Οι σταθερές αυτές έχουν να κάνουν τόσο με τη συνάρτηση μετατροπής του εργοστασίου (πχ κάρβουνο->ενέργεια, χημικά->καλλυντικά), όσο και με πράγματα τα οποία είναι έξω από το παράθυρο χρόνου μας. Ήδη αρχίζουν τα προβλήματα, καθώς το παράθυρο χρόνου όταν δεν είσαι πια ερευνητής ή εξωτερικός σύμβουλος είναι αν μη τι άλλο ασαφές, και σίγουρα πολύ περιορισμένο. Τι πρέπει να κάνει λοιπόν ο μηχανικός μπροστά σε μια τέτοια κατάσταση; Προσωπικά προσπαθώ να κρατήσω κάποιες από τις αρχές όσον αφορά τη διεισδυτικότητα της ανάλυσης από το παρελθόν μου, αλλά ταυτόχρονα ύπάρχει και μια πιο πραγματιστική χροιά στα αποτελέσματα. Το που θα ισορρπήσω θα σας το γράψω σύντομα!

References

Rasmussen, J., Pejtersen, J. A., & Goodstein, L. P. (1994). Cognitive Systems Engineering. New York: John Wiley & Sons. Vicente, K. J. (1999). Cognitive Work Analysis: Toward safe, productive, and healthy computer based work. Mahwah, NJ: Erlbaum.

Tags: , , , , , , ,