vrijdag 4 februari 2011

De Flash Crash van 6 mei 2010, om 14:42:44 uur en 75 milliseconden

Weer eens een aardig programma van VPRO's Tegenlicht: Money and Speed: Inside the Black Box. De documentaire reconstrueert de flashcrash die plaatsvond op de Amerikaanse financiële markten op donderdagmiddag 6 mei 2010. Om 14.42.44 uur en 75 milliseconden stortten de Amerikaanse financiële markten, om niet direct aanwijsbare redenen en met ongekende snelheid in, om vervolgens na 20 minuten tot het oude niveau terug te keren. 

Get Microsoft Silverlight Of bekijk de flash versie.

Waar gaat het over?
Er wordt een mondiaal financieel systeem beschreven dat van een netwerk van gereguleerde handelsvloeren tot een netwerk van zwarte dozen geworden is. Een netwerk dat niet transparant is en waarin nu gehandeld wordt met de snelheid van het licht. Een netwerk dat tot een door machines aangestuurd organisme verworden is met niemand aan het roer. Tijd is de allesbepalende factor voor winst en verlies op de beurs geworden. Ik noem een paar opvallende zaken uit de documentaire:

Snelheid van het licht
Omdat de handel zo snel gaat - en in enorme volumen - is de afstand tot de verwerkende computer van belang geworden. Er zijn bijvoorbeeld Wall Street-regels om de fysieke afstand tot de digitale backbone van iedere grote trader gelijk te trekken: de kabel tussen de backbone en de verwerkende computer moet precies 300 voet lang zijn. De snelheid van het licht is een beperkende factor geworden.

Domme systemen
Na de beurskrach van eind jaren tachtig is er een rem op rücksichtlos kopende en verkopende computergestuurde beurssystemen gezet. Ondertussen is de handel zo veel verder ontwikkeld dat er wederom een achterstand is in reactievermogen bij een deel van de systemen. De meest moderne systemen stoppen met handelen als bepaalde volumewaarden, koerswaarden en transactiesnelheden (of combinaties daarvan) overschreden worden. Maar niet alle systemen zijn zo ver, waardoor deze systemen blijven doorhandelen, ook al is de koers maar een tiende van een cent en er absurde hoeveelheden worden verhandeld.

Data-analyse
De enorme hoeveelheden data en de snelheid waarmee de transacties afgesloten en afgehandeld worden, betekenen dat onderzoek naar de oorzaak en het verloop van de crash in stukjes van milliseconden opgeknipt moeten worden. Iets waar de toezichthouder (die achteraf onderzoek deed) geen rekening mee hield. De SEC deed onderzoeken naar blokken van een minuut, met als gevolg dat ze het vreemde verloop van de fluctuaties in de koersen niet boven tafel kregen. Een particuliere handelaar deed het wel op microniveau en met alle beschikbare data (ook uit de systemen van de traders zelf) en kwam met veel betere resultaten tevoorschijn.

Dit laatste vind ik vakmatig het meest interessant. Het betekent dat alle geproduceerde data van belang is voor een beter begrip van het mechanisme. Het zou ook kunnen betekenen dat deze data voor een relatief lange periode bewaard moet blijven om nog veel grotere (wellicht herhalende) patronen te ontdekken. En dat betekent weer wat voor selectie, vernietiging en langdurig beheer van digitale meta-data.

May you live in interesting times.


AANVULLING 14-09-2011:
Een interessant ander voorbeeld van op hol geslagen algoritmen verscheen vandaag op het blog van Alexander Klöpping, waarin hij beschrijft hoe door twee automatisch tegen elkaar op biedende boekverkopers de prijs van een exemplaar van The Making of a Fly opliep naar $23.698.655,93

En Klöpping verwijst naar een TED-talk waar het allemaal heel beeldend in wordt uitgelegd (ong. 15 minuten).

 


AANVULLING 08-03-2012:
Ingmar wees me op een column van Joris Luyendijk in de NRCNext: De Machine.
Hij vertelt daarin over een gesprek met een programmeur bij een beleggingsmaatschappij over High Frequency Trading (HFT). Dat komt overeen met bovenstaande verhalen.

Nieuw voor mij was het wij weten dat zij weten dat wij weten dat zij weten- spelletje. HFT spelers analyseren de bewegingen van de markt en spelen daarop in met ultra-korte koop-en-verkoopcycli. Omdat zoiets met grote volumes gaat, beïnvloeden ze de markt. Dat weten andere HFT-spelers ook, dus die houden daar in hun analyses rekening mee. En daar houden andere HFT-ers ook weer rekening mee en zo voort.

Geen opmerkingen: