Exakta beslutsstöd vs känslighet

En fundering som ofta dyker upp när man pratar beslutsstöd för stridsflyg är huruvida ett mer exakt beslutsstöd är bättre eller inte. Det kan tyckas vara en konstig fundering men den har sina meriter. Bakgrunden till funderingen lyder ungefär så här:

Om vi har ett mer exakt beslutsstöd, så att piloterna lär sig att flyga närmare fienden med samma risknivå (p.g.a. de fördelar detta har), betyder inte det att om vi har fel förutsättningar, t.ex. om vi underskattat hur fort fiendens robotar och flygplan flyger, att vi riskerar att “förlora varje gång”?

Intuitivt kan det kännas så. Tyvärr så har man sällan möjlighet att gå inte på detaljerna för att förklara detta så jag tänkte försöka bena ut detta här för framtida referens.

För att kunna genomlysa problemet förenklar vi det till ett hypotetiskt system som är enklare att förstå men fortfarande har samma mekanismer. Låt oss anta följande:

  1. Vi avser att flyga mot en vägg och vända precis innan. Krock med väggen innebär ond bråd död (röd) och att vända innan väggen innebär överlevad (grön).
  2. Var väggen finns är definierat rent statistiskt, men man vet aldrig var väggen faktiskt är vid varje anflygning.
  3. Vi kan inte se väggen utan gör bara som vårt beslutsstöd säger. När det visar ett visst avstånd (mer om detta senare) så vänder vi, oändligt snabbt.
  4. Målsättningen är att vända utan att dö, men så nära som möjligt, där närmare här är definierat som bättre. Cost/benefit mellan att dö och vara nära väggen är ospecificerat men det antas finnas en vettig sådan avvägning.
  5. Vi har två olika beslutsstöd, bs1 och bs2. Båda har samma kunskap om väggens statistiska läge, men bs1 har ett slumpmässigare sätt (större spridning) att berätta detta för oss. bs2 kan instället förmedla nästan exakt var väggen statistiskt sätt är. Ett sätt att tänka sig detta är att avståndet från bs1 har ett brus enligt en normalfördelning som har större standardavvikelse än bs2.
  6. Övriga förhållanden är idealiserade.

Vi har alltså två osäkerheter, väggens faktiska position samt osäkerheten i förmedlingen av denna, där det senare är mycket större för bs1 än för bs2.

Man kan tycka att det alltid borde vara fördelaktigt med ett beslutsstöd med mindre osäkerhet, men det är precis detta som ifrågasätts i frågeställningen.

I bilder blir ovan utställda premisser följande. Vänder vi innan väggen blir det en grön prick där vändningen sker. Vänder vi efter väggen blir det en röd punkt. Den röda punkten är placerad på den tänkta vändpunkten för att tydliggöra detta rent statistiskt, även om man så klart skulle fastna i väggen.

De streckade grå linjerna är två standardavvikelser (1m) och visar således osäkerheten på var väggen finns. D.v.s. runt 95 % av simuleringarna hamnar väggen inom 1m från centerpositionen. Notera att denna osäkerhet också finns för beslutsstöden, som inte vet var väggen faktiskt finns vid varje simulering.

Slicefig1.png

Sedan har vi de båda beslutsstöden. Beslutsstöd bs1 har stor osäkerhet i rapporteringen av positionen där 2𝜎 (standardavvikelser) är 10m.

Slice Copyfig2.png

Beslutsstöd bs2 har en betydligt mindre osäkerhet i rapporteringen och 2𝜎 är 0.1m.

Slice Copy 2fig3.png

Vi antar att de båda osäkerheter är av varandra oberoende vilket gör att man kan slå ihop dem enligt: 𝜎tot = √ (𝜎vägg2+𝜎bs2). Den större osäkerheten får ett betydligt större inflytande och de totala standardavvikelserna (𝜎tot) blir 10.05 för bs1 och 1.005 för bs2. Piloten, som flyger mot väggen, upplever den totala osäkerheten 𝜎tot.

Om vi nu gör ett antal simuleringar enligt premisserna ovan så kommer båda beslutsstöden att fungera lika bra i antal som vänder innan väggen, det blir bra större varians (spridning) i utfallen för bs1 kontra bs2. Det kommer att se ut som följer:

Slice Copy 3fig4.png

Som synes så verkar ett mer exakt beslutsstöd inte vara bättre än ett inexakt när det gäller överlevnadschans. Detta gäller dock om man avser vända precis på medelpunkten, med 50 % sannolikhet att överleva. Självklart så vänder man lite innan denna gräns och överlever betydligt oftare, men vi kommer till det.

Det är här själva frågeställningen kommer in. Vad händer vid ett praktiskt fall när statistik blir verklighet och beslutsstödet ska användas och väggens position inte längre är en hypotetisk fördelning utan kollapsar till en viss position? Frågeställningen gör också gällande att denna faktiska position är sämre (i vårt fall närmare) än centrum på fördelningen. Vi flyttar således den blå väggen 1m (2𝜎vägg) närmare.

Slice Copy 4fig5.png

Som vi ser så verkar ett beslutsstöd med mer spridning bättre vid ett sånt praktiskt fall! Det är nog ofta denna sinnebild frågeställaren har. Men är det riktigt sant?

Det vi gjort är ett antagande att verkligheten skulle vara sämre. Men inte bara det, man har också förutsatt att man vänder på medel av fördelningen. När det gäller det första antagandet så är det symmetriskt, om man istället väljer att verkligheten är bättre, så blir resultatet:

Slice Copy 5fig6.png

Som synes så blir det då lika mycket bättre som det blev sämre i det förra antagandet. Det man kan säga om detta är att ett mer exakt beslutsstöd har högre utväxling på väggens faktiska position. Detta är inget konstigt utan helt korrekt. Utväxling är dock varken bättre eller sämre.

Sedan har vi det andra antagandet, att man vänder på centrum av fördelningen. Detta skulle i de flesta praktiska fall förmodligen vara en ineffektiv strategi, såvida inte död har en låg kostnad. Istället så vänder man antingen på ett visst avstånd i meter eller en viss sannolikhet från väggen, eller kanske bättre en kombination av båda. Vilket man väljer beror på kostnad att dö kontra vinsten att vända nära väggen, vilket är trivialt att räkna fram en kostnadsfunktion för.

Om vi väljer att vända 1 meter från väggen så kommer resultatet att bli precis som i figuren i paragrafen innan, med en stor fördel för det mer exakta bs2. Vänder man istället på 2𝜎 från väggen (d.v.s. 95 % sannolikhet att överleva) så blir resultatet:

Slice Copy 6fig7.png

Antal överlevanden blir här samma för de båda beslutsstöden, men medelvändavståndet blir en tiondel för det mer exakta bs2, vilket är en fördel.

Detta är dock inte hela bilden när det gäller det praktiska i dessa typer av system. Ovan har vi antagit att det inte finns någon återkoppling (feedback) i systemet. Alla system av denna typ kan dra stor nytta av återkoppling, även i dess enklaste form.

Ponera att vi i enkelhetens namn ökade avståndet vi vänder på med några decimeter eller delar av en standardavvikelse för varje gång någon dog. Då skulle vi ganska snart, redan efter några simuleringar, bli oberoende av den faktiska placeringen på väggen och resultaten för om vi väljer en bättre eller sämre faktisk placering av väggen skulle konvergera mot den mer statistiska fördelningen man är ute efter.

Ett system som är mer exakt, alltså med mindre spridning, tar här kortare tid att svänga in på en avsedd avvägning mellan risk och effekt.

Det finns dessutom ytterligare en fördel med ett mer exakt beslutsstöd, man får högre utväxling på sin förmåga att bedöma var fienden placerat väggen. Har man stor spridning så får man små fördelar på att veta väggens position några decimetrar bättre. Om man t.ex. vet exakt var väggen står, och har ett väldigt exakt beslutsstöd, så blir det vinst varje gång enbart genom att vända någon centimeter innan.

Avslutningsvis kan alltså sägas att ett mer exakt beslutsstöd är bättre än ett mindre exakt, såvida man inte cherry-pickar just vissa förutsättningar i kombination med extremt hög risk och ingen återmatning i systemet.

Vänligen,
Mikael Grev