AI-konsulten David är pappa till ”Frank”: Så skapade vi affärsnytta med en halv miljon mejl

David Wallin ingår i Ateas växande AI-team och har mer än tjugo års erfarenhet inom data science, AI och programmering.

Han har utvecklat allt från rekommendationsmotorer, för bland annat webbshopar, till AI-modeller som listar ut vilka kunder som lönar sig mest att lägga tid på att bearbeta.

– Jag är jätteglad över att Frank-projektet har fått ett så positivt bemötande, och att vi har fått en rejäl affärsnytta, säger David och fortsätter:

Han går igenom hur Frank skapades.

Frank-projektet började inte med teknik. Även om AI i sin kärna är teknik så handlar Frank-projekt ändå inte om teknik, utan snarare om att besvara frågan:

Hur stor nytta kan skapas?

– Allt började med att några i AI-teamet diskuterade problemformuleringen ordentligt tillsammans med kundtjänst, berättar David.

Kundtjänstens utmaningar och rutiner vreds och vändes på för att utröna var AI skulle kunna göra störst skillnad, och på vilket sätt.

En tidig fråga var hur mycket tidsbesparingar som kunde förväntas med en AI-medarbetare, och vad utvecklingen kommer att kosta. Men när det gäller AI-projekt är många avgörande parametrar oftast okända i inledningsskedet, vilket gör det svårt att i starten räkna på en prislapp och kalkylera en ROI, return on investment.

– Lösningen blev att köra projektet agilt, med demos varannan vecka. Kundtjänst var med och utvärderade framstegen och där vi tillsammans gjorde vägval baserat på hur det gick – och även möjligheten att blåsa av projektet om inte tillräckligt med värde synliggjordes. I konstrast till det ville man komma i produktion som fort det bara gick för att underlätta för dispatch-teamet.

Första målet: 85 procents träffsäkerhet i kategoriseringarna

Många variabler var osäkra i början: datatillgången, hur spridd datat var, vilken kvalitet den hade, och hur stora volymer data som fanns att jobba med, rättighetsfrågor, hur mycket underhåll som skulle komma att behövas och GDPR-frågor.

– Vi behövde först utvärdera hur möjligt det var för en AI att kategorisera inkomna mejlärenden med tillräckligt hög träffsäkerhet.

”Tillräckligt” bestämdes till minst 85 procents korrekta kategoriseringar. Fler fel skulle leda till att vi i stort sett bara förskjuter problemet till en annan grupp medarbetare. Men vid 85 procent skulle man våga produktsätta, och sedan ta nästa steg.

Så tränades Frank att kategorisera mejlärenden

Frank är uppbyggd kring en NLP-modell (natural language processing) som ger förmågan att "förstå" text.

– Modellen har tränats med hjälp av data från flera års inkommande ärenden. Den har fått tillgång till både innehållet i mejlen, alltså ostrukturerad text, och de kategorier som kundtjänst har gett respektive mejl.

– Genom dimensionsreduktion så kan man koncentrera syntaktisk och semantisk information som finns i ärenden. Ord som förekommer tillsammans i liknande kontexter hamnar närmare varandra. Det här kan man utnyttja för kategorisering av ärenden.

Mer exakt hur det fungerar ligger utanför skopet av den här texten. Men genom att se orden, och deras sammanhang, i ett mejl kan Frank förstå var det hör hemma. Hans bedömningsförmåga testades på 100 000 mejl som han tidigare aldrig hade sett – även det mejl från förr – och till Davids och kundtjänstens stora glädje kom träffsäkerheten upp till 85 procent redan i ett tidigt skede, och har sedan dess klättrat till över 90. Att jobba för mer pricksäkerhet är inte värt besväret, inte just nu i alla fall.

– Det finns andra saker som för tillfället ger bättre avkastning på investerad tid. Vi kan nog återkomma till att finslipa modellen senare.

Olönsamt att prioritera 100 procents träffsäkerhet

– Det finns ett uttryck jag gillar. ”Perfect is the enemy of the good”. När man skapar en sådan här modell kliar det i fingrarna på en utvecklare som mig att få ägna ännu mer tid åt modellen och göra den perfekt, men man måste prioritera för att få bäst och snabbast nytta.

I Frank-projektet var det att säga ”good enough for now” när det gällde kategoriseringen, och påbörja automatiseringar som öppnats upp tack vare kategoriseringsmodellen, bland annat för orderärenden, returer och reklamationer. Det har skapat betydligt mer värde än att prioritera att höja träffsäkerheten i kategoriseringen.

– Man ska inte bli förblindad av att göra en perfekt modell, när du har en som är good enough: produktsätt, och påbörja därefter vad som ger bäst effekt/avkastning efter det. Kanske blir det att göra en bättre modell, kanske något annat.

Vad blir er ”Frank”?

Vad kan AI-robotar av Franks typ göra förutom att effektivisera kundtjänster? Vad kan tekniken göra för nytta?

Så här svarar David:

– Det uppenbara är förstås alla sammanhang där man får in väldigt mycket mejl som behöver sorteras. Om man tänker lite vidare så kan man tänka sig en AI-medarbetare som läser igenom långa interna eller externa texter och skapar executive summaries av innehållet, eller en som i realtid analyserar hur det pratas om ert varumärke eller en viss produkt i sociala medier.