Når AI begynner å handle

Adressen er feil. Det oppdager kunden først etter at bestillingen er betalt. Hun skriver til butikken: «Jeg har flyttet. Kan dere sende pakken til den nye adressen?»

«Det ordner vi», kommer det tilbake.

På bestillingen står fortsatt den gamle adressen. Språkmodellen har beregnet og skrevet et svar, men har ikke slått opp ordren. Til det trenger systemet en forbindelse til lageret.

For å komme videre kan butikken gi systemet en funksjon som henter opplysninger fra lageret. Kundens bestilling er allerede knyttet til samtalen, og modellen får en beskrivelse av hva funksjonen gjør og hvilke opplysninger den trenger. Når modellen ber om et oppslag, må den oppgi ordrenummeret i en bestemt form. Denne forespørselen kalles et verktøykall. Programmet rundt modellen tar imot kallet, kontrollerer det og slår opp ordren. Først når resultatet kommer tilbake i samtalen, har modellen opplysninger om hvordan det står til med pakken.

På bestillingen står det «pakket».

Pakken venter ikke

Med dette som grunnlag ber systemet om å endre adressen. Men mens det har arbeidet med kundens melding, er pakken hentet. På lageret står det nå «sendt». Oppslaget modellen fikk, var riktig da det ble gjort; pakken var pakket og ventet på å bli hentet. Likevel er opplysningen ubrukelig som grunnlag for endringen. Lageret avslår og returnerer den nye statusen.

Adressen blir stående.

Nå må avslaget inn i samtalen før modellen går videre. Da er «sendt» en del av grunnlaget neste gang den beregner et svar, og den kan undersøke hva som fortsatt lar seg gjøre. Uten den nye beskjeden kunne den ha fortsatt som om adresseendringen hadde lykkes. Et system som handler, trenger stadig å få vite hva forsøkene førte til. Ellers kan avstanden til det som faktisk skjer på lageret, vokse for hvert steg.

Modellen ber om sporingsopplysningene, og programmet gjør et oppslag hos transportøren. Tilbake kommer et sporingsnummer og beskjed om at denne forbindelsen ikke kan brukes til å endre adressen etter utsending. Dermed er det automatiske forsøket over. Butikken har gitt systemet en siste funksjon: å sende saken videre til en medarbeider. Med følger oppslaget, forsøket på adresseendring og avslaget. Systemet har funnet ut mer om pakken, forsøkt å gripe inn og gitt arbeidet videre. Leveringsadressen er den samme.

Hvor langt systemet kan gå på egen hånd, har butikken bestemt på forhånd. Den kunne nøyd seg med å la det lese ordren og skrive et forslag som en medarbeider måtte utføre. Hos kundestøtten som tok i bruk AI bestemte medarbeideren hvilke forslag kunden fikk se. Butikken har også gitt systemet adgang til å be om adresseendring. Den samme språkmodellen får dermed ulike muligheter alt etter hvilke programmer og tilganger den får bruke.

Modellen må dessuten ha et grunnlag for å velge mellom funksjonene. Eksempler i instruksjonene kan vise hvordan de brukes, og verktøybruk kan inngå i treningen. Da tilpasses modellen til å velge funksjoner og bruke resultatene når den skriver videre. At den har lært dette, gir den likevel ingen adgang til å gjøre mer enn butikken og transportøren har åpnet for.

Hva som teller som ferdig

Kunden vil ha pakken til riktig adresse. Før den er levert, kan butikken kontrollere om en gyldig adresseendring ble registrert i tide. Det er et nyttig holdepunkt på veien, men kunden venter fortsatt på resultatet. Skal et handlende system vurderes, må vi derfor vite hvilket resultat vurderingen gjelder. I WebArena, et testmiljø fra 2023–2024, skulle et system blant annet finne kunstmuseer i Pittsburgh, planlegge en rute og skrive den inn i en bestemt prosjektfil. Evalueringen kontrollerte innholdet i filen. Å beskrive en fin rute i svaret hjalp ikke dersom den aldri ble skrevet dit.

I butikken må testen også gi lageret anledning til å fortsette arbeidet. Den må omfatte bestillinger som fortsatt kan endres, og pakker som blir sendt mens systemet holder på. At en adresseendring lykkes når alt står stille, sier lite om systemet oppdager at forutsetningen er borte neste gang. Og når det feiler, må vi vite hvor: Et galt ordrenummer krever en annen retting enn en gammel lagerstatus. Mangler forbindelsen som kunne endret adressen hos transportøren, må butikken finne en annen arbeidsmåte. Det hjelper ikke på akkurat den mangelen å få en bedre språkmodell.

Medarbeideren kan også få en annen bunke saker dersom systemet tar de enkle adresseendringene. Kunden i dette tilfellet har nå en pakke på vei til feil adresse, og hun har fått beskjed om at alt skulle være ordnet. Den som overtar, trenger hendelsesutdraget for å se hvor forsøket stoppet. Uten det må vedkommende først finne ut hva systemet har gjort, før arbeidet med kundens problem kan begynne. Hvor mye tid den nye fordelingen sparer, må undersøkes i bruk.

På kundens skjerm kan det fortsatt se ut som én samtale. Forsøkene på å rette adressen ligger i saken medarbeideren får. Pakken har ikke forandret retning.