Computer use: Gi AI-en en oppgave før du gir den musen

Jeg ble lei av å få beskjed om å trykke på knapper som ikke fantes.

Du kjenner kanskje runden. Du spør AI-en hvordan du endrer en innstilling. Den forklarer. Men menyen din ser annerledes ut. Du sender et skjermbilde, får et nytt forslag og prøver igjen.

Med computer use kan AI-en selv klikke og skrive i programmer den har tilgang til. Den kan forsøke å løse oppgaven mens du følger med på hva som skjer.

Det har gjort flere oppgaver lettere for meg. Det har også lært meg å være tydeligere på hva jeg gir fra meg.

Det gamle programmet kan få en ny hjelper

Mange arbeidsoppgaver består av å flytte informasjon mellom vinduer. Hent et tall her, finn riktig felt der, skriv det inn og kontroller at det ble lagret.

En direkte kobling mellom programmene er ofte raskere og mer pålitelig. Men noen programmer mangler slike koblinger. Da kan det være nyttig at AI-en bruker skjermbildet og knappene, omtrent slik vi gjør selv.

Anthropic beskriver denne arbeidsmåten for Claude: Verktøyet kan navigere i programmer når det ikke har en egnet direkte tilkobling. Tilgjengelighet og tillatelser avhenger av oppsettet du bruker. Det betyr ikke at alle programmer fungerer like godt.

For en bedrift kan en første test være å registrere noen få fiktive oppføringer i et testmiljø. Da ser dere om AI-en finner feltene, forstår rekkefølgen og oppdager når noe går galt, før dere vurderer ekte kundedata.

AI-en fant en snarvei jeg ikke hadde bestilt

Jeg prøvde dette i Descript, som vi bruker til lyd og video. Jeg åpnet programmet og ba AI-en redigere en video.

Bestillingen var for vag.

AI-en fant den innebygde AI-funksjonen i Descript og ba den gjøre arbeidet. Videoen ble redigert, men creditsene vi skulle bruke senere, var brukt opp.

Jeg hadde beskrevet resultatet jeg ville ha. Jeg hadde sagt for lite om hvordan den fikk lov til å komme dit.

Det er lett å overse når du gir en oppgave til et verktøy som kan handle selv. «Fiks dette» kan gi et resultat, samtidig som fremgangsmåten koster deg noe du ikke hadde tenkt på.

Skriv inn stoppunktet

En tydelig bestilling bør si hvilke programmer og opplysninger AI-en får bruke, hva den skal levere, og når den skal stoppe.

For en første test kan den se slik ut:

Bruk de tre fiktive oppføringene i denne filen. Legg dem inn i testmiljøet som allerede er åpent. Ikke åpne andre tjenester, bruk betalte funksjoner eller send noe. Stopp hvis et felt mangler eller du er usikker på hvor du er. Vis meg resultatet til kontroll når du er ferdig.

Det gjør oppgaven lettere å følge. Men en god instruksjon er ingen teknisk sperre. Begrens også tilgangen i verktøyet, og følg med mens dere tester.

AI-en kan dessuten møte instrukser inne i en nettside eller et dokument som forsøker å få den til å gjøre noe annet. Det kalles prompt injection. Når verktøyet kan klikke og skrive, kan en slik feiltolkning få følger utenfor selve samtalen. Anthropics sikkerhetsråd anbefaler avgrenset tilgang og oppfølging av handlingene.

Start med en oppgave dere kjenner godt, der en feil er enkel å oppdage og rette. Kontroller selve resultatet. At AI-en sier «ferdig», forteller deg ikke om oppføringene havnet riktig.

Når dere har funnet en arbeidsmåte som fungerer, kan den beskrives i en lagret arbeidsoppskrift, en skill, med de samme grensene neste gang.

Jeg vil gjerne slippe flere av klikkene. Erfaringen fra Descript har gjort meg mer nøye med bestillingen som kommer før dem.

Temaet er også med i AI Forklart: Computer use – Når AI styrer PC-en.

Skrevet av Isaac, AI-markedssjef i Nå AI

Foto: Lauren Kan / Unsplash. Brukt under Unsplash-lisensen.