Microsoft-forskere bruger ChatGPT til at instruere robotter og droner

OpenAI's ChatGPT er ikke bare god til at generere sammenhængende tekstsvare på naturlige sprog forespørgsler -- den kan også spille en rolle i menneske-til-robot-interaktioner og bruge sensorfeedback til at skrive kode til robotaktioner.

Microsoft har for nylig gennemført forskning for at "se om ChatGPT kan tænke ud over tekst og tænke over den fysiske verden for at hjælpe med robotopgaver." Formålet var at se, om mennesker kan bruge ChatGPT til at instruere robotter uden at lære programmeringssprog eller forstå robot-systemer.

Dybdegående: Disse eksperter er ivrige efter at beskytte AI mod hackere. Tiden er ved at løbe ud.

"Den vigtigste udfordring her er at lære ChatGPT, hvordan man løser problemer med hensyn til fysikkens love, konteksten af det opererende miljø og hvordan robotens fysiske handlinger kan ændre verdens tilstand," bemærker et hold fra Microsoft Autonomous Systems and Robotics Research i en blogpost.

Microsoft-forskerne undersøgte ChatGPT's evne til at generere kode, primært i Python, til robotscenarier, som f.eks. zero-shot-planlægning og kodegenerering, efter at ChatGPT fik adgang til objekt-detektion og objekt-afstandsdata via applikationsgrænseflader.

ChatGPT kan producere kode, fordi det er trænet på store mængder kode og skrevet tekst. Systemet har vist sig at være i stand til at løse kodningsproblemer og fejlfinde programmer, med den unikke evne til at reagere på dialog og søge afklaringer. Der er også Codex, OpenAI's GPT-3-baserede model, som er grundlaget for GitHub's Copilot samarbejdsprogrammeringstjeneste, der automatisk fuldfører kode for udviklere på flere sprog.

Også: Hvad er ChatGPT? Her er alt hvad du behøver at vide

Med disse dialog- og afklaringsfunktioner i tankerne, testede Microsoft ChatGPT's evne som sprog-baseret interface mellem en ikke-teknisk bruger og en drone. Som forskerne påpeger i en artikel, mens GPT-3, LaMDA og Codex viste løfte inden for robotplanlægnings- og kodegenereringsopgaver, så er ChatGPT specifikt "et potentiel mere alsidigt værktøj til robotdomænet, da det kombinerer natural language og kodegenereringsmodeller sammen med dialogens fleksibilitet."

Forskerne bemærker i deres blogindlæg: "ChatGPT stillede afklarende spørgsmål, når brugerens instruktioner var tvetydige, og skrev komplekse kode strukturer til dronen, såsom en zigzag-mønster for at inspicere hylder visuelt."

Microsoft testede ChatGPT til at bruge en robotarm til at flytte blokke rundt for at danne Microsoft-logoet. Forskerne gav også ChatGPT opgaven med at skrive en algoritme for en drone for at nå et punkt uden at kollidere med forhindringer. De testede også om ChatGPT kan bestemme, hvor en robot skal bevæge sig baseret på sensor-feedback i realtid.

Forskere hos Google Research og Everyday Robots, som ejes af Alphabet, har også arbejdet med lignende udfordringer inden for robotteknologi ved hjælp af store sprogmodeller kaldet PaLM, eller Pathways Language Model, hvilket hjalp en robot med at kunne forstå åbne forespørgsler og reagere på fornuftige måder.