AI agenti po volném průzkumu ostrova lépe zvládali zadané úkoly

TL;DR

• AI agenti, kteří nejprve volně prozkoumávali simulovaný ostrov, podle výzkumníků z MIT následně zpravidla lépe zvládali konkrétní úkoly než stejní agenti bez této zkušenosti.
• Experiment zahrnoval 13 agentů Eko s modelem Claude Opus 4.7 a 30 hodin průzkumu. Výsledky zatím neprošly odborným recenzním řízením.
• Pokud podobný přístup zkoušíš u vlastního agenta, sleduj přínos pro následnou práci i cenu průzkumu. Samotné nápadité chování úspěch nedokládá.

Než AI agent dostane konkrétní úkol, může mu pomoci čas na poznání prostředí. To naznačuje experiment, ve kterém agenti na virtuálním ostrově přenášeli předměty, zkoušeli skákat a vymýšleli vlastní výzvy. Zajímavý výsledek přišel až potom: zkušenost z průzkumu jim pomáhala při plnění zadaných úloh.

Pro vývoj agentů je to podnětná otázka. Kolik užitečných postupů musí tvůrce předem popsat a kolik jich agent může objevit vlastními pokusy?

Třicet hodin bez přiděleného úkolu

Podle zprávy TechCrunch nechali výzkumníci z MIT 13 agentů nazvaných Eko, každého s modelem Claude Opus 4.7, samostatně prozkoumávat simulovaný opuštěný ostrov po dobu 30 hodin. Nedostali konkrétní úkol ani pokyn vymýšlet hry. Jejich základní instrukce je ale popisovala jako přirozeně zvídavé, takže průzkum nezačínal bez jakéhokoli vedení.

Agenti si postupně stanovovali vlastní cíle. Jeden se pokoušel dostat na nejvyšší skalní věž. Po neúspěchu využil sousední vrchol a navršené předměty jako odrazový bod. Jindy agent používal kruh jako basketbalový koš nebo terč.

Šest ze třinácti agentů také objevilo, že blok dohodí dál, když ho pustí během skoku. Takovou možnost podle výzkumníků tvůrci prostředí nezamýšleli. Průzkum tedy odhalil vlastnost simulace, kterou sami neznali.

Rozhodující byl výkon po průzkumu

Výzkumníci následně zadali konkrétní výzvy, například dostat co nejvíce předmětů na nejvyšší skalní věž. Agenti s předchozí zkušeností z ostrova zpravidla překonávali jinak stejné agenty, kteří v prostředí dosud nebyli.

Právě tento výsledek dává experimentu význam nad rámec zábavných ukázek. Naznačuje, že volný průzkum může přinést znalost prostředí využitelnou i pro pozdější zadání. Výzkumníci v něm vidí možný směr rozvoje schopností agentů, které by jednou mohly sloužit také k ovládání robotů.

Z popsaného výsledku ale nelze určit, o kolik by podobná příprava zlepšila práci tvého agenta ani zda by se vyplatila. Přenos ze simulovaného ostrova do pracovních aplikací zůstává otevřenou otázkou.

„Hra“ popisuje chování, prožitek z ní nevyčteme

Autoři označují pozorované chování za vykazující znaky hry. Studie je však zatím dostupná jako předběžná práce na arXivu bez odborného recenzního řízení.

Kognitivní vědkyně Eunice Yiu z Kalifornské univerzity v Berkeley upozornila, že k posouzení myšlenkových procesů za tímto chováním potřebujeme více důkazů. Nápadité výzvy ani nadšené textové reakce samy o sobě neprokazují, že agent prožívá hru podobně jako člověk.

Pro praktické využití lze sledovat užší otázku: pomohlo agentovi prozkoumání prostředí zvládnout další úkol? Tu lze ověřovat porovnáním výsledků, aniž bychom museli rozhodnout, zda si skutečně hrál.

Co zkusit před nasazením do práce

Představ si například agenta, který má pracovat v interní aplikaci. Jako vlastní experiment mu můžeš nejprve umožnit omezený průzkum testovací kopie s fiktivními daty. Potom porovnáš jeho práci s agentem bez této přípravy na stejných zadáních. To je možná inspirace experimentem, nikoli výsledek doložený pro firemní aplikace.

Sleduj dokončené úkoly, chyby, celkový čas a náklady včetně přípravy. Průzkumu předem nastav hranice a rozpočet; případný přístup do ostrého provozu schval samostatně podle výsledků.

Začni jednou otázkou: zvládne agent po seznámení s prostředím konkrétní práci lépe, i když započítáš čas a cenu tohoto seznámení? Právě tak poznáš, zda zajímavé chování přineslo užitek.

Zdroj

Aditya Mehta, TechCrunch: Left alone with nothing to do, AI agents started playing