Сүүлийн таван жилийн турш хиймэл оюуны лабораториуд интернэтийн текстийг илүү олон график карт дээр урьдчилан сургах (pre-training) аргаар их хэлний загварын чадварыг өсгөж ирсэн. Гэвч ARC-AGI сорилыг санаачлагч, Ndea лабораторийг үндэслэгч François Chollet болон OpenAI-ийн судлаач Noam Brown нарын онцолсноор зөвхөн өгөгдөл цээжлэх замаар жинхэнэ оюун ухаанд хүрэх боломжгүй нь нэгэнт батлагджээ.

François Chollet: Цээжлэлт биш, шинэ ур чадвар эзэмших хурд

François Chollet оюун ухааныг «мэдлэгийн сангийн хэмжээ» биш, харин өмнө нь огт харж байгаагүй шинэ дүрмийг цөөн жишээн дээрээс ойлгож, программ зохион шийдвэрлэх чадвар хэмээн тодорхойлдог. Түүний үүсгэн байгуулсан Ndea судалгааны төв болон ARC Prize уралдаан нь нейрон сүлжээг дискрет программ хайлттай (program synthesis) хослуулах чиглэлд төвлөрч байна.

  • Урьдчилсан сургалтын тааз: Зөвхөн дараагийн үгийг таамагладаг уламжлалт их хэлний загварууд ARC-AGI сорил дээр 30 орчим хувиас дээш гарч чадалгүй гацсан бөгөөд дата нэмээд ч шинэ логик бодлогыг бодож чадаагүй юм.
  • Тестлэх үеийн дасан зохицол: Хариулт өгөхийн өмнө олон зуун жижиг программын хувилбарыг үүсгэж, алдааг нь шалган засварласнаар сорилын гүйцэтгэл 85 хувиас давж, хүний дундаж түвшинд дөхөж эхэллээ.
  • Үр ашигтай суралцахуй: Жинхэнэ ерөнхий хиймэл оюун нь тэрбум жишээ унших бус, гуравхан жишээ хараад л цаад зүй тогтлыг нь программчлан томьёолдог байх ёстойг тэрээр онцолдог.

Noam Brown: Төсвөөс хамаарах уян хатан сэтгэлгээ

Покер болон Diplomacy тоглоомын супер агентуудыг бүтээж, улмаар OpenAI-ийн сэтгэн бодох загваруудыг удирдсан Noam Brown уламжлалт үнэлгээний систем эвдэрснийг анхааруулж байна. Өмнө нь загвар ямар ч асуултад ижилхэн хэмжээний тооцоолол зарцуулдаг байсан бол одоо загварын хүчин чадал нь тухайн даалгаварт хэдэн секунд, хэдэн цагийн тооцоолол (test-time compute) хуваарилснаас шууд хамаардаг болжээ.

Математикийн баталгаа гаргах, программ хангамжийн цогц архитектур зохиох, шинжлэх ухааны таамаглал шалгах зэрэг ажлуудад олон агентыг зэрэгцүүлэн хэдэн цагаар ажиллуулж, буруу замаас нь буцаан (backtracking) шалгах нь хүний олон жилийн оюуны хөдөлмөрийг хэдхэн цагт багтаах боломж олгож байна. Энэхүү хоёр эрдэмтний судалгаа нь хиймэл оюуны өрсөлдөөн «хэн том загвар сургах вэ» гэдгээс «хэн бодлого бодох мөчид хамгийн үр ашигтай хайлт хийх вэ» гэдэг рүү эргэлт буцалтгүй шилжсэнийг харуулж байна.