Microsoft-Decision-1 гарсантай зэрэгцэн энэ долоо хоногт шийдвэр гаргалтын загварын талбарт өөр нэгэн хүчтэй тоглогч гарч ирсэн нь Bespoke Labs компанийн Nimble-v4 болон Nimble-v4-max загварууд юм. Үүсгэн байгуулагч Mahesh Sathiamoorthy (@madiator) загварын танилцуулснаар эдгээр загварууд нь console.bespokelabs.ai API үйлчилгээгээр шууд ашиглалтад оржээ.

Nimble-v4-max болон Nimble-v4 загваруудын Jev 1.13 болон бусад хувилбаруудтай харьцуулсан сорилын дүн.
// Nimble-v4-max болон Nimble-v4 загваруудын Jev 1.13 болон бусад хувилбаруудтай харьцуулсан сорилын дүн.
  • Decision Index чансаанд #1: Нийтийн Decision Index оноогоор Nimble-v4-max нь Jev 1.13 загвараас +10 оноо, харин Nimble-v4 нь +6 оноо илүү авч, салбарын нэгдүгээр байрт бичигдэв.
  • Алдаа 43 хувиар буурав: Дотоод нарийвчилсан үнэлгээгээр Jev-тэй харьцуулахад буруу шийдвэр гаргах тохиолдол 43 хувиар багассан байна.
  • Model Routing (+50pp) ба Баримт шалгалт: Аль даалгаврыг ямар AI загвар луу чиглүүлэхийг шийддэг model routing даалгавар дээр 50 нэгж хувийн (50 percentage points) сайжруулалт үзүүлж, кодчиллын шалгалт болон баримт нягтлах (fact-checking) ажилд онцгой үр дүн харуулжээ.
Олон сонголт, Тийм/Үгүй болон Шалгуур үзүүлэлтийн үнэлгээн дээрх Nimble-v4 цувралын нарийвчлал.
// Олон сонголт, Тийм/Үгүй болон Шалгуур үзүүлэлтийн үнэлгээн дээрх Nimble-v4 цувралын нарийвчлал.