Окуучулар адамдардын жана ИИнин ой жүгүртүүсүндөгү фундаменталдык айырмаларды аныкташты

Изилдөө чоң тил модельдеринин аналогияларды куруу жөндөмүнө көңүл бурду. Натижалар, катардагы тамгалардын последовательностору жана сандык матрицалардагы жок элементти аныктоо керек болгон жөнөкөй тапшырмаларда адамдар туруктуу жогорку натыйжаларды көрсөтүшкөнүн, ал эми ИИ кыйынчылыктарга учурай тургандыгын көрсөттү.

Адамдардан айырмаланып, тил модельдери сюжеттик аналогияларды чечүүдө эки негизги чектөөнү көрсөтүшөт: берилген суроолордун тартибине көз каранды болушу жана терең анализдин ордуна механикалык рестораторлоо (реконструкция) склонность.

Мисалы, GPT-4 элементардык тамгалык аналогияларды, акыркы тамганын алмаштырылуусун талап кылган тапшырмаларды ийгиликтүү аткарат. «abcd» «abce» деп өзгөртүлгөн учурда модель «ijkl» ни «ijkm» кылып туура алмаштырат. Бирок, кайталана турган тамгаларды исключение кылуу сыяктуу татаал эрежелер менен ИИ кыйла начар иштейт. «abbcd» «abcd» га өзгөртүү жана бул эрежени «ijkkl» га колдонуу кырдаалында система көп учурда жаңылышат жана «ijkl» ни туура чыгарбайт. Адам мындай тапшырмалар менен беттешпейт.

Укуучулар ИИ модельдеринин "нөлдөн үйрөнүү" (zero-shot learning) жөндөмү жок экенин белгилешти, бул, башкача айтканда, алар окуу үлгүсүндө жок болгон категориялардан алынган маалыматтарды адекваттуу анализдей албайт жана белги катары берилген суроого ылайыкташтырып классификациялай албайт.

Адамдардан айырмаланып, тил модельдери конкреттүү мисалдардан жалпы эрежелерди чыгара албайт. Алар шаблондорду жакшы таанып, салыштыра алса да, алардын жалпылаштыруу жөндөмү чектелүү. Көпчүлүк ИИ системалары чоң маалыматтарды талап кылат — окуу үлгүсү чоңойгон сайын алар аныкталган мыйзамдарды дагы көп таба алышат. Бирок шаблондорду таануу менен абстракция жасоо — бул эки башка нерсе. Маалыматтардын көлөмүнөн гана эмес, аларды иштетүү жана анализдөө ыкмаларынан да көз каранды болгон негизги фактор.

Бул юриспруденцияда, мыйзамдарды анализдөө жана өкүм чыгаруу үчүн ИИ колдонулган жерде өзгөчө маанилүү. Бул чектөөлөрдүн катары модельдер жаңы учурлардын прецеденттерин туура интерпретациялоосун кыйындатат.