Xulosa
Bu men yozgan eng qiyin, lekin ishonamanki, eng muhim SI mavzularidan biridir. Ishonchli baholash jarayonlar zanjiriga ega bo'lmaslik SI'ni joriy etishdagi eng katta to'siqlardan biridir. Baholash vaqt talab qilsa-da, ishonchli baholash jarayonlar zanjiri sizga xatarlarni kamaytirish, samaradorlikni oshirish imkoniyatlarini kashf etish va rivojlanishni benchmark qilish imkonini beradi, bu esa kelajakda vaqtingizni tejaydi va bosh og'riqlardan xalos qiladi.
Tayyor holda mavjud bo'lgan fundamental modellar soni ortib borayotganini hisobga olsak, aksariyat ilova ishlab chiquvchilari uchun qiyinchilik endi model yaratishda emas, balki o'z ilovasi uchun to'g'ri modellarni tanlashdadir. Ushbu bobda ilovalar uchun modellarni baholashda tez-tez qo'llaniladigan mezonlar ro'yxati va ular qanday baholanishi muhokama qilindi. Unda ham sohaga xos imkoniyatlarni, ham generatsiya imkoniyatlarini, jumladan faktik izchillik va xavfsizlikni qanday baholash kerakligi ko'rib chiqildi. Fundamental modellarni baholashning ko'plab mezonlari, jumladan ravonlik, mazmunan bog'langanlik va ishonchlilik an'anaviy NLP'dan rivojlanib chiqqan.
Modelni o'z serverida ishlatish yoki model API'sidan foydalanish masalasini hal qilishga yordam berish uchun ushbu bobda har bir yondashuvning afzalliklari va kamchiliklari yettita o'q bo'yicha, jumladan ma'lumotlar maxfiyligi, ma'lumotlar shajarasi (data lineage), samaradorlik, funksionallik, nazorat va xarajat bo'yicha bayon etildi. Bu qaror, barcha "yaratish yoki sotib olish" (build versus buy) qarorlari kabi, har bir jamoa uchun o'ziga xos bo'lib, nafaqat jamoaga nima kerakligiga, balki jamoa nimani xohlashiga ham bog'liq.
Ushbu bobda, shuningdek, minglab mavjud ommaviy benchmarklar o'rganildi. Ommaviy benchmarklar yomon modellarni saralab tashlashga yordam berishi mumkin, ammo ular ilovalaringiz uchun eng yaxshi modellarni topishga yordam bermaydi. Ommaviy benchmarklar, shuningdek, ifloslangan bo'lishi ehtimoli yuqori, chunki ularning ma'lumotlari ko'plab modellarning o'qitish ma'lumotlariga kiritilgan. Modellarni reytinglash uchun bir nechta benchmarklarni birlashtiradigan ommaviy reyting jadvallari mavjud, ammo benchmarklar qanday tanlanishi va birlashtirilishi aniq jarayon emas. Ommaviy reyting jadvallaridan olingan saboqlar model tanlashda foydalidir, chunki model tanlash o'z ehtiyojlaringizga asoslanib modellarni reytinglash uchun shaxsiy reyting jadvalini yaratishga o'xshaydi.
Ushbu bob o'tgan bobda muhokama qilingan barcha baholash texnikalari va mezonlaridan qanday foydalanish hamda ilovangiz uchun baholash jarayonlar zanjirini qanday yaratish haqida so'z yuritish bilan yakunlanadi. Mukammal baholash usuli mavjud emas. Ko'p o'lchovli tizimning qobiliyatini bir yoki bir nechta o'lchovli ballar yordamida to'liq qamrab olish imkonsiz. Zamonaviy SI tizimlarini baholash ko'plab cheklovlar va noxolisliklarga ega. Biroq, bu biz baholashni amalga oshirmasligimiz kerak degani emas. Turli usullar va yondashuvlarni birlashtirish ushbu qiyinchiliklarning ko'pini yumshatishga yordam beradi.
Garchi baholash bo'yicha maxsus muhokamalar shu yerda tugasa-da, baholash nafaqat kitob davomida, balki ilovani ishlab chiqish jarayoni davomida ham qayta-qayta yuzaga chiqadi. 6-bobda qidiruv va agentli tizimlarni baholash o'rganilsa, 7 va 9-boblar modelning xotiradan foydalanishi, kechikishi va xarajatlarini hisoblashga qaratilgan. Ma'lumotlar sifatini tekshirish 8-bobda, real amaliyotdagi ilovalarni baholash uchun foydalanuvchi fikr-mulohazalaridan foydalanish esa 10-bobda ko'rib chiqiladi.
Shu bilan, keling, ko'pchilik SI muhandisligi bilan bog'laydigan mavzu — prompt muhandisligidan boshlab, modelni moslashtirishning amaliy jarayoniga o'tamiz.