2-bob. Fundamental modellar mohiyati
Fundamental modellar yordamida dasturlar yaratish uchun, avvalo, sizga fundamental modellar kerak. Garchi modeldan foydalanish uchun uni yaratish sirlarini bilish shart bo'lmasa-da, uning ishlashi haqidagi umumiy tushuncha qaysi modelni tanlash va uni o'z ehtiyojlaringizga qanday moslashtirishni hal qilishda ancha qo'l keladi.
Fundamental modelni o'qitish — aql bovar qilmas darajada murakkab va qimmat jarayondir. Buni qanday qilib a'lo darajada uddalashni biladigan mutaxassislar esa, katta ehtimol bilan, maxfiylik shartnomalari sababli bu "sirli retseptni" (secret sauce) oshkor eta olmaydilar. Shu bois, ushbu bobda sizga ChatGPT bilan raqobatlasha oladigan modelni qanday yaratishni o'rgata olmayman. Buning o'rniga, men asosiy e'tiborni keyingi bosqichdagi ilovalar (downstream applications) ishlashiga jiddiy ta'sir ko'rsatadigan loyihalash qarorlariga qarataman.
Fundamental modellarni o'qitish jarayonlarida shaffoflik tobora kamayib borayotgani sababli, modelni yaratishda qabul qilingan barcha loyihalash qarorlarini (design decisions) to'liq bilish qiyin. Shunday bo'lsa-da, umuman olganda, fundamental modellar o'rtasidagi farqlarning ildizi uchta asosiy omilga borib taqaladi: o'qitish ma'lumotlari, model arxitekturasi va hajmi, hamda ularning inson xohish-istaklariga moslashishi uchun qanday yakuniy o'qitilganligi.
Modellar ma'lumotlardan o'rgangani uchun, ularning o'qitish ma'lumotlari ularning imkoniyatlari va cheklovlari haqida ko'p narsani ochib beradi. Ushbu bob model yaratuvchilarining o'qitish ma'lumotlarini qanday saralashi, bunda asosiy e'tiborni ma'lumotlar taqsimotiga qaratishi bilan boshlanadi. 8-bobda ma'lumotlar to'plami muhandisligi texnikalari, jumladan, ma'lumotlar sifatini baholash va ma'lumotlar sintezi batafsil o'rganiladi.
Transformer arxitekturasining yaqqol ustunligini hisobga olsak, model arxitekturasini tanlashda variantlar kamdek tuyulishi mumkin. Sizda tabiiy savol tug'ilishi mumkin: transformer arxitekturasini bunchalik o'ziga xos qiladigan nima va uning hamon yetakchilik qilishiga sabab bo'layotgan narsa nima? Boshqa bir arxitektura uning o'rnini egallashiga qancha vaqt qoldi va bu yangi arxitektura qanday ko'rinishda bo'lishi mumkin? Ushbu bobda aynan shu savollarga javob izlaymiz. Har safar yangi model taqdim etilganda, odamlarni qiziqtiradigan birinchi narsalardan biri — bu uning hajmidir. Shuningdek, ushbu bobda model ishlab chiquvchisi o'z modeli uchun mos hajmni qanday aniqlashi mumkinligi ham ko'rib chiqiladi.
1-bobda aytib o'tilganidek, modelni o'qitish jarayoni ko'pincha dastlabki o'qitish (pre-training) va yakuniy o'qitishga (post-training) bo'linadi. Dastlabki o'qitish modelga qobiliyat beradi, lekin bu uning xavfsiz yoki foydalanish uchun qulay bo'lishini kafolatlamaydi. Aynan shu nuqtada yakuniy o'qitish sahnaga chiqadi. Uning maqsadi — modelni inson xohish-istaklariga moslashtirishdir. Xo'sh, inson xohish-istaklari o'zi nima? Uni model o'rgana oladigan tilda qanday ifodalash mumkin? Model yaratuvchisining o'z modelini qanday moslashtirishi modelning foydalanishga yaroqliligiga (usability) jiddiy ta'sir ko'rsatadi va bu masala ushbu bobda batafsil muhokama qilinadi.
Ko'pchilik o'qitishning model samaradorligiga ta'sirini tushunsa-da, sampling'ning ta'siri ko'pincha e'tibordan chetda qoladi. Sampling — bu modelning barcha ehtimoliy variantlar orasidan natijani tanlash usulidir. Bu, ehtimol, SI'dagi eng kam baholangan tushunchalardan biridir. Sampling nafaqat gallyutsinatsiya va nomuvofiqlik kabi SI'ning tushunarsiz tuyulgan ko'plab xatti-harakatlarini izohlab beradi, balki to'g'ri sampling strategiyasini tanlash ham nisbatan kam harakat bilan model samaradorligini sezilarli darajada oshirishi mumkin. Shu sababli, sampling — bu men ushbu bobda eng katta hayajon bilan yozgan bo'limimdir.
Ushbu bobda yoritilgan tushunchalar kitobning qolgan qismini tushunish uchun fundamental ahamiyatga ega. Biroq, bu tushunchalar fundamental bo'lgani uchun, siz ular bilan allaqachon tanish bo'lishingiz mumkin. O'zingiz ishonch hosil qilgan har qanday tushunchani bemalol o'tkazib yuborsangiz bo'ladi. Agar keyinroq tushunarsiz tushunchaga duch kelsangiz, ushbu bobga qayta murojaat qilishingiz mumkin.