โมเดลภาษาคืออะไร และ LLM ทำงานอย่างไร?

อินฟอร์เมเทค ดิจิตอล » Recursos » โมเดลภาษาคืออะไร และ LLM ทำงานอย่างไร?

แบบจำลองภาษาได้กลายเป็นหัวใจสำคัญของปัญญาประดิษฐ์สมัยใหม่: มันขับเคลื่อนผู้ช่วยเสมือนและแชทบอท การแปลภาษาด้วยเครื่องจักร และเครื่องมือที่เขียนโค้ดหรือร่างข้อความได้เกือบเหมือนคนจริง แม้ว่ามันอาจดูเหมือนเวทมนตร์ แต่จริงๆ แล้วมันเป็นการผสมผสานสถิติ เครือข่ายประสาทเทียม และข้อมูลจำนวนมหาศาลเพื่อทำนายว่าคำ วลี หรือแม้แต่รูปภาพใดเหมาะสมที่สุดต่อไป

ในช่วงไม่กี่ปีที่ผ่านมาโมเดลภาษาขนาดใหญ่ (Large Language Models หรือ LLMs ) ได้ถือกำเนิดขึ้นในฐานะโมเดลภาษาที่มีประสิทธิภาพและขนาดใหญ่กว่าโมเดลภาษาแบบดั้งเดิม ระบบเหล่านี้ไม่เพียงแต่สร้างข้อความที่อ่านง่ายเท่านั้น แต่ยังสามารถสรุปเอกสาร ตอบคำถามที่ซับซ้อน แปลระหว่างภาษา และแม้กระทั่งให้เหตุผลในระดับหนึ่งได้อีกด้วย มาดูกันให้ละเอียดขึ้นว่า LLMs คืออะไร ทำงานภายในอย่างไร มีประเภทใดบ้าง การใช้งานจริงในธุรกิจเป็นอย่างไร และความเสี่ยงและข้อจำกัดที่ควรคำนึงถึงคืออะไร

แบบจำลองภาษาคืออะไรกันแน่?

แบบจำลองภาษาโดยพื้นฐานแล้วคือระบบทางสถิติหรือการคำนวณที่กำหนดความน่าจะเป็นให้กับลำดับของโทเค็นโทเค็นอาจเป็นคำที่สมบูรณ์ คำย่อย หรือแม้แต่ตัวอักษรเดียว เป้าหมายของแบบจำลองคือการประมาณว่าโทเค็นใดมีแนวโน้มที่จะปรากฏถัดไปในลำดับที่กำหนดมากที่สุด

หากเราพิจารณาประโยคที่มีช่องว่าง โมเดลจะคำนวณว่าส่วนต่อท้ายใดเหมาะสมกับบริบทมากที่สุด ตัวอย่างเช่น จากประโยค "เมื่อฉันได้ยินเสียงฝนตกบนหลังคา ฉัน _______ ในห้องครัว" ระบบจะชั่งน้ำหนักตัวเลือกต่างๆ เช่น "ทำซุป" "ต้มน้ำ" หรือ "งีบหลับ" โดยกำหนดความน่าจะเป็นที่แตกต่างกันให้กับแต่ละตัวเลือก แอปพลิเคชันสามารถเลือกตัวเลือกที่มีความน่าจะเป็นสูงสุด หรือสุ่มเลือกจากตัวเลือกหลายๆ ตัวที่สูงกว่าเกณฑ์ที่กำหนด เพื่อให้ได้ความหลากหลาย

กลไกเดียวกันนี้ในการทำนายโทเค็นถัดไปสามารถขยายไปสู่ภารกิจที่ซับซ้อนมากขึ้นได้ เช่น การสร้างข้อความเต็ม การแปลจากภาษาหนึ่งไปอีกภาษาหนึ่ง การสรุป การตอบคำถาม การจำแนกประเภท การสกัดข้อมูล และอื่นๆ โดยการสร้างแบบจำลองรูปแบบภาษาเชิงสถิติ ระบบจะพัฒนาการแสดงผลภายในที่สมบูรณ์มาก ซึ่งสามารถจับภาพไวยากรณ์ รูปแบบ และความสัมพันธ์ระหว่างแนวคิดต่างๆ ได้

เพื่อให้บรรลุเป้าหมายนี้ โมเดลภาษาจะถูกฝึกฝนด้วยคลังข้อความขนาดใหญ่และเรียนรู้ที่จะปรับพารามิเตอร์ภายในเพื่อทำให้การคาดการณ์ใกล้เคียงกับตัวอย่างในโลกแห่งความเป็นจริงมากขึ้น จำนวนพารามิเตอร์เหล่านี้ (น้ำหนัก) คือสิ่งที่เรามักพูดถึงเมื่อเรากล่าวถึงโมเดลที่มีพารามิเตอร์หลายล้าน หลายพันล้าน หรือแม้แต่หลายล้านล้านตัว

บริบท: จาก n-grams สู่โครงข่ายประสาทเทียม

เป็นเวลานานแล้วที่วิธีการสร้างแบบจำลองภาษาที่พบได้บ่อยที่สุดคือแบบจำลอง n-gram n-gram คือลำดับของคำ N คำ: เมื่อ N=2 เราเรียกว่า bigram เมื่อ N=3 เรียกว่า trigram และอื่นๆ ตัวอย่างเช่น เริ่มต้นด้วยวลี "you are very nice" bigram จะเป็น "you are", "are very" และ "very nice"

ระบบใช้แบบจำลองไตรแกรม โดยพิจารณาจากบริบทที่มีสองคำ และคำนวณความน่าจะเป็นของคำที่สามที่เป็นไปได้แต่ละคำโดยอิงจากจำนวนครั้งที่ระบบพบไตรแกรมนั้นในชุดข้อมูลฝึกฝน หากเราพบวลีเช่น "orange is ripe" บ่อยครั้ง และวลีเช่น "orange is cheerful" น้อยมาก การต่อเติมแบบแรกจะมีน้ำหนักมากกว่าเมื่อบริบทเป็น "orange is"

ปัญหาคือบริบทที่มีอยู่นั้นจำกัดมากไตรแกรมสามารถย้อนกลับไปได้เพียงสองคำ ซึ่งโดยปกติแล้วไม่เพียงพอที่จะแก้ไขความกำกวม (ตัวอย่างเช่น "ส้ม" เป็นผลไม้หรือสี) หรือเพื่อจับความสัมพันธ์ระยะยาว การเพิ่มค่า N จะให้บริบทมากขึ้น แต่ก็ยิ่งทำให้ข้อมูลขาดแคลนมากขึ้นเช่นกัน 6-แกรมหรือ 7-แกรมปรากฏขึ้นน้อยมากจนยากที่จะประเมินความน่าจะเป็นได้อย่างน่าเชื่อถือ

เพื่อเอาชนะข้อจำกัดนี้โครงข่ายประสาทเทียมแบบวนซ้ำ (RNN) จึงถือกำเนิดขึ้น ซึ่งประมวลผลข้อความทีละโทเค็นในขณะที่รักษาสถานะภายในที่ทำหน้าที่เป็นหน่วยความจำของบริบทก่อนหน้า รูปแบบต่างๆ เช่น LSTM หรือ GRU ได้ปรับปรุงความสามารถในการเก็บรักษาข้อมูลเป็นระยะเวลานานขึ้น ทำให้สามารถจับความสัมพันธ์ที่ยาวกว่าการใช้ n-gram และลดข้อผิดพลาดในการทำนายในประโยคที่ซับซ้อนได้

อย่างไรก็ตาม โครงข่ายประสาทเทียมแบบวนซ้ำ (RNN) ก็มีข้อเสียอยู่บ้าง คือ ลักษณะ การประมวลผลแบบลำดับอย่างเคร่งครัด ทำให้การประมวลผลแบบขนานทำได้ยาก และการฝึกฝนสำหรับลำดับยาวๆ นั้นมีค่าใช้จ่ายสูงและช้า นอกจากนี้ยังประสบปัญหา การลดลงของค่าความชัน (gradient vanishing problem ) ซึ่งจำกัดปริมาณบริบทที่มีประโยชน์ที่สามารถจัดการได้ในทางปฏิบัติ การรวมกันของข้อจำกัดเหล่านี้เป็นแรงผลักดันให้เกิดการค้นหาสถาปัตยกรรมใหม่ที่มีประสิทธิภาพมากขึ้น

การปฏิวัติทรานส์ฟอร์เมอร์และกลไกการดูแลตนเอง

ความก้าวหน้าครั้งสำคัญเกิดขึ้นกับสถาปัตยกรรม Transformerซึ่งนำเสนอในปี 2017 ในบทความชื่อดัง "Attention is all you need" แนวทางนี้ละทิ้งการเรียกซ้ำโดยสิ้นเชิงและอาศัยกลไกหลักคือ self- attentionซึ่งช่วยให้โมเดลสามารถ "มอง" โทเค็นทั้งหมดในลำดับพร้อมกันและชั่งน้ำหนักว่าส่วนใดของบริบทมีความเกี่ยวข้องมากที่สุดสำหรับแต่ละตำแหน่ง

กระบวนการเริ่มต้นด้วยการแบ่งข้อความออกเป็นโทเค็น (คำ คำย่อย ฯลฯ) แต่ละโทเค็นจะถูกแปลงเป็นเวกเตอร์ตัวเลขที่เรียกว่าเอมเบดดิ้งซึ่งประกอบด้วยข้อมูลความหมายและไวยากรณ์ เอมเบดดิ้งเหล่านี้จะผ่านหลายชั้นของทรานส์ฟอร์เมอร์ และในแต่ละชั้นจะได้รับการปรับปรุงให้ดียิ่งขึ้นเรื่อยๆ จนกลายเป็นตัวแทนบริบทที่สมบูรณ์ยิ่งขึ้นซึ่งรวมข้อมูลเกี่ยวกับโทเค็นอื่นๆ เข้าไว้ด้วย

เพื่อให้แบบจำลองทราบตำแหน่งของแต่ละโทเค็น จึง มีการเพิ่ม การเข้ารหัสตำแหน่ง เข้าไป การเข้ารหัส เหล่านี้ระบุตำแหน่งของโทเค็นในลำดับ และช่วยให้กลไกการให้ความสนใจตนเองสามารถแยกแยะความแตกต่างระหว่างคำที่ปรากฏอยู่ตอนต้นกับคำที่เหมือนกันซึ่งปรากฏอยู่ตอนท้ายได้ ซึ่งเป็นสิ่งสำคัญอย่างยิ่งต่อการเข้าใจลำดับและโครงสร้างของประโยค

กลไก Self-attention ทำงานโดยการฉายภาพฝังตัว (embedding) แต่ละตัวลงบนเวกเตอร์ที่แตกต่างกันสามตัว โดยใช้เมทริกซ์น้ำหนักที่เรียนรู้มาได้แก่ คำถาม (Q), กุญแจ (K) และค่า (V) คำถามแสดงถึงสิ่งที่โทเค็น "มองหา" ในลำดับที่เหลือ กุญแจสะท้อนถึงข้อมูลที่แต่ละโทเค็น "นำเสนอ" และค่าคือข้อมูลที่จะถูกส่งต่อ โดยมีน้ำหนักตามกลไก Attention

จากนั้นโมเดลจะคำนวณคะแนนการจัดเรียงเช่น ความคล้ายคลึงกันระหว่างแต่ละคำค้นกับคีย์ทั้งหมด หลังจากปรับคะแนนเหล่านี้ให้เป็นมาตรฐาน (เช่น ด้วย softmax) แล้ว โมเดลจะได้รับน้ำหนักความสนใจที่กำหนดว่าค่าของแต่ละโทเค็นมีส่วนช่วยในการสร้างตัวแทนใหม่ของโทเค็นปัจจุบันมากน้อยเพียงใด ด้วยวิธีนี้ เครือข่ายจะมุ่งเน้นไปที่บริบทที่เกี่ยวข้องอย่างยืดหยุ่น และทิ้งโทเค็นที่ไม่ค่อยมีประโยชน์ (เช่น คำเชื่อมบางคำหรือคำที่ไม่เกี่ยวข้องในข้อความที่กำหนด) ไว้ในพื้นหลัง

ข้อดีอย่างหนึ่งของ Transformer คือกลไกนี้สามารถประมวลผลแบบขนานได้สูงต่างจาก RNN ที่ประมวลผลโทเค็นทีละตัว ใน Transformer จะประมวลผลทุกตำแหน่งในลำดับพร้อมกัน ซึ่งช่วยเร่งความเร็วในการฝึกฝนบนฮาร์ดแวร์สมัยใหม่ได้อย่างมาก การผสมผสานระหว่างบริบทที่มากขึ้น ความสามารถในการจับความสัมพันธ์ระยะยาวได้ดีขึ้น และประสิทธิภาพในการคำนวณ ทำให้โมเดลสามารถขยายขนาดได้ถึงระดับที่คาดไม่ถึงเมื่อไม่กี่ปีที่ผ่านมา

LLM (Large Language Models) คืออะไร?

ต่อยอดจาก Transformer ทำให้เกิด โมเดลภาษาขนาดใหญ่ (Large Language Models หรือ LLMs) ขึ้นมา โมเดล เหล่านี้เป็นโครงข่ายประสาทเทียมเชิงลึกที่มีพารามิเตอร์นับล้าน พันล้าน หรือแม้กระทั่งล้านล้านตัว ซึ่งได้รับการฝึกฝนด้วยข้อมูลข้อความจำนวนมหาศาลจากหนังสือ บทความ เว็บไซต์ เอกสารทางเทคนิค และแหล่งข้อมูลสาธารณะอื่นๆ (และบางครั้งก็เป็นข้อมูลส่วนตัว)

โมเดลเหล่านี้ใช้การเรียนรู้เชิงลึกและได้รับการฝึกฝนใน ลักษณะที่เน้น การเรียนรู้ด้วยตนเอง เป็นหลัก กล่าว คือ แทนที่จะพึ่งพาข้อมูลที่ติดป้ายกำกับด้วยตนเอง พวกมันเรียนรู้จากข้อความที่ไม่มีการระบุคำอธิบาย โดยแก้ปัญหาภายใน เช่น การทำนายคำถัดไปหรือการเติมช่องว่างในประโยค จากนั้น พวกมันจะได้รับความรู้เกี่ยวกับไวยากรณ์ ภาษา ข้อเท็จจริงเกี่ยวกับโลก รูปแบบการเขียน กระบวนการให้เหตุผล และรูปแบบการสนทนาโดยปริยาย

แบบจำลองการเรียนรู้ภาษา (LLM) แบบคลาสสิกจะเริ่มต้นด้วยการฝึกฝนโดยใช้การเรียนรู้แบบไม่กำกับ ดูแล (unsupervised learning) เพื่อทำนายคำถัดไปโดยพิจารณาจากบริบท ในบางกรณี อาจมีการดำเนินการในขั้นตอนที่สองที่คล้ายกัน โดยขยายข้อมูลหรือปรับวัตถุประสงค์การฝึกฝนเพื่อให้สามารถจับบริบทได้ดียิ่งขึ้น โดยปกติแล้วจะตามด้วย ขั้นตอนการเรียนรู้แบบ กำกับดูแล (supervised learning ) หรือRLHF (Reinforcement Learning from Human Feedback)ซึ่งผู้ประเมินที่เป็นมนุษย์จะประเมินคำตอบที่สร้างขึ้น โดยทำเครื่องหมายว่าถูกต้องหรือไม่ถูกต้อง และใช้ข้อเสนอแนะนี้เพื่อปรับปรุงพฤติกรรมของแบบจำลอง

การผสมผสานระหว่างการฝึกฝนเบื้องต้นอย่างมหาศาลและการปรับแต่งอย่างละเอียดในภายหลัง ทำให้ LLM สามารถทำงานต่างๆ เช่นการแปล การเขียน การสรุป การสนทนา การสร้างรหัส และการจำแนกประเภทได้อย่างคล่องแคล่วเกือบเท่ามนุษย์ เครื่องมือต่างๆ เช่น ChatGPT, Claude, Gemini, Llama และโซลูชันระดับองค์กรจำนวนมาก อาศัยโมเดลประเภทนี้เพื่อนำเสนอผู้ช่วยสนทนา ระบบค้นหาขั้นสูง และเอเจนต์อัตโนมัติที่โต้ตอบกับข้อมูลขององค์กร

ควรเน้นย้ำว่า แม้จะดูฉลาดหลักแหลม แต่ผู้เชี่ยวชาญด้านภาษาศาสตร์เชิงปริมาณ (LLM) ไม่ได้ "เข้าใจ" ภาษาเหมือนกับคนทั่วไป สิ่งที่พวกเขาทำคือการสร้างแบบจำลองทางสถิติและทำนายความต่อเนื่องที่น่าจะเป็นไปได้มากที่สุด แม้ว่าระดับความซับซ้อนจะสูงมากจนในทางปฏิบัติแล้ว ความแตกต่างมักยากที่จะแยกแยะได้ในสถานการณ์ประจำวัน

การฝึกอบรม LLM: ข้อมูล น้ำหนัก และฟังก์ชันการสูญเสีย

การฝึกโมเดลขนาดใหญ่ (Large Model Line: LLL) เริ่มต้นด้วยการรวบรวมและทำความสะอาดชุดข้อมูลขนาดใหญ่ข้อมูลนี้จะถูกปรับให้เป็นมาตรฐาน กรองเพื่อกำจัดสัญญาณรบกวน และแบ่งเป็นโทเค็น จากนั้น น้ำหนักของโมเดลจะถูกเริ่มต้น และฟังก์ชันความสูญเสียจะถูกกำหนดขึ้นเพื่อวัดข้อผิดพลาดระหว่างการคาดการณ์และลำดับการฝึกจริง

โมเดลจะทำการทำนายแบบโทเค็นต่อโทเค็น ผ่านขั้นตอนการฝึกฝนนับล้านหรือแม้กระทั่งพันล้าน ครั้ง และฟังก์ชันความสูญเสียจะวัดว่ามันเบี่ยงเบนจากลำดับที่ถูกต้องไปมากน้อยเพียงใด โดยใช้อัลกอริธึม เช่น การไล่ระดับความชัน (gradient descent) และ การย้อนกลับการแพร่ กระจาย (backpropagation)น้ำหนักจะถูกปรับทีละชั้นในแต่ละรอบการทำซ้ำเพื่อลดข้อผิดพลาดนี้ ด้วยวิธีนี้ เมทริกซ์ที่สร้างแบบสอบถามแบบบริการตนเอง คีย์ และค่า รวมถึงการฉายภาพฝังตัว (embedding projections) จะมีโครงสร้างที่มีประโยชน์มากขึ้นเรื่อยๆ

ในกระบวนการนี้ โมเดลจะเรียนรู้ความสัมพันธ์เชิงความหมาย: โทเค็นอย่าง "สุนัข" และ "เห่า" จะอยู่ใกล้กันในพื้นที่เวกเตอร์เมื่อบริบทหมายถึงสัตว์เลี้ยง ในขณะที่ "เห่า" และ "ต้นไม้" จะมีความสัมพันธ์กันน้อยกว่า พื้นที่ฝังตัวนี้จะจับความคล้ายคลึงกันในความหมาย การเปรียบเทียบ และความสัมพันธ์ระหว่างแนวคิด ซึ่งจะถูกนำไปใช้ประโยชน์ในงานต่อๆ ไป

เมื่อการฝึกฝนเบื้องต้นเสร็จสมบูรณ์แล้ว โดยปกติจะทำการ ปรับแต่งขั้นสุดท้ายโดยใช้ชุดข้อมูลที่เฉพาะเจาะจงมากขึ้นเพื่อชี้นำโมเดลไปสู่ภารกิจที่เป็นรูปธรรม เช่น การปฏิบัติตามคำแนะนำ การตอบคำถามอย่างสุภาพ การเคารพเกณฑ์ความปลอดภัยบางประการ การใช้โทนเสียงที่เฉพาะเจาะจง เป็นต้น ในโมเดลการสนทนาเช่น GPT-4 ขั้นตอนนี้มักจะควบคู่ไปกับ RLHF ซึ่งมนุษย์และบางครั้งโมเดลอื่นๆ จะประเมินคำตอบที่เสนอและช่วยชี้นำระบบไปสู่พฤติกรรมที่เป็นประโยชน์และปลอดภัยยิ่งขึ้น

ผลลัพธ์สุดท้ายคือแบบจำลองที่ซึมซับรูปแบบไวยากรณ์ ความรู้เชิงข้อเท็จจริง โครงสร้างการให้เหตุผล และรูปแบบการเขียนที่กระจายอยู่ทั่วพารามิเตอร์ต่างๆ เมื่อได้รับข้อมูลป้อนเข้าใหม่ แบบจำลองนี้สามารถสร้างผลลัพธ์ที่สอดคล้องกัน สอดคล้องกับบริบท และในหลายกรณีก็มีความสร้างสรรค์ได้

GPT, ChatGPT และความสัมพันธ์ของพวกเขากับ LLM

คำว่าGPTย่อมาจาก "Generative Pre-trained Transformer" ซึ่งหมายถึงตระกูล LLM เฉพาะที่พัฒนาโดย OpenAI โดยใช้สถาปัตยกรรม Transformer เป็นพื้นฐาน คำว่า "Generative" บ่งบอกถึงความสามารถในการสร้างเนื้อหาใหม่ "Pre-trained" หมายถึงการที่ได้รับการฝึกฝนจากคลังข้อมูลขนาดใหญ่ก่อนที่จะนำไปปรับใช้กับงานเฉพาะ และ "Transformer" หมายถึงสถาปัตยกรรมพื้นฐาน

ในความเป็นจริง ChatGPTคือแอปพลิเคชันแชทที่สร้างขึ้นบนโมเดล GPT (เช่น GPT-4 และเวอร์ชันต่างๆ) LLM ทำหน้าที่เป็น "สมอง" ที่สร้างคำตอบ ในขณะที่ส่วนติดต่อผู้ใช้ของ ChatGPT เป็นชั้นที่ช่วยให้ผู้ใช้สามารถสนทนากับโมเดลนั้นได้อย่างง่ายดาย หากไม่มีโมเดลภาษาพื้นฐาน ChatGPT ก็จะเป็นเพียงแค่กล่องข้อความว่างเปล่าที่ไม่มีความสามารถในการสร้างข้อความใดๆ

ความแตกต่างระหว่าง GPT และ LLM สามารถเข้าใจได้ดังนี้: LLM เป็นหมวดหมู่ทั่วไปที่ครอบคลุมแบบจำลองภาษาขนาดใหญ่ใดๆ ในขณะที่ GPT เป็นกลุ่มเฉพาะภายในหมวดหมู่นั้น ตัวอย่างอื่นๆ ของ LLM ที่ไม่ได้อยู่ใน GPT ได้แก่ Claude (Anthropic), Gemini (Google), Llama (Meta), Mistral หรือแบบจำลองแบบเปิด เช่น Bloom

ประเภทของแบบจำลองภาษาและตระกูลภาษาที่โดดเด่น

ในระบบนิเวศปัจจุบัน มีLLMและแบบจำลองภาษาหลายประเภท แต่ละประเภทมีวัตถุประสงค์และลักษณะเฉพาะที่แตกต่างกัน บางประเภทออกแบบมาสำหรับงานทั่วไป บางประเภทสำหรับการทำความเข้าใจบริบทเชิงลึก บางประเภทสำหรับการสร้างโค้ด และบางประเภทสำหรับโดเมนเฉพาะทางขั้นสูง

ในบรรดาโมเดลอเนกประสงค์ที่มุ่งเน้นการสร้างข้อความและการสนทนา โมเดลGPT-3/GPT-4ของ OpenAI , Claude ของ Anthropic, PaLM และ Gemini ของ Google และ ตระกูล Llama ของ Meta โดดเด่นเป็นอย่างมาก โดยเฉพาะอย่างยิ่ง ตระกูลLlamaซึ่งเป็นตัวขับเคลื่อนหลักของระบบนิเวศโอเพนซอร์ส แพลตฟอร์มระดับองค์กรหลายแห่งมีศูนย์กลางที่ผู้ใช้สามารถเลือกใช้โมเดลเหล่านี้ได้หลายแบบ ขึ้นอยู่กับกรณีการใช้งาน ต้นทุน ความหน่วง และข้อจำกัดด้านความเป็นส่วนตัว

ในสาขาการทำความเข้าใจภาษาโมเดลอย่างBERT (Bidirectional Encoder Representations from Transformers) ถือเป็นจุดเปลี่ยนสำคัญ BERT ได้รับการฝึกฝนแบบสองทิศทาง ซึ่งหมายความว่ามันเรียนรู้ที่จะทำนายคำที่ถูกปิดบังโดยใช้บริบททั้งก่อนหน้าและตามหลัง ทำให้สามารถจับความแตกต่างเล็กน้อยและความสัมพันธ์ที่ซับซ้อนภายในประโยคได้ดียิ่งขึ้น โมเดลเวอร์ชันต่างๆ เช่น DistilBERT, RoBERTa, ALBERT และ XLM-R ได้รับการปรับปรุงประสิทธิภาพ ขนาด หรือการรองรับหลายภาษาให้ดียิ่งขึ้น

สำหรับการสร้างโค้ดมีโมเดลต่างๆ เช่น Codex (ซึ่งเป็นพื้นฐานของ GitHub Copilot) หรือ AlphaCode ที่ได้รับการฝึกฝนมาโดยเฉพาะกับคลังเก็บโค้ดและปัญหาเชิงอัลกอริทึม ระบบเหล่านี้สามารถแนะนำฟังก์ชัน เติมเต็มบล็อกโค้ด หรือแม้กระทั่งแก้แบบฝึกหัดที่ซับซ้อนจากคำอธิบายในภาษาธรรมชาติได้

ใน สาขา ภาษาหลายภาษาและหลายรูปแบบเราพบข้อเสนอต่างๆ เช่น BLOOM, CLIP และระบบ GPT สมัยใหม่ ซึ่งสามารถทำงานกับข้อความ รูปภาพ เสียง และแม้กระทั่งวิดีโอ แนวโน้มที่ชัดเจนคือการพัฒนารูปแบบที่ผสานรวมหลายรูปแบบพร้อมกัน เปิดประตูสู่แอปพลิเคชันต่างๆ เช่น การวิเคราะห์วิดีโอพร้อมคำอธิบายข้อความ ผู้ช่วยที่เข้าใจแผนภาพ และระบบที่ผสมผสานข้อมูลภาพและข้อความ นอกจากนี้ยังมีรูปแบบเสียงและหลายรูปแบบ เช่น MAI Voice 1ที่แสดงให้เห็นถึงวิวัฒนาการนี้

ในที่สุดโมเดล LLM ขนาดเล็กหรือประสิทธิภาพสูง ก็ได้รับความนิยมมากขึ้น โดยได้รับการออกแบบให้ทำงานบนอุปกรณ์ที่มีทรัพยากรจำกัด (มือถือ อุปกรณ์เอดจ์ ฯลฯ) หรือเพื่อลดต้นทุนการประมวลผล โมเดล Llama, T5, ALBERT หรือโมเดลอื่นๆ เวอร์ชันลดขนาด ช่วยให้สามารถใช้งาน AI แบบสร้างสรรค์ได้โดยไม่ต้องใช้โครงสร้างพื้นฐานคลาวด์ขนาดใหญ่

LLM เทียบกับ NLP แบบดั้งเดิม

เป็นเรื่องปกติที่จะสับสนระหว่างแนวคิดของLLM และ NLP NLP (การประมวลผลภาษาธรรมชาติ) เป็นสาขาที่กว้างขวางซึ่งครอบคลุมเทคนิคทั้งหมดสำหรับการประมวลผลภาษาโดยอัตโนมัติ เช่น การวิเคราะห์ความรู้สึก การแยกคำสำคัญ การตรวจจับหัวข้อ การแปล การสรุปความ ฯลฯ ในอดีต งานเหล่านี้แต่ละอย่างได้รับการแก้ไขด้วยแบบจำลองเฉพาะที่ฝึกฝนขึ้นมาโดยเฉพาะ เช่น อัลกอริทึมทางสถิติ ระบบที่ใช้กฎ แบบจำลอง n-gram เครือข่าย LSTM word2vec เป็นต้น

การสร้างแบบจำลองขนาดใหญ่ (LLM) เป็นวิวัฒนาการของการประมวลผลภาษาธรรมชาติแบบดั้งเดิมแทนที่จะฝึกแบบจำลองที่แตกต่างกันสำหรับแต่ละงาน แบบจำลองขนาดใหญ่แบบอเนกประสงค์เพียงแบบเดียวสามารถทำการแปล การสรุป การจำแนกประเภท การสร้างข้อความ การให้เหตุผลพื้นฐาน และการดำเนินการอื่น ๆ อีกมากมายโดยแทบไม่ต้องฝึกเพิ่มเติมเลย (เรียกว่าการเรียนรู้แบบ Zero-shot และ Few-shot)

ความแตกต่างที่สำคัญอยู่ที่ขนาดและวิธีการ : ในขณะที่โมเดล NLP แบบดั้งเดิมได้รับการฝึกฝนจากชุดข้อมูลขนาดเล็กที่มีป้ายกำกับ โมเดล LLM เรียนรู้จากโทเค็นที่ไม่มีป้ายกำกับหลายล้านล้านรายการ ทำให้สามารถจับรูปแบบที่ซับซ้อนกว่ามากได้ นี่ไม่ได้หมายความว่า NLP ล้าสมัยไปแล้ว แต่โมเดล LLM ได้กลายเป็นโมเดลพื้นฐานที่ใช้สร้างโซลูชัน NLP เฉพาะในบริบทของโลกแห่งความเป็นจริง

การประยุกต์ใช้แบบจำลองภาษาในทางปฏิบัติ

ปัจจุบัน LLM (Level Language Management) เป็นหัวใจสำคัญของแอปพลิเคชันและผลิตภัณฑ์ มากมาย ในด้านผู้ช่วยเสมือนจริง LLM เป็นส่วนสำคัญของเครื่องมือต่างๆ เช่น Siri, Google Assistant, Alexa และแชทบอทบนเว็บที่เข้าใจคำขอด้วยภาษาธรรมชาติและให้คำตอบที่เกี่ยวข้อง ดำเนินการตามคำสั่ง หรือทำการกระทำต่างๆ เช่น การส่งข้อความและการนัดหมาย

ในด้านการแปลด้วยเครื่องจักร โมเดลขั้นสูงช่วยให้การแปลข้อความมีความแม่นยำและเป็นธรรมชาติมากกว่าระบบแบบดั้งเดิมที่ใช้กฎเกณฑ์ แพลตฟอร์มอย่าง Google Translate และ DeepL ได้พัฒนาคุณภาพการแปลให้ดีขึ้นอย่างมากด้วยสถาปัตยกรรมแบบ Transformer ที่ได้รับการฝึกฝนจากชุดข้อมูลหลายภาษาขนาดใหญ่

ในแง่ของประสิทธิภาพการทำงาน โมเดลภาษาถูกผสานรวมเข้ากับโปรแกรมตรวจสอบไวยากรณ์และรูปแบบการเขียนฟีเจอร์เติมคำอัตโนมัติในอุปกรณ์พกพาและโปรแกรมประมวลผลคำ คำแนะนำการค้นหาในเบราว์เซอร์และแบบฟอร์ม รวมถึงระบบสร้างเนื้อหาสำหรับโซเชียลมีเดีย บล็อก และแคมเปญโฆษณา หากคุณต้องการเรียนรู้วิธีการใช้ปัญญาประดิษฐ์ในเอกสารของคุณมีคู่มือเชิงปฏิบัติที่แสดงวิธีนำคุณสมบัติเหล่านี้ไปใช้ในโปรแกรมแก้ไขสมัยใหม่

ในโลกธุรกิจ โมเดล LLM ถูกนำมาใช้เพื่อทำให้การบริการลูกค้าเป็นไปโดยอัตโนมัติผ่านแชทบอทที่สามารถตอบคำถามทั่วไป สร้างบทสรุปสำหรับผู้บริหารของเอกสารภายใน ช่วยในการเขียนรายงาน สร้างโค้ดสำหรับทีมพัฒนา หรือช่วยงานธุรการที่ซ้ำซากจำเจ เทคนิคต่างๆ เช่น RAG (Retrieval-Augmented Generation) ช่วยให้โมเดลเชื่อมต่อกับฐานความรู้ภายในองค์กร เพื่อให้คำตอบนั้นอิงจากข้อมูลที่ได้รับการตรวจสอบและทันสมัย

นอกจากนี้ยังมีแบบจำลองภาษา เฉพาะด้าน ( LLM ) เช่น BioBERT สำหรับงานวิจัยทางการแพทย์ชีวภาพ FinBERT สำหรับข้อความทางการเงิน และ LegalBERT สำหรับเอกสารทางกฎหมาย แบบจำลองเหล่านี้ได้รับการปรับปรุงบนชุดข้อมูลเฉพาะเพื่อเพิ่มความแม่นยำในสาขาของตน และสนับสนุนแพทย์ นักกฎหมาย และนักวิเคราะห์ในการอ่านและสังเคราะห์ข้อมูลจำนวนมาก

ข้อดี ข้อเสีย และความท้าทายด้านจริยธรรม

โมเดลภาษาขนาดใหญ่มีข้อดีที่ชัดเจนหลายประการ ได้แก่การทำงานอัตโนมัติของงานที่ซ้ำซากจำเจเพิ่มประสิทธิภาพการทำงาน ช่วยให้สร้างผู้ช่วยสนทนาที่เป็นธรรมชาติมากขึ้น ปรับปรุงการแปลให้คล่องตัว เร่งความเร็วในการเขียนโปรแกรม และอำนวยความสะดวกในการเข้าถึงข้อมูลที่ซับซ้อน พวกมันเป็นพลังแห่งการเปลี่ยนแปลงที่คล้ายกับการใช้หุ่นยนต์ในอุตสาหกรรม แต่ประยุกต์ใช้กับงานที่ต้องใช้ความรู้

อย่างไรก็ตาม โมเดลนี้ก็มีข้อจำกัดที่สำคัญ หลายประการ ข้อจำกัด ที่รู้จักกันดีที่สุดคือ "ภาพหลอน": โมเดลนี้สามารถสร้างคำตอบที่ฟังดูน่าเชื่อถือมาก แต่เป็นเท็จหรือไม่ถูกต้อง เนื่องจากมันเรียนรู้จากความสัมพันธ์ทางสถิติ ไม่ใช่จากความเข้าใจอย่างลึกซึ้งในโลก มันจึงสามารถสร้างคำพูด ข้อมูล หรือการอ้างอิงที่ไม่เคยมีอยู่จริงขึ้นมาได้

ความท้าทายสำคัญอีกประการหนึ่งคืออคติ โมเดลภาษาแบบเรียนรู้ด้วยตนเอง (LLM) สืบทอดอคติทางวัฒนธรรม ภาพลักษณ์เหมารวม หรือรูปแบบการเลือกปฏิบัติจากข้อมูลการฝึกอบรม ซึ่งอาจนำไปสู่การตอบสนองที่เป็นปัญหาหากไม่ได้รับการกรองและแก้ไข นอกจากนี้ยังก่อให้เกิดปัญหาด้านความเป็นส่วนตัวและการปฏิบัติตามกฎระเบียบเมื่อใช้กับข้อมูลที่ละเอียดอ่อน โดยเฉพาะอย่างยิ่งหากใช้งานผ่าน API ภายนอกแทนที่จะใช้โครงสร้างพื้นฐานที่เป็นกรรมสิทธิ์

ต้นทุนการคำนวณในการฝึกฝนและใช้งานโมเดลขนาดใหญ่นั้นสูงมาก ทั้งในแง่เศรษฐกิจและพลังงาน สิ่งนี้ก่อให้เกิดการถกเถียงเกี่ยวกับความยั่งยืนและการกระจุกตัวของอำนาจทางเทคโนโลยีในบริษัทเพียงไม่กี่แห่งที่มีศักยภาพในการฝึกฝนโมเดลรุ่นใหม่

ในยุโรปและภูมิภาคอื่นๆ กรอบการกำกับดูแล เช่นกฎหมาย AIกำหนดให้ต้องมีความโปร่งใส การประเมินความเสี่ยง และการกำกับดูแลโดยมนุษย์ โดยเฉพาะอย่างยิ่งสำหรับระบบที่โต้ตอบกับผู้บริโภคหรือทำการตัดสินใจที่มีผลกระทบอย่างมาก นอกจากนี้ยังมีความเสี่ยงจากการผูกขาดผู้ให้บริการ ซึ่งหลายบริษัทพยายามลดความเสี่ยงนี้โดยการสำรวจโมเดลแบบเปิดและกลยุทธ์แบบผสมผสาน

วิธีการออกแบบและปรับหลักสูตร LLM ในทางปฏิบัติ

จากมุมมองทางวิศวกรรม การสร้างและใช้งาน LLM เกี่ยวข้องกับการปฏิบัติตามขั้นตอนสำคัญ หลายขั้นตอน ขั้นแรกคือการกำหนดวัตถุประสงค์: เป้าหมายคือแบบจำลองอเนกประสงค์ ผู้ช่วยด้านการสนับสนุนทางเทคนิค ระบบสำหรับการวิเคราะห์ทางกฎหมาย หรือ AI สำหรับการตลาดและการขายหรือไม่ การตัดสินใจนี้จะชี้นำว่าควรเลือกใช้ข้อมูลใดและจะประเมินประสิทธิภาพอย่างไร

ขั้นตอนต่อไปคือการเตรียมการฝึกฝนซึ่งเกี่ยวข้องกับการรวบรวมและกำหนดมาตรฐานชุดข้อมูลขนาดใหญ่และหลากหลาย จากนั้นจึงทำการแบ่งข้อความออกเป็นโทเค็น และกำหนดโครงสร้าง (จำนวนเลเยอร์ ขนาดของเวกเตอร์ฝังตัว จำนวนหัวควบคุมความสนใจ ฯลฯ) การเลือกโครงสร้างพื้นฐานมีความสำคัญอย่างยิ่ง จำเป็นต้องใช้เซิร์ฟเวอร์ประสิทธิภาพสูงที่มี GPU หรือ TPU จำนวนมาก หรือคลัสเตอร์คลาวด์ที่สามารถรองรับปริมาณงานมหาศาลได้

ในระหว่างการฝึกฝนพารามิเตอร์ต่างๆ เช่น อัตราการเรียนรู้ ขนาดแบทช์ จำนวนขั้นตอน กลยุทธ์การปรับค่า และตารางการเรียนรู้ จะถูกปรับเปลี่ยน เมื่อขั้นตอนนี้เสร็จสิ้น การปรับแต่งอย่างละเอียดจะเริ่มต้นขึ้น โดยที่แบบจำลองจะได้รับการปรับปรุงอย่างต่อเนื่องโดยใช้ข้อมูลเฉพาะ ตัวชี้วัดคุณภาพ และในหลายกรณี การประเมินโดยมนุษย์

ในการใช้งานจริง ผู้เชี่ยวชาญหลายคนไม่ได้ฝึกโมเดลตั้งแต่เริ่มต้น แต่เลือกใช้โมเดล LLM ที่ได้รับการฝึกฝนมาแล้วจากองค์กรขนาดใหญ่หรือชุมชนโอเพนซอร์ส จากนั้นจึงใช้เทคนิคต่างๆ เช่น การปรับแต่งเล็กน้อย การออกแบบอย่างรวดเร็ว RAG หรือการกลั่นกรอง เพื่อปรับโมเดลเหล่านี้ให้เข้ากับบริบทเฉพาะ ลดต้นทุน และเพิ่มประสิทธิภาพการผลิต

ภายในระบบนิเวศที่กว้างขึ้นนี้ LLM ถือเป็นแบบจำลองพื้นฐาน : เครือข่ายขนาดใหญ่ทั่วไปที่ใช้เป็นรากฐานในการสร้างโซลูชันเฉพาะด้าน ความสามารถในการปรับตัวของ LLM ประกอบกับการพัฒนาอย่างรวดเร็วของเวอร์ชันแบบหลายรูปแบบและมีประสิทธิภาพมากขึ้น ชี้ให้เห็นถึงอนาคตที่เครื่องมือที่เข้าถึงได้ง่ายขึ้นจะช่วยให้บริษัทและผู้ใช้สามารถใช้ประโยชน์จาก AI แบบสร้างสรรค์ได้ในชีวิตประจำวัน

สถานการณ์ทั้งหมดนี้ได้เปลี่ยนโมเดลภาษาจากสิ่งแปลกใหม่ในห้องทดลองไปสู่โครงสร้างพื้นฐานที่สำคัญของเศรษฐกิจดิจิทัล พวกมันกำลังเปลี่ยนแปลงการบริการลูกค้า การตลาด การพัฒนาซอฟต์แวร์ การวิจัย และวิธีการที่เราโต้ตอบกับเทคโนโลยี การทำความเข้าใจวิธีการทำงาน สิ่งที่พวกมันทำได้ และข้อจำกัดของพวกมัน เป็นกุญแจสำคัญในการใช้ประโยชน์จากข้อดีของพวกมัน ในขณะเดียวกันก็ต้องตระหนักถึงความเสี่ยงและข้อจำกัดของพวกมันด้วย