Mga gawain kung saan nabigo ang ChatGPT at kung paano maiiwasan ang mga pagkakamali nito

Informatec Digital » Kayamanan » Mga gawain kung saan nabigo ang ChatGPT at kung paano maiiwasan ang mga pagkakamali nito

Ang generative artificial intelligence ay gumapang sa ating pang-araw-araw na buhay, at Ang ChatGPT ay naging pangunahing kagamitan para sa pagsulat, pagbubuod, pag-iiskedyul, o paghahanap ng mga ideyaGayunpaman, kahit gaano pa ito kahanga-hanga, malayo pa rin ito sa pagiging perpekto. Ang basta-basta pagtitiwala sa mga sagot nito ay maaaring humantong sa higit sa isang hindi kanais-nais na sorpresa kung hindi mo lubos na alam ang paksa. kung saan ito nahihilo.

Kaya naman parami nang parami ang mga eksperto na iginigiit na Ang pag-unawa sa mga gawaing kung saan nabibigo ang ChatGPT ay halos kasinghalaga ng pag-alam kung paano ito gamitin.Hindi ito tungkol sa pagdemonyo sa teknolohiya, kundi tungkol sa pagkatutong mamuhay kasama ang mga limitasyon nito: kung kailan ito maaasahan, kung kailan dapat tanggapin ang mga sagot nito nang may pag-aalinlangan, at kung paano ito gamitin nang hindi nawawala ang kritikal na paghatol ng tao.

Bakit mahalagang malaman ang mga limitasyon ng ChatGPT

Sa likod ng chat interface ay matatagpuan ang isang kumplikadong sistema na Pinagsasama nito ang malalaking modelo ng wika na may mga panloob na mekanismo na inuuna ang bilis o pangangatwiran depende sa tanong.Ang awtomatikong "desisyon" na ito ay hindi laging naaayon sa kung ano ang kailangan ng gumagamit: kung minsan ang mabilis na tugon ay inuuna kahit na ang problema ay nangangailangan ng sunud-sunod na pag-iisip. Maaari mong suriin nang mas malalim kung paano ang mga parameter ng artipisyal na katalinuhan makaimpluwensya sa ganoong pag-uugali.

Bukod pa rito, nagbabago ang kilos ng modelo sa bawat pag-update, na siyang dahilan kung bakit Maaaring iba ang tugon ng ChatGPT sa parehong query sa iba't ibang orasDagdag pa rito ang mga limitasyon sa konteksto sa mahahabang pag-uusap, kung saan nagsisimula nitong "makalimutan" ang mga bahagi ng thread, at mga security filter na humaharang sa mga sensitibo o ganap na lehitimong paksa dahil sa labis na pag-iingat.

Ang kombinasyon ng mga salik na ito ay nangangahulugan na, sa pagsasagawa, Ang karanasan ng gumagamit ay maaaring magbago mula sa napakaganda patungo sa nakakadismaya sa loob lamang ng ilang segundo.Ang pagkakaiba sa pagitan ng isang kapaki-pakinabang na resulta at isang mapaminsalang resulta ay karaniwang nakasalalay sa kung matutukoy ng gumagamit kung kailan lumilihis ng landas ang AI at kung paano ito ire-redirect.

Ilang kamakailang pag-aaral at survey ang nagpapakita na Malaking bahagi ng mga gumagamit ang hindi lubos na nagtitiwala sa mga tugon ng ChatGPT.Sa isang survey ng OCU, maraming tao ang nagsabing ang "kakulangan ng tiwala" sa impormasyong nabuo ang pangunahing dahilan kung bakit hindi ito ginagamit araw-araw, kahit na sinubukan na nila ito.

Dahil dito, inirerekomenda ng mga espesyalista sa artificial intelligence at edukasyon Gamitin ang ChatGPT bilang karagdagang mapagkukunan at hindi kailanman bilang ang sukdulang tagahatol ng katotohananAng pagpapatunay ng datos gamit ang ibang mga sanggunian, pagkakaroon ng kaunting kaalaman tungkol sa paksa, at pag-aakalang ang impormasyon ay maaaring gawa-gawa lamang (ang sikat na "mga halusinasyon") ay, sa kasalukuyan, ay sapilitan.

Mga karaniwang error at teknikal na limitasyon ng ChatGPT

Naitala ng teknikal na literatura na Ang mga sistemang ito ay may posibilidad na makabuo ng mga kapani-paniwala ngunit maling sagot.lalo na kapag ang tanong ay hindi malinaw, napaka-espesipiko, o lumihis sa datos na nakita nila sa pagsasanay. Ang problema ay ang mga salita ay nakakakumbinsi kaya mahirap matukoy ang error kung ang gumagamit ay hindi pamilyar sa paksa. Mga kagamitan tulad ng mga extension para matukoy ang nilalamang binuo ng AI Makakatulong sila na matukoy ang ilan sa mga halusinasyon na iyon.

Binibigyang-diin ng mga eksperto tulad ni Propesor Josep Curto na Ang ilan sa mga pinakakaraniwang pagkabigo ay malalalim at nakakaapekto sa pangkalahatang pagiging maaasahan ng sistema.Kabilang sa mga ito, binanggit niya ang mga maling paglalarawan ng mga napapatunayang katotohanan, mga hindi kumpletong sagot, mga imbentong paliwanag ng "proseso ng pangangatwiran" ng modelo, at hindi gaanong tumpak na pag-uugali sa mga wikang maliban sa Ingles.

Bukod pa rito, bagama't may mga pagpapabuting ipinapatupad, Ang mga etikal at pangkaligtasang paghihigpit ay hindi laging maayos na nakalibrateMinsan hinaharangan nila ang mga lehitimong kahilingan habang pinapayagan ang iba pang mga problematiko, o lumilikha sila ng mga tugon na puno ng mga bias na minana mula sa datos ng pagsasanay, kultural man, pampulitika, o may kaugnayan sa kasarian.

Gayunpaman, ang patuloy na pananaliksik sa deep learning at natural language processing ay humantong sa Ang mga pinakabagong bersyon, tulad ng GPT-4, ay nakakamit ng halos pagganap ng tao sa mga kumplikadong gawain matematika, programming, batas, medisina, o sikolohiya. Ngunit ang mataas na pagganap ay hindi nangangahulugang hindi nagkakamali, at umiiral pa rin ang mga blind spot.

7 gawain kung saan nabigo (o hindi maaasahan) ang ChatGPT

Bagama't maaaring maging lubhang kapaki-pakinabang ang ChatGPT sa maraming sitwasyon, may ilang uri ng gawain kung saan ang posibilidad na makakuha ng mali, may kinikilingan, o nakaliligaw na sagot ay tumataas nang malakiMahalagang maging pamilyar sa mga sitwasyong ito upang maging lubos na maingat.

1. Lohikal na pangangatwiran at kumplikadong matematika

Kapag hinihingi ng problema mga magkakaugnay na kalkulasyon, mga demonstrasyong lohikal, o mga pormal na patunay sa matematikaMadalas nagkakamali ang ChatGPT. Maaari itong magkamali sa mga simpleng operasyon, laktawan ang mga pangunahing hakbang, o ipakita ang mga maling resulta bilang tama.

Ito ay lalong kapansin-pansin sa mga pagsasanay na may maraming mga hakbang sa pagitan, kombinatorika, probabilidad, advanced algebra, o geometryBagama't maaaring mukhang maayos ang argumento sa teksto, ang maliliit na pagkakamali sa isang hakbang ay nakakaapekto sa buong resulta, at ang modelo ay walang paraan upang tunay na "suriin" ang sarili nitong pangangatwiran.

2. Sentido komun, intuwisyon, at konteksto ng tao

Literal na binibigyang-kahulugan ng AI ang sinasabi nito, kaya Nahihirapan siyang unawain ang ironya, dobleng kahulugan, sarkasmo, o mga pagtukoy sa kultura na lubos na lokal.Ito ay humahantong sa mga tugon na, para sa isang tao, ay malinaw na "wala sa lugar".

Kapag hinihingi ang gawain tunay na empatiya, malalim na emosyonal na pag-unawa, o praktikal na kaalaman sa totoong mundoGinagaya lamang ng modelo ang mga padron ng wika, ngunit walang personal na karanasan. Maaaring parang may empatiya ito, ngunit wala itong nararamdaman at nakikita ang mga sitwasyon tulad ng isang tao. Upang mapabuti ang tono at maiangkop ang mga tugon, ipinapayong i-customize ang ChatGPT at isaayos ang mga istilo at tungkulin.

3. Pangmatagalang memorya at pagpapatuloy ng proyekto

Kahit tila "naaalala" niya ang usapan, Limitado ang konteksto ng ChatGPT at maaaring mawala ang ilang bahagi ng history nang walang paunang abiso.Ang napakahabang pag-uusap o mga proyektong natatagalan ay nauuwi sa mga pagkawala ng memorya.

Direktang nakakaapekto ito mga gawain tulad ng pagsulat ng mga libro, malawak na ulat, o mga proyekto sa programming na may maraming sesyonKung ang nilalaman ay hindi iniimbak at pinamamahalaan sa labas, may panganib na mawala ang pagkakapare-pareho, ulitin ang mga desisyong nagawa na, o salungatin ang sarili nang hindi namamalayan ng modelo.

4. Sinasabing nakakatipid sa oras na mas malaki ang magagastos mo

Maraming tao ang bumabaling sa ChatGPT para sa mas mabilis na serbisyo, ngunit Kapag ang mga sagot ay naglalaman ng mga hindi gaanong malinaw na pagkakamali o may kulang na mahahalagang impormasyon, ang pagrerepaso at pagwawasto ay maaaring mas matagal kaysa sa pagsisimula mula sa simula.Ito ay lubhang kapansin-pansin sa mga propesyonal na gawain na nangangailangan ng mataas na pamantayan ng kalidad.

Sa mga lugar tulad ng mga teknikal na ulat, legal na dokumentasyon, akademikong nilalaman, o kodigo ng produksyonAng dagdag na oras na ginugugol sa beripikasyon ay maaaring lubos na makabawas sa dapat sanang benepisyo ng paggamit ng AI kung walang mahigpit na proseso ng pagsusuri.

5. Lumang data at kawalan ng koneksyon sa real-time

Ang mga modelong tulad ng GPT-3 o GPT-4 ay sinasanay gamit ang isang hanay ng datos na may takdang oras, kaya Wala silang direktang access sa web para makakuha ng impormasyon sa totoong oras.Depende sa bersyon, ang iyong kaalaman ay maaaring huminto sa isang partikular na taon.

Ipinahihiwatig nito na, sa mga usapin ng Mga kasalukuyang kaganapan, mga kamakailang pagbabago sa batas, mga pag-unlad sa agham, o mga pinakabagong balitaAng mga sagot ay maaaring luma na o sadyang mali. Kung hindi titingnan ng gumagamit ang mga na-update na mapagkukunan, hindi mapapansin ang error.

6. Pabagu-bagong pagganap at saturation

Sa mga panahong mataas ang demand, lalo na para sa mga libreng account, Maaaring maapektuhan ang kalidad at bilis ng mga tugonMaaaring sumagot ang modelo nang hindi gaanong detalyado, putulin nang wala sa oras ang mga sagot, o magbigay ng mas mababaw na mga solusyon.

Ang pagkakaiba-iba na ito ay nangangahulugan na Hindi ito palaging isang maaasahang kapalit para sa mga kritikal na gawain na may masikip na mga deadline.Ang lubos na pag-asa sa serbisyo sa mga oras na peak hours nang walang backup na plano ay maaaring maging isang panganib sa pagpapatakbo para sa mga negosyo at mga propesyonal.

7. Mga paghihigpit, pansala at pagkiling

Para sa mga kadahilanang pangseguridad, kasama sa ChatGPT ang Mga filter para maiwasan ang mapaminsala, ilegal, o labis na sensitibong nilalamanAng problema ay ang mga sistemang ito ng moderasyon ay hindi perpekto at kung minsan ay hinaharangan ang mga lehitimong kahilingan o hindi malinaw na tumutugon dahil sa labis na pag-iingat.

Gayunpaman, ipinakita ng ilang mananaliksik na Ang mga modelo ay maaaring patuloy na makabuo ng mga tugon na may mga pagkiling na rasista, sexist, o ideolohikal.sumasalamin sa mga bias na naroroon sa datos ng pagsasanay. May mga kaso na naitala tungkol sa mga bot na sinanay gamit ang mga katulad na pamamaraan na nauuwi sa paggawa ng mapang-akit na nilalaman. etikal na pagsusuri ng mga chatbot Nakakatulong ito upang maunawaan at mabawasan ang mga bias na ito.

Mga pangunahing pagkakamali: kung bakit napakaraming pagkakamali ang nagagawa ng ChatGPT

Sa pagsusuri ng mga pagkabigong ito, itinuturo ng mga pilosopo ng pag-iisip at mga eksperto sa AI ang mga limitasyon sa istruktura: Hindi iniisip, naiintindihan, o nalalaman ng ChatGPT ang sinasabi nitoAng kanilang maliwanag na katalinuhan ay nagmumula sa malawakang istatistikal na ugnayan, hindi mula sa tunay na pangangatwiran.

Halimbawa, itinuro ni Propesor Ned Block ang mga eksperimento gamit ang mga generative image model kung saan Hihilingin sa iyong gumuhit ng orasan na nagpapakita ng mga oras tulad ng 12:03 o 6:28, at halos palaging ang orasan ay lumalabas sa 10:10.Nangingibabaw ang oras na iyon sa mga larawan ng online advertising dahil kaaya-aya ito sa paningin at hindi natatakpan ang logo.

Ang kilos na ito ay nagpapakita kung paano May tendensiya ang mga modelo na gayahin ang mga pinakamadalas na padron sa kanilang datos ng pagsasanay, kahit na sumasalungat ang mga ito sa partikular na instruksyon.Hindi nila "naiintindihan" ang konsepto ng oras: inuulit lamang nila ang pinakakaraniwang tagpuan ayon sa istatistika.

Ganito rin ang nangyayari kapag hiniling ang isang imahe isang taong nagsusulat gamit ang kanyang kaliwang kamayMaraming modelo ang sistematikong bumubuo ng mga karakter na kanang kamay dahil karamihan sa mga halimbawa sa datos ay kanang kamay din. Ang pagkamit ng mahusay na representasyon ng karakter na kaliwang kamay ay nangangailangan ng patuloy na paggamit ng mga partikular na prompt, at kahit na ganoon, hindi ito palaging gumagana.

Ang ganitong uri ng pagkasira ng istruktura ay nagdudulot ng Kahit ang mga developer ay hindi kayang ganap na itama ang ilang malalim na nakaugat na mga biasNakakatulong ang pagsasanay sa pagpapatibay gamit ang feedback ng tao, ngunit ang manu-manong pagpapatibay sa lahat ng posibleng kaso (lahat ng orasan, lahat ng postura sa pagsusulat, atbp.) ay hindi magagawa.

Sa antas ng teksto, ang problema ay isinasalin sa labis na kumpiyansang mga paliwanag sa mga bagay na hindi talaga "alam" ng modeloKaya niyang idetalye nang sunud-sunod ang isang diumano'y pamamaraan na hindi pa niya naisagawa o kaya'y naimbento niya ang mga akademikong sanggunian at iniuugnay ito nang may lubos na kapani-paniwalang anyo.

Paano nagsanay si ChatGPT at bakit nakakaimpluwensya iyon sa kanyang mga pagkakamali

Ang mga modelo tulad ng GPT-3 at GPT-4 ay batay sa arkitektura ng Transformer, at Sinanay sila sa napakaraming teksto mula sa Internet: mga web page, libro, siyentipikong artikulo, balita at iba pang pampublikong mapagkukunan tulad ng Wikipedia o Common Crawl.

Ang proseso ay may dalawang pangunahing yugto. Una, isang malawakang paunang pagsasanay kung saan natututo ang modelo na hulaan ang susunod na salita sa milyun-milyong pangungusapSa yugtong ito, hindi itinuturo ang tahasang "gramatika", ngunit ang mga padron ay nahihinuha sa pamamagitan ng pagpuno sa mga puwang sa teksto, isang uri ng higanteng pagsasanay sa pagkumpleto ng mga salita.

Pagkatapos ay isinasagawa ang isang pinong pag-aayos para sa mga partikular na gawain, tulad ng pagsasalin, buod, sagot sa mga tanong o diyalogong pang-usapDito pumapasok ang mas maliliit at mas espesipikong datos, na may label upang ituro sa modelo kung anong uri ng tugon ang itinuturing na naaangkop sa bawat konteksto.

Sa kaso ng ChatGPT, ginamit din ito Reinforcement learning na may feedback ng tao (RLHF)Sinuri ng mga tagapagsanay na tao ang ilang posibleng tugon mula sa modelo sa parehong input at niraranggo ang mga ito mula sa pinakamahusay hanggang sa pinakamasama. Gamit ang impormasyong ito, natutunan ng sistema na piliin ang mga output na may pinakamataas na rating.

Pinapabuti ng pamamaraang ito ang nakikitang kalidad ng mga tugon, ngunit hindi nito inaalis ang pinagbabatayang problema: Kulang pa rin ang modelo sa pag-unawa sa semantika at direktang pag-access sa realidad.Pinapabuti lamang nito ang iyong pagkakataong magmukhang mas matulungin, magalang, at may tiwala sa sarili, na kung minsan ay lalong nagpapapanganib sa mga halusinasyon.

Bukod pa rito, bagama't inilalapat ang mga pamamaraan sa paglilinis ng datos, regularisasyon, at pagsusuri ng tao bawasan ang mga bias at stereotype na makikita sa mga teksto ng pagsasanayImposibleng salain ang mga ito nang lubusan. Kaya naman inirerekomenda ng mga kumpanya ang patuloy na pagsubaybay sa output, lalo na sa mga sensitibong aplikasyon.

Epekto ng ChatGPT sa pag-aaral at mundo ng trabaho

Simula nang ilunsad ito, muling pinag-ibayo ng ChatGPT ang debate tungkol sa Paano makakaapekto ang generative AI sa mga trabaho ng tao at sa sistema ng edukasyon?Inilalarawan ito ng malalaking kompanya ng teknolohiya bilang isang "co-pilot" o katulong, ngunit maraming pag-aaral ang tumutukoy sa malalim na pagbabago sa maraming propesyon.

Ipinapakita ng pananaliksik mula sa mga unibersidad tulad ng New York University at University of Pennsylvania, kasama ang mga pagsusuri mula sa OpenAI at iba pang mga entidad, na mga gawaing nakabatay sa wika (pagsulat, pagsasalin, pagsusuri ng teksto, dokumentasyon, pangunahing accounting) Lalo silang mahina sa bahagyang automation.

Sa merkado ng paggawa, sila ay natukoy na partikular na nalalantad mga telemarketer ng benta, mga propesor ng wika at panitikan sa unibersidad, mga guro ng kasaysayan o batas, mga tagasalin, mga kawani ng administratibo at ilang mga profile sa pagsusulatHindi ito nangangahulugan na mawawala silang lahat, ngunit nangangahulugan ito na ang malaking bahagi ng kanilang mga tungkulin ay lubos na makakaasa sa AI.

May iba pang mga pag-aaral na nakakakita ng malinaw na positibong epekto. Halimbawa, sa mga pagsubok kasama ang mga developer ng software, Ang mga gumamit ng mga coding assistant batay sa mga katulad na modelo ay nakakumpleto ng mga gawain nang hanggang 55% na mas mabilis kaysa sa mga nagtrabaho nang walang tulong. Tumataas ang produktibidad sa mga karaniwang gawain, na nagbibigay-daan sa mas maraming oras na ilaan sa mga kumplikadong problema.

Sa edukasyon, ang debate ay lalong umiinit. May mga karanasan na nagpapakita na Nagiging mahirap nang malaman kung ang isang maikling sanaysay ay isinulat ng isang estudyante o ng ChatGPT.kahit para sa mga bihasang guro at mga propesyonal na may-akda. Sa ilang mga eksperimento, nabigo ang mga guro at eksperto na matukoy ang tunay na may-akda.

Bilang tugon dito, maraming tagapagturo ang nagsisimulang magtaas ng mas maraming oral na pagtatasa, gawain sa klase, at mga aktibidad na nagpapakita ng proseso ng pag-iisip ng mag-aaralhindi lamang ang pangwakas na produkto. Ang iba ay nagmumungkahi ng paggamit ng ChatGPT bilang kasangkapan sa pagtuturo: isang panimulang punto kung saan dapat suriin, itama, ihambing sa mga totoong sanggunian at pagbutihin ng mag-aaral.

Mga pinakamahusay na kasanayan para sa paggamit ng ChatGPT nang hindi nahuhulog sa mga patibong nito

Sa kabila ng lahat ng mga problemang ito, ang ChatGPT ay lubos na kapaki-pakinabang kung bibigyan ng tamang tungkulin. Ang susi ay nasa pagsamahin ang mahusay na agarang disenyo at mahigpit na kontrol ng tao sa kung ano ang nalilikha nitolalo na kapag may mga implikasyon sa akademiko, legal, o propesyonal.

Ang unang pangunahing rekomendasyon ay Palaging beripikahin ang mga katotohanan, datos, sanggunian, at mga pansariling pangalan. bago gamitin ang mga ito. Hindi sapat para "maganda ang tunog" nito: kailangan mong sumangguni sa mga mapagkakatiwalaang mapagkukunan (mga siyentipikong artikulo, opisyal na batas, mga aklat na sanggunian, mga espesyalisadong database, atbp.).

Maginhawa din ito Huwag ibatay ang mga kritikal na desisyon sa iisang modelo ng tugon.Kapag mahalaga ang usapin, mainam na paghambingin ang ilang opinyon (iba pang mga kagamitan, mga ekspertong tao, dokumentasyon) at gamitin lamang ang chat bilang suporta o tagabuo ng draft.

Malaki ang epekto ng disenyo ng mga tagubilin: Ang malinaw, tiyak, at maayos na pagkakabalangkas ng mga prompt ay nakakabawas ng kalabuan at may posibilidad na makabuo ng mas kapaki-pakinabang na mga outputAng paghiling sa kanila na ipaliwanag ang kanilang pangangatwiran nang paunti-unti, magsama ng mga kontra-halimbawa, o ituro ang mga posibleng limitasyon ay makakatulong sa pagtukoy ng mga pagkakamali.

Panghuli, gamit ang ChatGPT bilang tagalikha ng mga template, balangkas, burador at listahan ng mga ideya na pagkatapos ay gagawin ng taoSa halip na basta tanggapin na lamang ang pinal na teksto, nakakatipid ito ng oras sa mas mekanikal na aspeto, ngunit ang pinal na nilalaman ay binabago pa rin at pinapatunayan ng isang tao.

Ang karanasan ng mga nakaraang taon ay nagpapakita na Ang generative artificial intelligence ay pinakamahusay na gumagana kapag tinatrato natin ito bilang isang makapangyarihan ngunit nagkakamaling katulongTaglay ang mapanuri, mahusay na pagpapasya sa pagpili ng mga gawain, at isang seryosong sistema ng pagsusuri, ito ay nagiging isang mahalagang kakampi sa halip na isang tahimik na panganib.

Kaugnay na artikulo:

Paano i-customize ang ChatGPT at i-fine-tune ang iyong mga tugon tulad ng isang pro