शोधकर्ताओं ने पाया कि विद्यार्थियों ने लेखा परीक्षा में चैटजीपीटी, ओपनएआई के चैटबॉट उत्पाद से बेहतर प्रदर्शन किया।
फिर भी, उन्होंने कहा कि ChatGPT का प्रदर्शन “प्रभावशाली” था और यह एक “गेम चेंजर है जो हर किसी के पढ़ाने और सीखने के तरीके को बदल देगा – बेहतर के लिए।” ब्रिघम यंग यूनिवर्सिटी (BYU), यूएस और 186 अन्य विश्वविद्यालयों के शोधकर्ता जानना चाहते थे कि OpenAI की तकनीक लेखा परीक्षा में कैसा प्रदर्शन करेगी। उन्होंने अपने निष्कर्ष जर्नल इश्यूज इन एकाउंटिंग एजुकेशन में प्रकाशित किए हैं।
शोधकर्ताओं की लेखा परीक्षा में, छात्रों ने चैटजीपीटी के 47.4 प्रतिशत के स्कोर की तुलना में कुल औसत 76.7 प्रतिशत स्कोर किया।
जबकि 11.3 प्रतिशत प्रश्नों में, ChatGPT को छात्र औसत से अधिक स्कोर करने के लिए पाया गया, विशेष रूप से लेखा सूचना प्रणाली (AIS) और ऑडिटिंग में अच्छा प्रदर्शन करते हुए, जबकि AI बॉट ने टैक्स, वित्तीय और प्रबंधन आकलन पर खराब प्रदर्शन किया। वह शोधकर्ताओं का मानना है कि यह संभवतः हो सकता है क्योंकि चैटजीपीटी बाद के प्रकार के लिए आवश्यक गणितीय कार्यों के साथ संघर्ष कर रहा था।
एआई बॉट, जो प्राकृतिक भाषा पाठ उत्पन्न करने के लिए मशीन लर्निंग का उपयोग करता है, को अधिक सही/गलत प्रश्नों (68.7 प्रतिशत सही) और बहुविकल्पीय प्रश्नों (59.5 प्रतिशत) पर बेहतर प्रदर्शन करने के लिए पाया गया, लेकिन छोटे उत्तरों के बीच (बीच में) प्रश्नों के साथ संघर्ष किया। 28.7). और 39.1 प्रतिशत)।
सामान्य तौर पर, शोधकर्ताओं ने कहा, उच्च-क्रम के प्रश्नों का उत्तर देना चैटजीपीटी के लिए कठिन था। दरअसल, चैटजीपीटी को कभी-कभी गलत उत्तरों के लिए आधिकारिक लिखित स्पष्टीकरण प्रदान करने या एक ही प्रश्न का अलग-अलग तरीकों से उत्तर देने के लिए पाया गया था।
उन्होंने यह भी पाया कि ChatGPT अक्सर अपनी प्रतिक्रियाओं के लिए स्पष्टीकरण प्रदान करता है, भले ही वे गलत हों। दूसरी बार, सही स्पष्टीकरण प्रदान करने के बावजूद, यह गलत बहुविकल्पी उत्तर का चयन करने के लिए चला गया।
महत्वपूर्ण रूप से, शोधकर्ताओं ने नोट किया कि चैटजीपीटी कभी-कभी तथ्य बनाता है। उदाहरण के लिए, एक संदर्भ प्रदान करते समय, उसने एक वास्तविक दिखने वाला संदर्भ प्रस्तुत किया जो पूरी तरह से गढ़ा हुआ था। कार्य और कभी-कभी लेखक भी मौजूद नहीं थे।
बॉट को गणितीय त्रुटियां करते हुए भी देखा गया था, जैसे घटाव की समस्या में दो संख्याओं को जोड़ना, या संख्याओं को गलत तरीके से विभाजित करना।
चैटजीपीटी जैसे मॉडलों को शिक्षा में कैसे फिट होना चाहिए, इस बारे में गहन चल रही बहस में शामिल होना चाहते हैं, बीईयू अकाउंटिंग प्रोफेसर लीड स्टडी लेखक डेविड वुड ने जितने प्रोफेसरों को देख सकते थे, भर्ती करने का फैसला किया। वास्तविक विश्वविद्यालय लेखा छात्रों के खिलाफ एआई कैसे किराया करता है .
उनकी सह-लेखक भर्ती पिच सोशल मीडिया पर फैल गई: 14 देशों के 186 शैक्षणिक संस्थानों के 327 सह-लेखकों ने अध्ययन में भाग लिया, 25,181 कक्षा लेखा परीक्षा के सवालों के जवाब दिए।
उन्होंने ChatGPT को अतिरिक्त 2,268 टेक्स्टबुक टेस्ट बैंक प्रश्नों को फीड करने के लिए अंडरग्रेजुएट BYU छात्रों की भी भर्ती की। प्रश्नों में एआईएस, ऑडिटिंग, वित्तीय लेखांकन, प्रबंधकीय लेखा और कराधान शामिल हैं, और कठिनाई और प्रकार में विविध (सही/गलत, बहुविकल्पी, संक्षिप्त उत्तर)।
