Apple ने शनिवार को एक शोध पत्र प्रकाशित किया, जिसमें शोधकर्ताओं ने हाल ही में प्रकाशित इनवेंशन मॉडल की ताकत और कमजोरियों को देखा। इन्हें बड़े अनुमान मॉडल (LRM) भी कहा जाता है, और “सोच” मॉडल हैं जो अन्य संगणनाओं का लाभ उठाकर जटिल समस्याओं को हल करते हैं। हालांकि, इस लेख में पाया गया है कि सबसे शक्तिशाली मॉडल भी जटिलता के मुद्दों के साथ संघर्ष करते हैं। जब समस्या अत्यधिक जटिल होती है, तो मॉडल पूरी तरह से ढह जाता है और अधिक गणना का उपयोग करने के बजाय समस्या को छोड़ देता है, शोधकर्ताओं का कहना है, जो कि उन्हें करने के लिए प्रशिक्षित किया गया है।
Apple का कहना है कि अनुमान मॉडल वास्तविक अनुमान नहीं हैं
Apple की वेबसाइट पर प्रकाशित “फैंटेसी ऑफ थिंकिंग: अंडरस्टैंडिंग द फायदे और सीमाओं की सीमाओं को समझना, लेंस ऑफ प्रॉब्लम कॉम्प्लेक्सिटी” शीर्षक से, शोधकर्ताओं ने दावा किया कि तीन जटिलताओं का सामना करते समय न तो सोचने और न ही सोचने की क्षमता अलग होगी।
कागज तीन जटिलताओं का वर्णन करता है जो कम-जटिलता कार्य, मध्यम-जटिलता कार्य और उच्च-जटिलता कार्य हैं। जटिलताओं की एक विस्तृत श्रृंखला से निपटने के दौरान एलएलएम और एलआरएम की क्षमताओं का परीक्षण करने के लिए, शोधकर्ताओं ने कई तेजी से कठिन समस्याओं का उपयोग करने का फैसला किया। विशेष रूप से एक समस्या हनोई टॉवर है।
हनोई टॉवर एक गणित पहेली है जिसमें तीन नाखून और कई डिस्क हैं। पिरामिड जैसी आकृतियों को बनाने के लिए कम आकार के क्रम में डिस्क की व्यवस्था की जाती है। पहेली का उद्देश्य डिस्क को एक समय में एक समय में सबसे दाईं ओर की नाखून में ले जाना है, जबकि डिस्क को एक बार में एक स्थानांतरित करना है। एक रिसीवर है – आपको छोटे डिस्क पर कभी भी बड़े डिस्क नहीं डालने चाहिए। यह बहुत मुश्किल समस्या नहीं है, यह आमतौर पर छह से 15 वर्ष की आयु के बच्चों के उद्देश्य से होता है।
गणितीय समस्याओं को अनुमानित मॉडल द्वारा हल किया गया
छवि स्रोत: सेब
Apple के शोधकर्ताओं ने इस प्रयोग के लिए दो अनुमान मॉडल और उनके गैर-विवादास्पद साथियों का चयन किया। चयनित एलएलएमएस क्लाउड 3.7 सोननेट्स और डीपसेक-वी 3 हैं, जबकि एलआरएमएस माइंड और डीपसेक-आर 1 के साथ 3.7 सोननेट्स हैं। मन के बजट को 64,000 टोकन के साथ अधिकतम किया जाता है। प्रयोग का उद्देश्य न केवल अंतिम सटीकता की जांच करना है, बल्कि समस्या को हल करने के लिए चरणों की तार्किक सटीकता का चयन करना भी है।
कम-जटिलता कार्यों में, तीन डिस्क तक जोड़े जाते हैं, जबकि मध्यम-जटिलता कार्यों के लिए, डिस्क आकार को चार और दस के बीच रखा जाता है। अंत में, उच्च-जटिलता कार्यों में, 11-20 डिस्क हैं।
शोधकर्ताओं ने कहा कि एलएलएम और एलआरएम दोनों ने कम-जटिलता कार्यों को हल करने में एक ही प्रतिभा दिखाई। जब कठिनाई बढ़ जाती है, तो अनुमान मॉडल पहेली को अधिक सटीक रूप से अतिरिक्त कम्प्यूटेशनल बजट को हल कर सकते हैं। हालांकि, जब कार्य एक उच्च जटिलता क्षेत्र तक पहुंचता है, तो दोनों मॉडल पूर्ण अनुमान दुर्घटनाओं को दिखाने के लिए पाए जाते हैं।
एक ही प्रयोग को अधिक मॉडलों और अधिक पहेलियों जैसे चेकर्स, नदी पारगमन और दुनिया के अवरोध के साथ दोहराया जाता है।
Apple का शोध पत्र इस बात पर प्रकाश डालता है कि आर्टिफिशियल इंटेलिजेंस (AI) स्पेस में कई अन्य लोग पहले ही व्यक्त कर चुके हैं। यद्यपि अनुमान मॉडल को उनके वितरित डेटासेट में सामान्यीकृत किया जा सकता है, जब भी कोई समस्या उनसे परे हो जाती है, तो ये मॉडल “सोच” में संघर्ष करते हैं और समाधान खोजते समय शॉर्टकट लेने की कोशिश करते हैं, या पूरी तरह से हार मानते हैं।
“वर्तमान मूल्यांकन मुख्य रूप से स्थापित गणितीय और कोडिंग बेंचमार्क पर ध्यान केंद्रित करते हैं, अंतिम उत्तर की सटीकता पर जोर देते हुए। हालांकि, मूल्यांकन का यह प्रतिमान अक्सर डेटा संदूषण से प्रभावित होता है और इनवेंशन ट्रेस की संरचना और गुणवत्ता में कोई अंतर्दृष्टि प्रदान नहीं करता है।”
