এআই মডেলগুলির বিষয়ে ওপেনাইয়ের গবেষণা ইচ্ছাকৃতভাবে মিথ্যা কথা বলে

প্রতিবার এবং পরে, বৃহত্তম প্রযুক্তি সংস্থাগুলির গবেষকরা একটি বোমা ফেলেছিলেন। গুগল এটি বলার সময় ছিল সর্বশেষ কোয়ান্টাম চিপ নির্দেশিত একাধিক মহাবিশ্ব বিদ্যমান। বা যখন নৃতাত্ত্বিক তার এআই এজেন্ট ক্লডিয়াসকে চালানোর জন্য একটি স্ন্যাক ভেন্ডিং মেশিন দিয়েছিল এবং এটি লোককে সুরক্ষার আহ্বান জানিয়েছে, এবং জোর দেওয়া এটি মানুষ ছিল।

এই সপ্তাহে, আমাদের সম্মিলিত ভ্রু বাড়ানোর জন্য ওপেনাইয়ের পালা ছিল।

ওপেনএআই সোমবার প্রকাশিত কিছু গবেষণা প্রকাশ করেছে যা ব্যাখ্যা করেছে এটি কীভাবে “স্কিমিং” থেকে এআই মডেলগুলি থামিয়ে দিচ্ছে। এটি এমন একটি অনুশীলন যেখানে একটি “এআই তার সত্য লক্ষ্যগুলি আটকে রাখার সময় পৃষ্ঠের এক উপায় আচরণ করে,” ওপেনএই এর টুইট সংজ্ঞায়িত গবেষণা সম্পর্কে।

অ্যাপোলো গবেষণার সাথে পরিচালিত গবেষণাপত্রে, গবেষকরা এআই স্কিমের মতো একজন মানব স্টক ব্রোকারের মতো যতটা সম্ভব অর্থোপার্জনের জন্য আইন ভঙ্গ করে। রিজারচাররা অবশ্য যুক্তি দিয়েছিলেন যে বেশিরভাগ এআই “স্কিম” বলিউড যে ক্ষতিকারক ছিল। “সর্বাধিক সাধারণ ব্যর্থতাগুলি সিদ্ধান্তের সহজ ফর্মগুলির সাথে জড়িত – উদাহরণস্বরূপ, বাস্তবে তা না করে কোনও কাজ শেষ করার ভান করে,” তারা লিখেছিল।

কাগজটি বেশিরভাগ ক্ষেত্রে “ইচ্ছাকৃত প্রান্তিককরণ”-এটি অ্যান্টি-স্কিমিং কৌশলটি ভালভাবে পরীক্ষা করা হয়েছিল তা দেখানোর জন্য প্রকাশিত হয়েছিল।

তবে এটি আরও ব্যাখ্যা করেছে যে এআই বিকাশকারীরা তাদের মডেলগুলিকে স্কিম না করার প্রশিক্ষণ দেওয়ার কোনও উপায় খুঁজে বের করেননি। এটা সিদ্ধান্ত

গবেষকরা লিখেছেন, “স্কিমিংকে ‘ট্রেন আউট’ করার চেষ্টা করার একটি বড় ব্যর্থতা পদ্ধতিটি কেবল মডেলটিকে আরও সাবধানতার সাথে এবং গোপনে স্কিম করার শিক্ষা দিচ্ছে,” গবেষকরা লিখেছেন।

সম্ভবত সবচেয়ে বিস্ময়কর অংশটি হ’ল, যদি কোনও মডেল এটি পরীক্ষা করে দেখেন তবে এটি কেবল পরীক্ষায় উত্তীর্ণ হওয়ার পরিকল্পনা করে না বলে ভান করতে পারে, এমনকি এটি এখনও ষড়যন্ত্র করছে। গবেষকরা লিখেছেন, “মডেলগুলি প্রায়শই আরও সচেতন হয়ে ওঠে যে তাদের মূল্যায়ন করা হচ্ছে। এই পরিস্থিতিগুলি এটি নিজেই জেনু সারিবদ্ধকরণের চেয়ে পৃথক পৃথকভাবে স্কিমিং হ্রাস করতে পারে,” গবেষকরা লিখেছেন।

এআই মডেলগুলি মিথ্যা বলবে এটি খবর নয়। এতক্ষণে আমাদের বেশিরভাগই এআই হ্যালুসিনেশনের অভিজ্ঞতা অর্জন করেছেন, বা মডেল আত্মবিশ্বাসের সাথে একটি প্রম্পটকে উত্তর দিয়েছেন যা কেবল বলিউডকে আইএসএন নয়। তবে হ্যালুসাইনগুলি মূলত আত্মবিশ্বাসের সাথে অনুমানের কাজটি উপস্থাপন করছে, যেমন ওপেনাই গবেষণা প্রকাশিত হয়েছে এই মাসের শুরুতে নথিভুক্ত

ষড়যন্ত্র অন্য কিছু। এটা ইচ্ছাকৃত।

এমনকি এই পুনরুজ্জীবন – যে কোনও মডেল ইচ্ছাকৃতভাবে মানুষকে বিভ্রান্ত করবে – এটি নতুন নয়। প্রথম অ্যাপোলো গবেষণা ডিসেম্বর মাসে একটি কাগজ প্রকাশ কীভাবে পাঁচটি মডেল ডকুমেন্টিং

এখানে খবরটি আসলে সুসংবাদ: গবেষকরা “ইচ্ছাকৃত প্রান্তিককরণ” ব্যবহার করে স্কিমিংয়ে উল্লেখযোগ্য হ্রাস দেখেছিলেন। এই কৌশলটিতে মডেলটিকে একটি “অ্যান্টি-স্কিমিং স্পেসিফিকেশন” শেখানো এবং তারপরে মডেলটিকে অভিনয়ের আগে এটি পর্যালোচনা করা জড়িত। ছোট বাচ্চাদের খেলার অনুমতি দেওয়ার আগে নিয়মগুলি পুনঃতফসিল করার মতো এটি কিছুটা।

ওপেনএআই গবেষকরা জোর দিয়েছিলেন যে তারা তাদের নিজস্ব মডেলগুলির সাথে, এমনকি চ্যাটজিপিটি, আইএসএন বলিউডের সাথে সিরিয়াল নিয়ে এসেছেন। ওপেনাইয়ের সহ-প্রতিষ্ঠাতা ওজেসিচ জেরেম্বা যেমন এই গবেষণা সম্পর্কে টেকক্রাঞ্চের ম্যাক্সওয়েল জেফকে বলেছিলেন: “এই কাজটি সিমুলেটেড পরিবেশে করা হয়েছে, এবং আমরা মনে করি এটি আজ, আমরা আমাদের প্রযোজনা ট্র্যাফিকের এই ধরণের ফলস্বরূপ স্কিমিং পেয়েছি। ওয়েবসাইট, এবং এটি কেবল একটি দুর্দান্ত কাজ করেছিল।” সিদ্ধান্তের কিছু ক্ষুদ্র রূপ রয়েছে যা আমাদের এখনও সম্বোধন করা দরকার। “

একাধিক খেলোয়াড়ের এআই মডেলগুলি অন্ত্রের সাথে ডেসেপ মানুষের মডেলগুলি সম্ভবত, সম্ভবত, আন্ডারস্ট্যান্ডেবল। এগুলি মানুষের দ্বারা তৈরি করা হয়েছিল, মানুষের দ্বারা উত্পাদিত ডেটাতে প্রশিক্ষিত বেশিরভাগ অংশের জন্য মানুষ এবং (সিন্থেটিক ডেটা একপাশে) অনুকরণ করার জন্য।

এটি বোনারও।

যদিও আমরা সকলেই খারাপ পারফর্মিং প্রযুক্তির হতাশার অভিজ্ঞতা পেয়েছি (আপনার কথা ভাবা, ইয়েস্টেরিয়ারের হোম প্রিন্টার), আপনার শেষবার কখন আপনার নয়-আপনার নয়-আপনার নয়-আপনার কাছে নয়? আপনার ইনবক্সটি কি আরও বেশি কিছুতে বানোয়াট ইমেল করেছে? আপনার সিএমএস কি এমন নতুন সম্ভাবনা লগ করেছে যা এর সংখ্যাগুলি প্যাড করার জন্য বিদ্যমান ছিল না? আপনার ফিনটেক অ্যাপ্লিকেশনটি কি নিজস্ব ব্যাংক লেনদেন করেছে?

এটি এআই ভবিষ্যতের দিকে কর্পোরেট ওয়ার্ল্ড ব্যারেল হিসাবে এটি বিবেচনা করার মতো যেখানে সংস্থাগুলি বিশ্বাস করে যে এজেন্টদের স্বাধীন কর্মীদের মতো আচরণ করা যেতে পারে। এই কাগজের গবেষকদের একই সতর্কতা রয়েছে।

তারা লিখেছেন, “এআইএসকে বাস্তব-বিশ্বের পরিণতি সহ আরও জটিল কাজগুলি অর্পণ করা হয় এবং আরও অবমূল্যায়ন, দীর্ঘমেয়াদী লক্ষ্যগুলি অনুসরণ করা শুরু করা হয়, তাই আমরা আশা করি যে ক্ষতিকারক ষড়যন্ত্রের সম্ভাবনা সমস্ত কিছু রক্ষা করবে এবং আমাদের কঠোরভাবে পরীক্ষার জন্য আমাদের দক্ষতা অবশ্যই সংযোগ বাড়বে,” তারা লিখেছিল।