গবেষকরা ডিপসেক সোমবার V3.2-exp নামে একটি নতুন পরীক্ষামূলক মডেল প্রকাশ করেছে, যা দীর্ঘ-প্রসঙ্গে ক্রিয়াকলাপগুলিতে ব্যবহার করার সময় নাটকীয়ভাবে কম অনুমানের ব্যয় করার জন্য ডিজাইন করা হয়েছে। ডিপসেক দিয়ে মডেলটি ঘোষণা করলেন আলিঙ্গন মুখের উপর একটি পোস্টএছাড়াও পোস্ট একটি লিঙ্কযুক্ত একাডেমিক কাগজ গিথুব এ।
নতুন মডেলের সর্বাধিক গুরুত্বপূর্ণ বৈশিষ্ট্যটিকে ডিপসেক স্পারস মনোযোগ বলা হয়, নীচের চিত্রটিতে বর্ণিত একটি জটিল সিস্টেম। সংক্ষেপে, সিস্টেমটি প্রসঙ্গ উইন্ডো থেকে নির্দিষ্ট অংশগুলিকে অগ্রাধিকার দিতে “বজ্র সূচক” নামে একটি মডিউল ব্যবহার করে। এর পরে, একটি “সূক্ষ্ম দানাযুক্ত টোকেন নির্বাচন সিস্টেম” নামে একটি বিভাজন সিস্টেমের মধ্যে থেকে নির্দিষ্ট টোকেনগুলি বেছে নেয় যারা মডিউলটির সীমিত অ্যাটেশন উইন্ডোতে লোড করার জন্য অংশ নেয়। টোজেথার নেওয়া, তারা তুলনামূলকভাবে ছোট সার্ভার লোডগুলির সাথে প্রসঙ্গের দীর্ঘ অংশগুলিতে অপ্রয়োজনীয় মনোযোগ মডেলগুলিকে পরিচালনা করতে দেয়।
দীর্ঘ-প্রসঙ্গমূলক ক্রিয়াকলাপগুলির জন্য, সিস্টেমের সুবিধাগুলি উল্লেখযোগ্য। ডিপসেকের প্রাথমিক পরীক্ষায় দেখা গেছে যে একটি সাধারণ এপিআই কলের দাম দীর্ঘ-শঙ্কিত পরিস্থিতিতে অর্ধেক অর্ধেক দ্বারা হ্রাস করা হবে। আরও পরীক্ষার জন্য আরও দৃ ust ় মূল্যায়ন তৈরি করতে হবে, তবে মডেলটি উন্মুক্ত ওজন এবং আলিঙ্গন মুখের জন্য অবাধে উপলব্ধ, তাই কাগজে তৃতীয় পরীক্ষার দাবিগুলির আগে এটি খুব বেশি দিন হবে না।
ডিপসেকের নতুন মডেলটি অনুমানের ব্যয়গুলির সমস্যাটিকে মোকাবেলা করে সাম্প্রতিক যুগান্তকারীগুলির একটি স্ট্রিং যা একটি প্রাক-প্রশিক্ষিত এআই মডেল পরিচালনার সার্ভার ব্যয়, গাধা এটি প্রশিক্ষণের জন্য করবে। ডিপসেকের ক্ষেত্রে, গবেষকরা মৌলিক ট্রান্সফর্মার আর্কিটেকচারকে আরও দক্ষতার সাথে পরিচালনা করার উপায়গুলি – এবং খুঁজে পাওয়া যায় যে এখানে উল্লেখযোগ্য উন্নতি হয়েছে।
চীন ভিত্তিক, ডিপসেক এআই বুমের একটি অস্বাভাবিক ব্যক্তিত্ব হয়ে দাঁড়িয়েছে, বিশেষত যারা এআই গবেষণাটিকে মার্কিন যুক্তরাষ্ট্র এবং চীনের মধ্যে জাতীয়তাবাদী সংগ্রাম হিসাবে দেখেন। সংস্থাটি তরঙ্গ তৈরি করেছে বছরের শুরুতে এর আর 1 মডেলের সাথে, আমেরিকান প্রতিযোগীদের তুলনায় অনেক কম খরচে প্রাথমিকভাবে শক্তিবৃদ্ধি শেখা ব্যবহার করে প্রশিক্ষিত। তবে মডেলটি এআই প্রশিক্ষণে একটি পাইকারি বিপ্লব ঘটায়নি, যেমন কেউ কেউ পূর্বাভাস দিয়েছেন এবং সংস্থাটি কয়েক মাসের মধ্যে স্পটলাইট থেকে আবৃত্তি করেছে।
নতুন “বিরল মনোযোগ” পদ্ধতির আর 1 এর মতো একই হাহাকারকে উত্সাহিত করার সম্ভাবনা কম – তবে এটি এখনও আমাদের সরবরাহকারীদের কিছু প্রয়োজনীয় কৌশলগুলি শিখিয়ে দিতে পারে যা অনুমানের ব্যয়কে ঝুঁকিতে রাখতে সহায়তা করতে পারে।
