AI পরিকাঠামো ধাক্কা বিস্ময়কর অনুপাতে পৌঁছানোর সাথে, তাদের কাছে থাকা GPU গুলি থেকে যতটা সম্ভব অনুমান চেপে নেওয়ার জন্য আগের চেয়ে বেশি চাপ রয়েছে। এবং একটি নির্দিষ্ট কৌশলে দক্ষতার সাথে গবেষকদের জন্য, এটি তহবিল বাড়াতে একটি দুর্দান্ত সময়।
যে পিছনে চালিকা শক্তি অংশ টেনসোরমেশ$4.5 মিলিয়ন বীজ তহবিল দিয়ে এই সপ্তাহে স্টিলথ থেকে চালু হচ্ছে। বিনিয়োগের নেতৃত্বে ছিল Laude Ventures, থেকে অতিরিক্ত দেবদূত তহবিল সহ ডাটাবেসের অগ্রদূত মাইকেল ফ্র্যাঙ্কলিন,
টেনসোরমেশ ওপেন সোর্সের একটি বাণিজ্যিক সংস্করণ তৈরি করতে অর্থ ব্যবহার করছে LMCache ইউটিলিটি, টেনসোরমেশের সহ-প্রতিষ্ঠাতা ইহুয়া চেং দ্বারা চালু এবং রক্ষণাবেক্ষণ করা হয়েছে। ভালভাবে ব্যবহার করা হলে, LMCache অনুমান খরচ 10x পর্যন্ত কমাতে পারে — এমন একটি শক্তি যা এটিকে ওপেন সোর্স স্থাপনার প্রধান করে তুলেছে এবং ভারী হিটারদের থেকে একীভূতকরণে টানা হয়েছে গুগল এবং এনভিডিয়াএখন Tensormesh সেই একাডেমিক খ্যাতিকে একটি কার্যকর ব্যবসায় পরিণত করার পরিকল্পনা করছে৷
পণ্যের মূল হল কী-মান ক্যাশে (বা কেভি ক্যাশে), একটি মেমরি সিস্টেম যা জটিল ইনপুটগুলিকে তাদের মূল মানগুলিতে ঘনীভূত করে আরও দক্ষতার সাথে প্রক্রিয়া করতে ব্যবহৃত হয়। ইন ঐতিহ্যগত স্থাপত্যকেভি ক্যাশে প্রতিটি প্রশ্নের শেষে বাতিল করা হয় — কিন্তু টেনসোরমেশের সহ-প্রতিষ্ঠাতা এবং সিইও জুনচেন জিয়াং যুক্তি দেন যে এটি অদক্ষতার একটি বিশাল উৎস।
জিয়াং বলেন, “এটি একজন খুব স্মার্ট বিশ্লেষকের সমস্ত ডেটা পড়ার মতো, কিন্তু প্রতিটি প্রশ্নের পরে তারা যা শিখেছে তা তারা ভুলে যায়।”
সেই ক্যাশে বর্জন করার পরিবর্তে, টেনসোরমেশের সিস্টেমগুলি এটিকে ধরে রাখে, যখন মডেলটি একটি পৃথক ক্যোয়ারীতে একই ধরনের প্রক্রিয়া চালায় তখন এটিকে পুনরায় কাজে লাগানোর অনুমতি দেয়। যেহেতু জিপিইউ মেমরি এত মূল্যবান, এর অর্থ বিভিন্ন স্টোরেজ স্তর জুড়ে ডেটা ছড়িয়ে দেওয়া হতে পারে, তবে একই সার্ভার লোডের জন্য পুরষ্কার উল্লেখযোগ্যভাবে বেশি অনুমান শক্তি।
পরিবর্তনটি চ্যাট ইন্টারফেসের জন্য বিশেষভাবে শক্তিশালী, কারণ কথোপকথনের অগ্রগতির সাথে সাথে মডেলদের ক্রমাগত ক্রমবর্ধমান চ্যাট লগে ফিরে যেতে হবে। এজেন্টিক সিস্টেমের একটি অনুরূপ সমস্যা আছে, কর্ম এবং লক্ষ্যের ক্রমবর্ধমান লগ সহ।
তাত্ত্বিকভাবে, এই পরিবর্তনগুলি এআই কোম্পানিগুলি তাদের নিজেরাই সম্পাদন করতে পারে – তবে প্রযুক্তিগত জটিলতা এটিকে একটি কঠিন কাজ করে তোলে। টেনসোরমেশ টিমের প্রক্রিয়াটি গবেষণার কাজ এবং নিজেই বিশদ বিবরণের জটিলতার পরিপ্রেক্ষিতে, সংস্থাটি বাজি ধরছে যে বাক্সের বাইরের পণ্যের প্রচুর চাহিদা থাকবে।
“কেভি ক্যাশে একটি সেকেন্ডারি স্টোরেজ সিস্টেমে রাখা এবং পুরো সিস্টেমটিকে ধীর না করে দক্ষতার সাথে পুনরায় ব্যবহার করা একটি খুব চ্যালেঞ্জিং সমস্যা,” জিয়াং বলেছেন৷ “আমরা দেখেছি মানুষ 20 জন প্রকৌশলী নিয়োগ করেছে এবং এই ধরনের একটি সিস্টেম তৈরি করতে তিন বা চার মাস ব্যয় করেছে৷ অথবা তারা আমাদের পণ্যটি ব্যবহার করতে পারে এবং এটি খুব দক্ষতার সাথে করতে পারে।”
