شرکت متا اوایل این ماه سری مدل های زبان بزرگ خود را با نام لاما ۳.۱ منتشر کرد. این سری شامل دو نسخه با ۴۰۵ میلیارد و ۷۰ میلیارد پارامتر است. برای یک مدل متن باز، این پیشرفت بسیار چشمگیری است.
سازمان LMSys، یک پلتفرم جمع سپاری باز برای مقایسه مدل های زبان بزرگ، این دو نسخه را در هفته گذشته به طور گسترده آزمایش کرده است. و همانطور که انتظار میرفت، هر دو نسخه نتایج شگفت انگیزی کسب کردند.
مدل متا-لاما-۳.۱-۴۰۵b-Instruct در رتبه سوم جدول کلی قرار گرفته و کنار مدل Gemini-Advanced-0514 قرار گرفته است. این اولین مدل متن باز است که به چنین دستاوردی میرسد. دو مدل برتر GPT-4o و نسخه کوچک تر آن هستند و کلود ۳.۵ ساننت در رتبه سوم قرار دارد.
مدل ۴۰۵ میلیارد پارامتری نتایج بسیار خوبی در زمینه هایی مثل برنامه نویسی، ریاضیات، دنبال کردن دستورالعملها و سوالات سخت کسب کرده است. در حوزه انگلیسی، طبق توصیف پلتفرم، مدل متا حتی با GPT-4o شرکت اوپناِی هم تراز است. این تنها مدلی است که در بنچمارک MMLU امتیاز ۸۸.۶ را کسب کرده و به GPT-4o، کلود ۳.۵ ساننت و جیمینی ۱.۵ پرو نزدیک است.
مدل متا-لاما-۳.۱-۷۰b-Instruct هم به طور شگفت آوری عملکرد بسیار خوبی دارد. این مدل از زمان انتشار پیشرفت زیادی داشته و در رتبه نهم کنار کلود ۳ اوپوس و GPT-4 قرار گرفته است.
سازمان LMSys مدل ها را با اجازه دادن به جامعه برای ارزیابی آن ها از طریق مقایسه های جفت به جفت زنده، باز و مبتنی بر جامعه آزمایش میکند. این پلتفرم متن باز که در ماه مه ۲۰۲۳ توسط LMSYS و آزمایشگاه SkyLab دانشگاه برکلی ایجاد شده، میلیون ها کاربر را درگیر کرده و بیش از ۹۰ چت بات را آزمایش کرده است.
مارک زاکربرگ، مدیرعامل متا، اوایل امسال مدل های لاما را متن باز کرد. و حالا شرکت مادر فیسبوک استودیوی هوش مصنوعی مبتنی بر لاما ۳.۱ را راه اندازی کرده که به شما اجازه میدهد هوش مصنوعی خود را بر اساس پروفایل اینستاگرامتان ایجاد کنید.