تعرفوا على OLMo: نموذج اللغة الكبيرة الخاص (LLM) بشركة AMD!

قررت شركة AMD  وضع علمٍ جديد في حدود الذكاء الاصطناعي من خلال الإعلان عن سلسلة من نماذج اللغة الكبيرة (LLMs) المعروفة باسم  AMD OLMo.

وكما هو الحال مع نماذج اللغة الكبيرة الأخرى مثل GPT 4o من OpenAI فإن نموذج اللغة الكبيرة المدرب داخليًا من AMD يتمتع بقدرات التفكير والدردشة. يتوفر نموذج اللغة مفتوح المصدر للتنزيل ويمكن تشغيله على وحدات معالجة الرسوميات Instinct MI250 وأجهزة الكمبيوتر Ryzen AI ذات وحدات المعالجة العصبية (NPUs). كما توفر AMD البنية الأساسية لمطوري الذكاء الاصطناعي المسجلين في AMD Developer Cloud.

ويبدو أن AMD تستهدف مراكز البيانات والمؤسسات الأصغر حجمًا مع هذا النموذج الجديد، حيث تتمتع مراكز البيانات التي تعمل بوحدات معالجة الرسوميات AMD Instinct بوضع جيد لتشغيل OLMo، لكن الشركات التي لا تمتلك هذا النوع من الأجهزة ليست مستبعدة، فبفضل Ryzen AI وNPUs، يمكن لهذه الشركة أن تستفيد من OLMo على أجهزة الكمبيوتر. قد يساعد السماح للمؤسسات والباحثين بإضافة معلوماتهم الخاصة أثناء التدريب والضبط الدقيق في تطوير نماذج اللغة الكبيرة التي تناسب احتياجاتهم الخاصة بشكل أفضل.

قامت AMD بتدريب سلسلة LLM التي تحتوي على مليار متغير وسيط مسبقًا باستخدام مجموعة من وحدات معالجة الرسوميات Instinct. وتضمنت هذه المجموعة 1.3 تريليون رمز مميز (token) على 16 عقدة، حيث تضم كل عقدة أربع وحدات معالجة رسوميات Instinct MI250.

وقد قامت AMD بتدريب OLMo في ثلاث مراحل: التدريب المسبق، ومرحلتي SFT 1 و2، ومحاذاة DPO. قامت AMD بتدريب OLMo 1B على مجموعة فرعية من مجموعة بيانات Dolma v1.7، وجمع أنماط المعرفة واللغة. وتضمنت المرحلة الثانية OLMo 1B Supervised Fine-Tuned (SFT) مرحلتين فرعيتين من التدريب تهدفان إلى تعزيز قدرات LLM في العلوم والترميز والرياضيات، جنبًا إلى جنب مع أدائها في اتباع التعليمات. وفي المرحلة النهائية OLMo 1B SFT DPO قامت AMD بمحاذاة LLM مع التفضيلات البشرية. هذه خطوة حاسمة تهدف إلى منح LLM قيمًا إنسانية.

وتقدم AMD تنزيل النموذج مجانًا.