تكنولوجيا

معالج ذكاء اصطناعي جديد يعتمد على أحدث نظرية للشبكات العصبية

مفهوم الشبكة العصبية للذكاء الاصطناعي

شريحة تسريع جديدة تسمى “Hiddenite” يمكنها الوصول إلى أحدث ما توصلت إليه التكنولوجيا الاحكام في مجال الحوسبة المتفرقة “الشبكات العصبية المخفية” ذات الأحمال الحسابية المنخفضة تم تطويرها الآن بواسطة باحثين في Tokyo Tech. باستخدام نموذج البناء المقترح على الرقاقة ، والذي هو مزيج من توليد الوزن وتوسيع “القناع الفائق” ، تقلل شريحة Hiddenite بشكل كبير من الوصول إلى الذاكرة الخارجية لتحسين الكفاءة الحسابية.

الشبكات العصبية العميقة (DNNs) هي جزء معقد من بنية التعلم الآلي للذكاء الاصطناعي (التعلم الآلي) الذي يتطلب العديد من المعلمات لمعرفة كيفية التنبؤ بالمخرجات. ومع ذلك ، يمكن “تقليم” أسماء DNN ، وبالتالي تقليل الحمل الحسابي وحجم النموذج. قبل بضع سنوات ، عصفت “فرضية بطاقة اليانصيب” بعالم التعلم الآلي. ذكرت الفرضية أن DNN المُهيأ عشوائيًا يحتوي على شبكات فرعية تحقق دقة مكافئة لـ DNN الأصلي بعد التدريب. كلما كبرت الشبكة ، زاد عدد “تذاكر اليانصيب” من أجل تحسين ناجح. تسمح بطاقات اليانصيب هذه للشبكات العصبية المتفرقة “المشذبة” بتحقيق دقة مكافئة للشبكات الأكثر تعقيدًا و “كثيفة” ، وبالتالي تقليل الأحمال الحسابية الإجمالية واستهلاك الطاقة.

تستخرج الشبكات العصبية المخفية (HNN) الشبكات الفرعية المتفرقة

الشكل 1. تجد HNNs مصفوفات فرعية متفرقة تحقق دقة مكافئة للنموذج الأصلي الكثيف المدرب. الائتمان: ماساتو موتومورا من طوكيو تك

إحدى التقنيات للعثور على مثل هذه الشبكات الفرعية هي خوارزمية الشبكة العصبية المخفية (HNN) ، والتي تستخدم منطق AND (حيث يكون الناتج مرتفعًا فقط عندما تكون جميع المدخلات عالية) فوق الأوزان العشوائية التي تمت تهيئتها و “القناع الثنائي” المسمى “القناع الفائق”. (رسم بياني 1). يشير القناع الفائق ، المحدد بأعلى درجات k٪ ، إلى اتصالات غير محددة ومختارة بـ 0 و 1 ، على التوالي. يساعد HNN على تقليل الكفاءة الحسابية على جانب البرنامج. ومع ذلك ، تتطلب حوسبة الشبكات العصبية أيضًا تحسينات في مكونات الأجهزة.

توفر مسرعات DNN التقليدية أداءً عاليًا ، لكنها لا تأخذ في الاعتبار استهلاك الطاقة الناتج عن الوصول إلى الذاكرة الخارجية. الآن ، طور باحثون من معهد طوكيو للتكنولوجيا (Tokyo Tech) ، بقيادة الأستاذين Jaehoon Yu و Masato Motomura ، شريحة تسريع جديدة تسمى “Hiddenite” ، والتي يمكنها حساب الشبكات العصبية المخفية مع استهلاك الطاقة ، مما أدى إلى تحسين الطاقة بشكل ملحوظ. “يعد تقليل الوصول إلى الذاكرة الخارجية هو المفتاح لتقليل استهلاك الطاقة. حاليًا ، يتطلب تحقيق دقة عالية في الاستدلال نماذج كبيرة. لكنه يزيد من الوصول إلى الذاكرة الخارجية لتحميل معلمات النموذج. كان الدافع الرئيسي وراء تطوير Hiddenite هو تقليل هذا الوصول إلى الذاكرة الخارجية ، كما يقول البروفيسور موتومورا. سيتم نشر دراستهم في اليوم التالي المؤتمر الدولي لدارات أشباه الموصلات (ISSCC) 2022مؤتمر دولي مرموق يستعرض قمم الإنجاز في الدوائر المتكاملة.

رسم تخطيطي لمعمارية رقاقة Hiddenite

الشكل 2. تقدم شريحة Hiddenite الجديدة توليدًا للوزن على الرقاقة و “تمديد قناع فائق” على الرقاقة لتقليل الوصول إلى الذاكرة الخارجية لتحميل معلمات النموذج. الائتمان: ماساتو موتومورا من طوكيو تك

“Hiddenite” تعني محرك Tensor لاستدلال الشبكة العصبية المخفية وهي أول شريحة استدلال HNN. توفر بنية Hiddenite (الشكل 2) ثلاث مزايا لتقليل الوصول إلى الذاكرة الخارجية وتحقيق كفاءة طاقة عالية. الأول هو أنه يوفر توليد وزن على الرقاقة لتجديد الأوزان باستخدام مولد أرقام عشوائي. هذا يلغي الحاجة إلى الوصول إلى الذاكرة الخارجية وتخزين الأوزان. الميزة الثانية هي توفير “تمديد القناع الفائق على الرقاقة” ، والذي يقلل من عدد الأقنعة الخارقة التي يجب تحميلها بواسطة المسرع. التحسين الثالث الذي تقدمه شريحة Hiddenite هو المعالج المتوازي عالي الكثافة رباعي الأبعاد (4D) الذي يزيد من إعادة استخدام البيانات أثناء العملية الحسابية ، وبالتالي تحسين الكفاءة.

شريحة هيدنيت

الشكل 3. تم تصنيعها باستخدام تقنية 40 نانومتر ، وتبلغ مساحة قلب الرقاقة 4.36 ملليمتر مربع فقط. الائتمان: ماساتو موتومورا من طوكيو تك

يوضح البروفيسور موتومورا: “العاملان الأولان هما ما يميزان شريحة Hiddenite عن مسرعات استدلال DNN الحالية”. “بالإضافة إلى ذلك ، قدمنا ​​أيضًا طريقة تدريب جديدة للشبكات العصبية المخفية ، تسمى” تقطير النقاط “، حيث يتم تقطير أوزان تقطير المعرفة التقليدية إلى درجات لأن الشبكات العصبية المخفية لا تقوم أبدًا بتحديث الأوزان. إن الدقة في استخدام تقطير النقاط قابلة للمقارنة مع النموذج الثنائي بينما تكون نصف حجم النموذج الثنائي.

استنادًا إلى الهندسة المعمارية المخفية ، صمم الفريق وصنع وقياس نموذج أولي لشريحة من خلال عملية 40 نانومتر من شركة Taiwan Semiconductor Manufacturing Company (TSMC) (الشكل 3). تبلغ أبعاد الرقاقة 3 مم × 3 مم وتعالج 4،096 عمليات الضرب والتراكم في وقت واحد. يحقق كفاءة حسابية رائدة في الصناعة ، تصل إلى 34.8 تريليون أو تيرا عملية في الثانية (TOPS) لكل واط من الطاقة ، مع تقليل كمية نقل النمط إلى نصف تلك الخاصة بالشبكات الثنائية.

من المؤكد أن هذه الاكتشافات وعرضها الناجح في شريحة سيليكون حقيقية سيؤدي إلى تحول نموذجي آخر في عالم التعلم الآلي ، مما يمهد الطريق لحوسبة أسرع وأكثر كفاءة وأكثر صداقة للبيئة في نهاية المطاف.


Source link

مقالات ذات صلة

أضف تعليقاً

لن يتم نشر عنوان بريدك الإلكتروني.

Back to top button