الگوریتم Google Palm: مسیری برای مدل‌های زبان نسل بعدی
الگوریتم جدید گوگل گامی به سوی تحقق معماری Pathways AI گوگل است که نگاهی به نسل بعدی مدل‌های زبانی را ارائه می‌کند.
گوگل از پیشرفتی در تلاش برای ایجاد یک معماری هوش مصنوعی خبر داد که می تواند میلیون ها کار مختلف از جمله یادگیری و استدلال پیچیده را انجام دهد. سیستم جدید به نام palm نامیده می شود.
PALM قادر است در آزمون های زبان و استدلال از وضعیت فعلی مدل های زبان و انسان ها بهتر عمل کند.
اما محققان همچنین خاطرنشان می‌کنند که نمی‌توانند محدودیت‌های ذاتی مدل‌های زبان در مقیاس بزرگ را که می‌تواند ناخواسته منجر به نتایج اخلاقی منفی شود، از بین ببرند.
اطلاعات پس زمینه
چند بخش بعدی اطلاعات پس زمینه ای است که توضیح می دهد این الگوریتم در مورد چیست.
Few-Shot Learning
یادگیری چند شات مرحله بعدی یادگیری است که فراتر از یادگیری عمیق است.
محقق مغز گوگل، Hugo Larochelle (@hugo_larochelle) در ارائه‌ای با عنوان (ویدئو) توضیح داد که با یادگیری عمیق، مشکل این است که آنها مجبور بودند حجم زیادی از داده‌ها را جمع‌آوری کنند که به مقدار قابل توجهی کار انسانی نیاز دارد.
او خاطرنشان کرد که احتمالاً یادگیری عمیق راهی به سوی هوش مصنوعی نخواهد بود که بتواند بسیاری از کارها را حل کند، زیرا با یادگیری عمیق، هر کار به میلیون‌ها مثال نیاز دارد که برای هر توانایی که یک هوش مصنوعی یاد می‌گیرد، از آنها یاد گرفت.
لاروشل توضیح می دهد:
«… ایده این است که ما سعی خواهیم کرد به این مشکل خیلی مستقیم حمله کنیم، این مشکل یادگیری چند شات، که این مشکل تعمیم از مقدار کمی داده است.
... ایده اصلی در چیزی که ارائه خواهم کرد این است که به جای اینکه بخواهیم آن الگوریتم یادگیری را با N تعریف کنیم و از شهود خود در مورد اینکه الگوریتم مناسب برای انجام یادگیری چند مرحله ای چیست استفاده کنیم، اما در واقع سعی کنیم آن الگوریتم را در یک راه انتها به انتها
و به همین دلیل است که ما آن را یادگیری برای یادگیری می نامیم یا من دوست دارم آن را فرا یادگیری بنامم.
هدف با رویکرد چند شات، تقریبی این است که چگونه انسان ها چیزهای مختلف را یاد می گیرند و می توانند بخش های مختلف دانش را با هم به کار گیرند تا مشکلات جدیدی را که قبلاً هرگز با آن مواجه نشده اند حل کنند.
مزیت آن ماشینی است که می تواند از تمام دانشی که برای حل مسائل جدید دارد استفاده کند.
در مورد پالم، نمونه ای از این قابلیت، توانایی آن در توضیح جوکی است که تا به حال با آن مواجه نشده بود.
Pathways AI
در اکتبر 2021 گوگل مقاله ای را منتشر کرد که اهداف یک معماری جدید هوش مصنوعی به نام Pathways را ترسیم می کرد.
Pathways فصل جدیدی را در پیشرفت مداوم در توسعه سیستم‌های هوش مصنوعی نشان داد.
روش معمول ایجاد الگوریتم هایی بود که برای انجام کارهای خاص به خوبی آموزش داده شده بودند.
رویکرد Pathways ایجاد یک مدل هوش مصنوعی واحد است که می تواند همه مشکلات را با یادگیری نحوه حل آنها حل کند، به این ترتیب از روش کم کارآمد آموزش هزاران الگوریتم برای انجام هزاران کار مختلف جلوگیری می کند.
طبق سند Pathways:
در عوض، ما می‌خواهیم مدلی را آموزش دهیم که نه‌تنها می‌تواند بسیاری از وظایف مجزا را انجام دهد، بلکه مهارت‌های موجود خود را برای یادگیری سریعتر و موثرتر از مهارت‌های موجود استفاده کرده و ترکیب می‌کند.
به این ترتیب آنچه که یک مدل با آموزش روی یک کار می آموزد - مثلاً یاد می گیرد که چگونه تصاویر هوایی می توانند ارتفاع یک منظره را پیش بینی کنند - می تواند به او کمک کند تا کار دیگری را یاد بگیرد - مثلاً پیش بینی چگونگی جریان آب سیل در آن زمین.
Pathways مسیر پیشرفت گوگل را برای ارتقای هوش مصنوعی به سطح بعدی تعریف کرد تا شکاف بین یادگیری ماشین و یادگیری انسان را کاهش دهد.
جدیدترین مدل گوگل به نام Pathways Language Model (PaLM) این گام بعدی است و طبق این مقاله تحقیقاتی جدید، PaLM نشان دهنده پیشرفت قابل توجهی در زمینه هوش مصنوعی است.
چه چیزی Google PalM را قابل توجه می کند
پالم فرآیند یادگیری چند شات را مقیاس می کند.
طبق مقاله پژوهشی:
نشان داده شده است که مدل‌های زبان بزرگ با استفاده از یادگیری چند شات عملکرد قابل‌توجهی را در انواع وظایف زبان طبیعی به دست می‌آورند، که به‌شدت تعداد نمونه‌های آموزشی خاص مورد نیاز برای تطبیق مدل با یک برنامه خاص را کاهش می‌دهد.
برای درک بیشتر ما از تأثیر مقیاس بر یادگیری چند شات، ما یک پارامتر 540 میلیاردی را آموزش دادیم، مدل زبانی ترانسفورماتور با فعال سازی متراکم، که ما آن را مدل زبان مسیرها (PaLM) می نامیم.
مقالات تحقیقاتی زیادی منتشر شده است که الگوریتم هایی را توصیف می کنند که بهتر از وضعیت فعلی هنر عمل نمی کنند یا فقط به بهبود تدریجی می رسند.
این مورد در مورد PalM صدق نمی کند. محققان ادعا می کنند که نسبت به بهترین مدل های فعلی پیشرفت های قابل توجهی داشته اند و حتی از معیارهای انسانی نیز بهتر عمل می کنند.
این سطح از موفقیت چیزی است که این الگوریتم جدید را قابل توجه می کند.
محققان می نویسند:
ما مزایای مداوم مقیاس بندی را با دستیابی به نتایج پیشرفته یادگیری چند شات در صدها معیار درک زبان و نسل نشان می دهیم.
در تعدادی از این کارها، PaLM 540B به عملکردی پیشرفت دست پیدا می‌کند، که در مجموعه‌ای از وظایف استدلال چند مرحله‌ای از پیشرفته‌ترین تنظیم‌شده بهتر عمل می‌کند، و عملکرد متوسط انسانی را در معیار BIG-bench اخیراً منتشر شده بهتر از خود نشان می‌دهد.
تعداد قابل توجهی از وظایف BIG-bench پیشرفت‌های ناپیوسته‌ای را نسبت به مقیاس مدل نشان دادند، به این معنی که عملکرد به شدت افزایش می‌یابد که ما به بزرگترین مدل خود مقیاس می‌دهیم.
PALM در وظایف پردازش زبان طبیعی انگلیسی از وضعیت هنر برتر عمل می کند و این باعث می شود که PalM مهم و قابل توجه باشد.
در یک معیار مشترک به نام BIG-bench که شامل بیش از 150 کار (مرتبط با استدلال، ترجمه، پاسخ به سؤال) است، PalM عملکرد بهتری از هنر داشت، اما مواردی وجود داشت که به خوبی انجام نمی‌داد.
شایان ذکر است که عملکرد انسان در 35٪ از وظایف، به ویژه وظایف مرتبط با ریاضی، از PALM پیشی گرفت (به بخش 6.2 BIG-bench مقاله تحقیقاتی، صفحه 17 مراجعه کنید).
PalM در ترجمه زبان دیگر به انگلیسی بهتر از ترجمه انگلیسی به زبان های دیگر بود. محققان اظهار داشتند که این یک مشکل رایج است که با اولویت دادن به داده های چندزبانه بیشتر قابل حل است.
با این وجود، PALM تقریباً از سایر مدل‌های زبان و انسان‌ها در کل عملکرد بهتری داشت.
توانایی استدلال
نکته قابل توجه عملکرد آن با تکالیف استدلالی حسابی و عامی بود.
مثالی از یک کار حسابی:
سوال:
راجر 5 توپ تنیس دارد. او 2 قوطی توپ تنیس دیگر می خرد. هر قوطی 3 توپ تنیس دارد. الان چند تا توپ تنیس داره؟
پاسخ:
پاسخ 11 است.
مثالی از استدلال عقل سلیم:
سوال:
شان برای رسیدن به خانه عجله داشت، اما چراغ زرد شد و او مجبور شد چه کار کند؟
گزینه های پاسخ: (الف) زمان صرف کنید (ب) حرکت کنید (ج) آهسته بروید (د) اقیانوس (ه) سرعت خود را کاهش دهید
پاسخ:
پاسخ (ه) کاهش سرعت است.
ایجاد توضیحات
نمونه خارق‌العاده دیگری از پیشرفت PALM در تست‌های تولید توضیحات.
در اینجا مقاله تحقیقاتی آن را توضیح می دهد:
"هدف این بخش نشان دادن قابلیت های PALM با توجه به تولید زبان توضیحی است، برای درخواست هایی که به ترکیب پیچیده ای از زنجیره استنتاج منطقی، دانش جهانی، درک زبان انتزاعی، و درک زبان واژگانی (مثلاً جناس) نیاز دارد."
توضیحات جوک
در اینجا نمونه ای از مدل زبانی است که یک جوک را توضیح می دهد:
شوخی:
قرار بود 6 آوریل برای دیدن خانواده ام پرواز کنم. مامانم گفت: "اوه عالی، شعرخوانی پدر ناتنی تو همان شب است!"
بنابراین اکنون من در 7 آوریل پرواز می کنم.
توضیح مدل:
شوخی این است که مادر گوینده سعی می کند آنها را به شعرخوانی پدر ناتنی خود وادار کند، اما گوینده نمی خواهد برود، بنابراین آنها پرواز خود را به روز بعد از شعرخوانی تغییر می دهند.
زنجیره استنتاج
در اینجا مثالی از زنجیره استنتاج آورده شده است، که در آن چندین مفهوم و موجودیت باید به درستی به هم متصل شوند و برای ایجاد پاسخ در نظر گرفته شوند.
«ورودی:
گیدو در حال نوشتن یک برنامه پایتون بود. او مدام با دامنه متغیر گیج می شود و آن را در StackOverflow جستجو می کند.
آیا ممکن است که Guido در اعلان به Guido van Rossum اشاره کند؟
خروجی مدل:
Guido van Rossum خالق پایتون است. او نیازی به جستجوی محدوده متغیر در StackOverflow ندارد. پاسخ "نه" است.
در اینجا یک مثال دیگر وجود دارد:
«ورودی:
جنیفر به بیرون از پنجره نگاه کرد و یک ابر واقعا خنک زیر خود دید. کمربندش را باز می کند و به سمت حمام می رود. آیا جنیفر احتمالاً بیش از 300 مایل در ساعت نسبت به زمین سفر می کند؟
خروجی مدل:
300 مایل در ساعت حدود 480 کیلومتر در ساعت است. این در مورد سرعت یک هواپیمای تجاری است. ابرها معمولاً زیر هواپیما هستند، بنابراین جنیفر احتمالاً در هواپیما است.
پاسخ بله است"."
موتور جستجوی نسل بعدی ؟
مثال بالا از توانایی PalM برای استدلال پیچیده نشان می دهد که چگونه یک موتور جستجوی نسل بعدی می تواند با استفاده از دانش اینترنت و منابع دیگر به پاسخ های پیچیده پاسخ دهد.
دستیابی به یک معماری هوش مصنوعی که بتواند پاسخ هایی تولید کند که منعکس کننده دنیای اطراف ما باشد، یکی از اهداف اعلام شده Google Pathways است و PalM گامی در این مسیر است.google
با این حال، نویسندگان این تحقیق تاکید کردند که PALM کلمه نهایی در مورد هوش مصنوعی و جستجو نیست. آنها به صراحت اعلام کردند که PalM اولین گام به سوی نوع بعدی موتور جستجویی است که Pathways متصور است.
قبل از اینکه بیشتر ادامه دهیم، دو کلمه وجود دارد، اصطلاحاً اصطلاحاً، که درک آنها برای فهمیدن اینکه PALM در مورد چیست مهم است.
روش ها
تعمیم
کلمه "" اشاره ای به چگونگی تجربه چیزها یا وضعیتی است که در آن وجود دارند، مانند متنی که خوانده می شود، تصاویری که دیده می شود، چیزهایی که به آنها گوش داده می شود.
کلمه "" در زمینه یادگیری ماشینی در مورد توانایی یک مدل زبان برای حل وظایفی است که قبلاً در مورد آنها آموزش ندیده است.
محققان خاطرنشان کردند:
PaLM تنها اولین قدم در دیدگاه ما به سمت ایجاد Pathways به عنوان آینده مقیاس‌پذیری ML در Google و فراتر از آن است.
ما معتقدیم که PALM یک پایه قوی در هدف نهایی ما برای توسعه یک سیستم مدولار شده در مقیاس بزرگ نشان می‌دهد که قابلیت‌های تعمیم گسترده در چندین روش را داشته باشد.
خطرات دنیای واقعی و ملاحظات اخلاقی
نکته متفاوت در مورد این مقاله تحقیقاتی این است که محققان در مورد ملاحظات اخلاقی هشدار می دهند.
آنها اظهار می دارند که مدل های زبانی در مقیاس بزرگ که بر روی داده های وب آموزش داده شده اند، بسیاری از کلیشه های "سمی" و نابرابری های اجتماعی را که در وب پخش شده اند جذب می کنند و اظهار می کنند که PALM در برابر این تأثیرات ناخواسته مقاوم نیست.
مقاله تحقیقاتی به یک مقاله تحقیقاتی مربوط به سال 2021 اشاره می کند که به بررسی این موضوع می پردازد که چگونه مدل های زبانی در مقیاس بزرگ می توانند آسیب های زیر را ترویج کنند:
تبعیض، طرد و مسمومیت
خطرات اطلاعاتی
اطلاعات غلط آسیب می رساند
استفاده های مخرب
مضرات تعامل انسان و کامپیوتر
اتوماسیون، دسترسی و آسیب های زیست محیطی
در نهایت، محققان خاطرنشان کردند که PaLM در واقع کلیشه های اجتماعی سمی را منعکس می کند و روشن می کند که فیلتر کردن این سوگیری ها چالش برانگیز است.
محققان PalM توضیح می دهند:
«تحلیل ما نشان می‌دهد که داده‌های آموزشی ما، و در نتیجه PALM، کلیشه‌های مختلف اجتماعی و تداعی‌های سمی را در مورد اصطلاحات هویتی منعکس می‌کنند.
با این حال، حذف این ارتباط‌ها امری بی‌اهمیت است... کار آینده باید به طور مؤثر به مقابله با چنین سوگیری‌های نامطلوب در داده‌ها و تأثیر آنها بر رفتار مدل بپردازد.
در همین حال، هرگونه استفاده واقعی از PALM برای وظایف پایین دستی باید ارزیابی‌های عادلانه بیشتری را برای ارزیابی آسیب‌های احتمالی و معرفی اقدامات کاهشی و حفاظتی مناسب انجام دهد.
PALM را می توان به عنوان نگاهی به نسل بعدی جستجو در نظر گرفت. PaLM ادعاهای خارق‌العاده‌ای برای به دست آوردن بهترین وضعیت هنر دارد، اما محققان همچنین اظهار می‌کنند که هنوز کارهای بیشتری باید انجام شود، از جمله یافتن راهی برای کاهش انتشار مضر اطلاعات نادرست، کلیشه‌های سمی و سایر نتایج ناخواسته.
نحوه حذف نظرات گوگل (و زمانی که باید)