TG Telegram Group & Channel
Silicon Brain | جامعه هوش مصنوعی | United States America (US)
Create: Update:

یافته جدید OpenAI در مورد زنجیره تفکر COT
(تو این پست در مورد COT گفتم)

اعلام کرده که طراحی ساختارهای پاداشی که ناخواسته موجب تشویق رفتارهای نادرست در مدل های زبانی نشن، کاری بسیار دشواریه!

این موضوع فقط مختص مدل های زبانی نیست، به عنوان مثال اگه بچه‌ هاتون به‌ خاطر دروغ گفتن تنبیه کنید، درواقع جلو دروغ گفتنشون رو نگرفتین، فقط باعث شدین اونها یاد بگیرن چطوری ماهرانه تر و مخفی‌ تر دروغ بگن!

در مدل‌های پیشرفته‌ی استدلال، معمولا هدف و نیت اونها به‌ روشنی در زنجیره‌ ی تفکرشون نمایان میشه.

اوپن ای آی با استفاده از یه مدل زبانی دیگه، مسیر استدلال رو زیر نظر میگیره تا رفتارهای ناهنجار رو تشخیص بده، اما این قابلیت پایش‌ پذیری مسیر فکری بسیار شکننده ست، چون اگه نظارت سخت‌ گیرانه‌ تری بر زنجیره‌ی تفکر اعمال شه، این مدل‌ها یاد میگیرن که نیت خود شون رو پنهان کنن و همچنان به رفتار نادرست ادامه بدن!
@silicon_brain | از هوش مصنوعی عقب نمانید

یافته جدید OpenAI در مورد زنجیره تفکر COT
(تو این پست در مورد COT گفتم)

اعلام کرده که طراحی ساختارهای پاداشی که ناخواسته موجب تشویق رفتارهای نادرست در مدل های زبانی نشن، کاری بسیار دشواریه!

این موضوع فقط مختص مدل های زبانی نیست، به عنوان مثال اگه بچه‌ هاتون به‌ خاطر دروغ گفتن تنبیه کنید، درواقع جلو دروغ گفتنشون رو نگرفتین، فقط باعث شدین اونها یاد بگیرن چطوری ماهرانه تر و مخفی‌ تر دروغ بگن!

در مدل‌های پیشرفته‌ی استدلال، معمولا هدف و نیت اونها به‌ روشنی در زنجیره‌ ی تفکرشون نمایان میشه.

اوپن ای آی با استفاده از یه مدل زبانی دیگه، مسیر استدلال رو زیر نظر میگیره تا رفتارهای ناهنجار رو تشخیص بده، اما این قابلیت پایش‌ پذیری مسیر فکری بسیار شکننده ست، چون اگه نظارت سخت‌ گیرانه‌ تری بر زنجیره‌ی تفکر اعمال شه، این مدل‌ها یاد میگیرن که نیت خود شون رو پنهان کنن و همچنان به رفتار نادرست ادامه بدن!
@silicon_brain | از هوش مصنوعی عقب نمانید
👍142👏1


>>Click here to continue<<

Silicon Brain | جامعه هوش مصنوعی




Share with your best friend
VIEW MORE

United States America Popular Telegram Group (US)