شرکت Etched با توسعه نخستین چیپ ASIC مخصوص معماری «ترنسفورمر» توانسته سریعترین سختافزار جهان را برای اجرای این نوع مدلها بسازد.
این چیپ که «Sohu» نام دارد، با هدف اجرای مدلهایی مثل LLaMA 70B طراحی شده و ادعا میشود که قادر است با نرخ بیش از ۵۰۰٬۰۰۰ توکن بر ثانیه عمل کند، سرعتی که به گفته آنها بسیار فراتر از توان B200 یا H100 انویدیا است! 🤯
منابع: 1 | 2
>>Click here to continue<<