Engineers create first AI model specialized for chip design language

Не опять, а снова новости о «первой» модели, обученной специально для проектирования чипов.

На мой взгляд, главная проблема генерации Verilog-кода с помощью ИИ в том, что для обучения таких моделей слишком мало качественных материалов. На GitHub в целом мало примеров на Verilog/SystemVerilog, а годных и полезных из них ещё меньше. Учебники по Verilog (читай по цифровому дизайну) редко обновляются, и практически нет по-настоящему сильных книг по микроархитектуре, которые подробно разбирали бы сложные вопросы проектирования, анализа таймингов, площади конечного устройства.

The final combined corpus of textbook-extracted and GitHub code comprises 400 MB of text. The care taken in chunking and reconstructing intact blocks improves integrity of examples for the LLMs to learn prototypical Verilog structures effectively.

Вероятно, крупные компании вроде Nvidia или ARM могут себе позволить тренировать модели на огромных внутренних базах кода и получать от этого реальную пользу, но перспективы моделей, обученных на открытых данных, выглядят сомнительно.

In their evaluation, the fine-tuned CodeGen-16B achieved a 41.9% rate of functionally correct code versus 35.4% for the commercial code-davinci-002 model.

Итог, разработчики "первой" модели для проектирования чипов достигли результата всего лишь в 41%, при этом сравнивая свою модель с коммерческой моделью двухлетней давности («code-davinci-002» от OpenAI, выпущенной примерно в 2022 году).

Подробнее про специфику сравнения LLM для Hardware кодогенераторов - Revisiting VerilogEval: A Year of Improvements in Large-Language Models for Hardware Code Generation