ساخت مدل زبانی روی دیتابیس به صورت خودکار
LAMOGEL: Language Model Generation Lifecycle
یه پروژه تو گیتهاب داشتم برای یه بیزنسی کار کرده بودم. امروز پابلیکش کردم تا دیگران هم استفاده کنن.
به چه دردی میخوره؟
اگه میخواین روی دیتابیس بیزینس خودتون یه مدل زبانی پیشرفته که مفاهیم و فضای کاری شما رو درک کرده باشه سریع و خودکار بسازید از LAMOGEL استفاده کنید
مراحل:
1. اتصال به دیتابیس
2. پیش‌پردازش داده‌ها
3. تقسیم دیتا: دیتا رو به دو بخش پیش آموزش (Pre-training) و تنظیم دقیق (Fine-tuning) تقسیم میکنه. تا اولش LM رو آموزش بده و بعدش با متریک‌ها ارزیابی کنه و برای تسک NLP مورد نظر شما تیون کنه.
4.آموزش مدل MLM
5.ذخیره مدل: مدل آموزشی ساخته‌شده رو تو مسیر مشخصی و تو Huggingface ذخیره میکنه.
کانفیگ آسان:
همه هایپرپارامترهای مورد نیاز، مثل نرخ یادگیری، تعداد داده‌های فاین‌تیون و غیره رو از فایل Config.py میتونین ست کنین و پروژه رو اینجوری ایزی ران کنید😁

python app.py

Silicon Brain | جامعه هوش مصنوعی

Forwarded from Silicon Brain | جامعه هوش مصنوعی

ساخت مدل زبانی روی دیتابیس به صورت خودکار
LAMOGEL: Language Model Generation Lifecycle
یه پروژه تو گیتهاب داشتم برای یه بیزنسی کار کرده بودم. امروز پابلیکش کردم تا دیگران هم استفاده کنن.
به چه دردی میخوره؟
اگه میخواین روی دیتابیس بیزینس خودتون یه مدل زبانی پیشرفته که مفاهیم و فضای کاری شما رو درک کرده باشه سریع و خودکار بسازید از LAMOGEL استفاده کنید
مراحل:
1. اتصال به دیتابیس
2. پیش‌پردازش داده‌ها
3. تقسیم دیتا: دیتا رو به دو بخش پیش آموزش (Pre-training) و تنظیم دقیق (Fine-tuning) تقسیم میکنه. تا اولش LM رو آموزش بده و بعدش با متریک‌ها ارزیابی کنه و برای تسک NLP مورد نظر شما تیون کنه.
4.آموزش مدل MLM
5.ذخیره مدل: مدل آموزشی ساخته‌شده رو تو مسیر مشخصی و تو Huggingface ذخیره میکنه.
کانفیگ آسان:
همه هایپرپارامترهای مورد نیاز، مثل نرخ یادگیری، تعداد داده‌های فاین‌تیون و غیره رو از فایل Config.py میتونین ست کنین و پروژه رو اینجوری ایزی ران کنید😁

python app.py

لینک گیتهاب
لطفا تو گیتهاب استار ⭐️ بدین تا انگیزه ای باشه برای همه افرادی که ریپو هاشون رو پابلیک میکنن
@silicon_brain | از هوش مصنوعی عقب نمانید

hottg.com/silicon_brain/1576

2.2K viewsApr 12 at 13:32