به گزارش «روابط‌ عمومی پژوهشگاه علوم و فناوری اطلاعات ایران» طرح پژوهشی «توسعه زیرساخت سخت‌افزاری هوش مصنوعی مقرون‌به‌صرفه و توسعه‌پذیر برای پژوهشگاه علوم و فناوری اطلاعات ایران (ایرانداک)» توسط دکتر عمار جلالی‌منش، استادیار پژوهشکده فناوری اطلاعات به پایان رسید.

این گزارش به مراحل طراحی، ساخت و پیاده‌سازی یک سرور هوش مصنوعی با قابلیت پردازش موازی و مدیریت مدل‌های بزرگ می‌پردازد. سرور توسعه‌یافته مبتنی بر سخت‌افزارهای ۶ کارت گرافیکNVIDIA RTX 3090، پردازنده AMD Threadripper 3970X (۳۲ هسته‌ای)، و ۱۶۰ گیگابایت رم DDR4 است و با هدف پشتیبانی از مدل‌های یادگیری عمیق در محیطی مقرون‌به‌صرفه طراحی شده است.

مراحل اجرای پروژه در پنج گام اصلی انجام پذیرفته است:        

۱. طراحی معماری سرور و خرید تجهیزات: انتخاب قطعات سخت‌افزاری شامل کارت‌های گرافیک، پردازنده، حافظه رم، ذخیره‌ساز، و منبع تغذیه با تمرکز بر تعادل هزینه و عملکرد.      

۲. ساخت شاسی سفارشی: طراحی و تولید شاسی فلزی با قابلیت نصب همزمان ۶ کارت گرافیک و سیستم خنک‌کننده هوا-مایع. 

۳. نصب سخت‌افزارها و توسعه سیستم خنک‌کننده: جای‌دهی قطعات در شاسی، اتصال کابل‌هایPCIe Riser، و راه‌اندازی خنک‌کننده‌های مایع برای کنترل دمای کارت‌های گرافیک.     

۴. پیکربندی نرم‌افزاری: نصب سیستم عامل ویندوز ۱۱ پرو، درایورهای NVIDIA، و پلتفرم Ollama  برای مدیریت مدل‌ها از طریق رابط کاربری گرافیکی.       

۵. استقرار و پیکربندی مدل‌های هوش مصنوعی: اجرای موفقیت‌آمیز مدل‌های بزرگ مانند DeepSeek-70B (پردازش زبان طبیعی) و Llama Vision-90B (پردازش چندوجهی) بر روی زیرساخت ساخته‌شده.

این پروژه نشان می‌دهد که با ترکیب سخت‌افزارهای قابل دسترس و ابزارهای نرم‌افزاری مدرن مانند Ollama، می‌توان زیرساخت‌های پردازشی قدرتمندی را در محیط ویندوز پیاده‌سازی کرد. استفاده از رابط گرافیکی Ollama، مدیریت مدل‌های پیچیده و توزیع بار پردازشی بین کارت‌های گرافیک را برای کاربران تسهیل کرده است.