با گسترش ابزارهایی مانند دستیارهای متنی، تولیدکنندههای تصویر و مدلهای تبدیل گفتار به متن، بسیاری از کاربران تصمیم گرفتهاند هوش مصنوعی را روی سیستم شخصی یا زیرساخت داخلی شرکت اجرا کنند. نخستین پرسش معمولاً این است: برای اجرای یک مدل هوش مصنوعی به چه کارت گرافیک یا سروری نیاز داریم؟
عدهای تصور میکنند بدون خرید یک GPU بسیار گرانقیمت نمیتوان وارد این حوزه شد. گروهی دیگر نیز انتظار دارند هر مدل زبانی بزرگی روی یک لپتاپ معمولی با سرعت مناسب اجرا شود. واقعیت میان این دو تصور قرار دارد.
برای انتخاب درست باید ابتدا مشخص کنیم قرار است چه کاری انجام دهیم؛ سپس ظرفیت VRAM، قدرت پردازنده، مقدار رم، سرعت ذخیرهسازی، مسیرهای PCIe، برق و خنککننده را بررسی کنیم.
آیا برای شروع هوش مصنوعی به سرور نیاز داریم؟
برای شروع آموزش هوش مصنوعی الزاماً به سرور اختصاصی نیاز ندارید. یادگیری پایتون، کار با دادههای کوچک و آشنایی با مفاهیم یادگیری ماشین روی یک لپتاپ یا کامپیوتر معمولی نیز امکانپذیر است.
بسیاری از ابزارهای هوش مصنوعی از طریق وب یا API در دسترس هستند. در این حالت، پردازش اصلی روی زیرساخت شرکت ارائهدهنده انجام میشود و سیستم کاربر فقط درخواست را ارسال و نتیجه را دریافت میکند.
حتی بخشی از پروژههای Machine Learning کلاسیک، مانند دستهبندی دادههای جدولی، رگرسیون و تحلیلهای آماری، ممکن است با CPU عملکرد قابلقبولی داشته باشند.
تفاوت Training، Fine-tuning و Inference
پیش از انتخاب سختافزار باید سه اصطلاح اصلی را بشناسیم: آموزش، تنظیم دقیق و استنتاج.
Training
Training یا آموزش از ابتدا، فرایندی است که طی آن مدل با استفاده از حجم بزرگی از داده الگوها را یاد میگیرد. آموزش مدلهای بزرگ میتواند به تعداد زیادی GPU، شبکه پرسرعت و زمان طولانی نیاز داشته باشد.
بیشتر شرکتها نیازی ندارند یک مدل زبانی بزرگ را از ابتدا آموزش دهند. هزینه جمعآوری داده، پردازش، تجهیزات و نیروی متخصص در چنین پروژهای بسیار زیاد است.
Fine-tuning
در Fine-tuning یک مدل آماده با دادههای اختصاصی برای وظیفه مشخص تنظیم میشود. این روش معمولاً منابع کمتری نسبت به آموزش کامل میخواهد. تکنیکهایی مانند LoRA و QLoRA نیز میتوانند مقدار حافظه و توان موردنیاز را کاهش دهند.
Inference
Inference به استفاده از مدل آموزشدیده برای تولید پاسخ گفته میشود. زمانی که از یک مدل میخواهیم متن بنویسد، تصویر تولید کند یا سندی را تحلیل کند، در حال اجرای استنتاج هستیم.
Inference معمولاً از Training سبکتر است، اما اندازه مدل، طول ورودی، تعداد کاربران و سرعت تولید پاسخ میتواند نیاز سختافزاری را افزایش دهد.
چه زمانی به GPU نیاز داریم؟
پردازنده مرکزی یا CPU برای مدیریت سیستمعامل، آمادهسازی دادهها، اجرای نرمافزار و بسیاری از پردازشهای عمومی مناسب است. GPU برای انجام تعداد زیادی محاسبه مشابه بهصورت موازی طراحی شده و به همین دلیل در شبکههای عصبی عملکرد بسیار خوبی دارد.
GPU در این موارد اهمیت بیشتری پیدا میکند:
برخی مدلهای کوچک را میتوان فقط با CPU اجرا کرد، اما سرعت تولید پاسخ معمولاً کمتر خواهد بود. برای کاربرد آزمایشی ممکن است این سرعت قابلقبول باشد، ولی در سرویس عملیاتی یا محیط چندکاربره به GPU نیاز پیدا میکنیم.
تفاوت کارت گرافیک گیمینگ و دیتاسنتری
کارتهای گرافیک گیمینگ برای اجرای بازی، رندر تصاویر و استفاده در کامپیوترهای شخصی طراحی شدهاند. این کارتها میتوانند قدرت پردازشی مناسبی با قیمت رقابتی ارائه دهند و برای یادگیری یا پروژههای کوچک AI قابل استفاده باشند.
GPUهای ورکاستیشن و دیتاسنتری برای فعالیت مداوم، پروژههای حرفهای و نصب در زیرساختهای سازمانی طراحی میشوند. ظرفیت بیشتر حافظه، پشتیبانی نرمافزاری سازمانی، قابلیتهای مجازیسازی، مدیریت بهتر خطاها و فرم فیزیکی مناسب سرور از مزایای احتمالی این محصولات هستند.
انتخاب باید براساس ظرفیت حافظه، نوع محاسبات، سازگاری نرمافزاری، توان مصرفی، خنککننده و بودجه انجام شود.
VRAM چیست و چرا اهمیت دارد؟
VRAM حافظه اختصاصی کارت گرافیک است. وزنهای مدل، ورودیها، خروجیها و دادههای موقت پردازش باید در این حافظه قرار گیرند.
اگر مدل داخل VRAM جا نشود، ممکن است بخشی از آن به رم سیستم منتقل شود. این روش امکان اجرای بعضی مدلهای بزرگتر را فراهم میکند، اما به دلیل اختلاف سرعت ارتباط، عملکرد کاهش مییابد.
برای بسیاری از کاربران AI، ظرفیت VRAM یکی از نخستین محدودیتهاست. کارت سریع دارای حافظه کم ممکن است نتواند مدل موردنظر را اجرا کند، درحالیکه یک کارت قدیمیتر با حافظه بیشتر قادر به بارگذاری همان مدل باشد.
میزان VRAM موردنیاز فقط به تعداد پارامترها وابسته نیست. نوع داده، روش کوانتیزهسازی، طول Context، اندازه Batch و معماری نرمافزار نیز در مصرف حافظه اثر دارند.
پارامترهای مدل چه ارتباطی با حافظه دارند؟
پارامترها مقادیری هستند که مدل در فرایند آموزش یاد گرفته است. مدل دارای هفت میلیارد پارامتر، برای نگهداری وزنها به حافظه نیاز دارد و مقدار آن براساس دقت عددی متفاوت خواهد بود.
با کاهش دقت وزنها، میزان حافظه مصرفی کمتر میشود. به همین دلیل نسخه چهاربیتی یک مدل ممکن است روی کارت دارای VRAM محدودتری اجرا شود.
این محاسبه فقط یک برآورد اولیه است و مصرف واقعی باید براساس مدل، موتور اجرا و تنظیمات آن بررسی شود.
کوانتیزهسازی چیست؟
Quantization یا کوانتیزهسازی روشی برای نمایش وزنهای مدل با دقت عددی کمتر است. برای مثال، مدل میتواند بهجای ۱۶ بیت با هشت یا چهار بیت اجرا شود.
کاهش دقت معمولاً حجم مدل و مصرف حافظه را پایین میآورد و در بعضی سختافزارها سرعت اجرا را افزایش میدهد. در مقابل، ممکن است بخشی از دقت یا کیفیت مدل کاهش پیدا کند.
میزان این کاهش به مدل، نوع کوانتیزهسازی و کاربرد وابسته است. برای گفتوگوهای عمومی، یک نسخه چهاربیتی باکیفیت ممکن است نتیجه مناسبی ارائه دهد؛ اما در پردازشهای حساس باید تأثیر آن آزمایش شود.
کوانتیزهسازی باعث شده است بسیاری از مدلهایی که پیشتر فقط روی سرورهای گرانقیمت اجرا میشدند، روی ورکاستیشن یا حتی بعضی سیستمهای شخصی قابل استفاده باشند.
آیا حافظه چند GPU با یکدیگر جمع میشود؟
فرض کنید دو GPU با ۲۴ گیگابایت حافظه داریم. از نظر ظرفیت فیزیکی، مجموع حافظه کارتها ۴۸ گیگابایت است؛ اما هر نرمافزار الزاماً نمیتواند آن را مانند یک حافظه یکپارچه استفاده کند.
این مدل سرور تاور اچ پی برای شرکتهایی که بین 5 تا 20 کاربر دارند گزینه مناسبی محسوب میشود.
سرعت این ارتباط بر عملکرد اثر دارد. اگر کارتها فقط از طریق PCIe با یکدیگر ارتباط داشته باشند، نتیجه با سیستمهایی که اتصال اختصاصی پرسرعت میان GPUها دارند یکسان نخواهد بود.
بنابراین دو کارت ۲۴ گیگابایتی همیشه جایگزین مستقیم یک کارت ۴۸ گیگابایتی نیستند. سازگاری نرمافزار، تعداد اسلاتها، پهنای باند PCIe، پاور و خنککننده باید بررسی شوند.
پهنای باند حافظه GPU
ظرفیت VRAM مشخص میکند چه مقدار داده داخل GPU قرار میگیرد؛ پهنای باند حافظه نیز نشان میدهد این دادهها با چه سرعتی جابهجا میشوند.
مدلهای زبانی هنگام تولید توکن بارها وزنها را از حافظه میخوانند. در بسیاری از سناریوهای Inference، پهنای باند حافظه میتواند تأثیر زیادی بر سرعت داشته باشد.
به همین دلیل مقایسه GPUها فقط براساس ظرفیت VRAM یا تعداد هستههای CUDA دقیق نیست. معماری، نوع حافظه، پهنای باند، توان محاسباتی و پشتیبانی از انواع داده نیز باید در نظر گرفته شوند.
CUDA Core و Tensor Core چه هستند؟
CUDA Coreها واحدهای پردازشی عمومی در GPUهای انویدیا هستند که محاسبات موازی را انجام میدهند. Tensor Coreها برای عملیات ماتریسی مورد استفاده در هوش مصنوعی و یادگیری عمیق بهینه شدهاند.
تعداد این هستهها میتواند در مقایسه کارتهای یک نسل مفید باشد، اما مقایسه مستقیم تعداد هستهها میان معماریهای مختلف همیشه نتیجه درستی نمیدهد. هر نسل ممکن است طراحی و توان پردازشی متفاوتی داشته باشد.
بهترین معیار، بررسی عملکرد کارت در مدل و نرمافزار موردنظر است. نتایج Benchmark نیز باید با دقت عددی و تنظیمات مشابه مقایسه شوند.
نقش پردازنده در سرور هوش مصنوعی
وجود GPU به معنای بیاهمیتبودن CPU نیست. پردازنده وظیفه مدیریت سیستمعامل، آمادهسازی دادهها، اجرای برنامه، فشردهسازی، شبکه و هماهنگی GPUها را بر عهده دارد.
اما سؤال اصلی این است: سرور چیست؟
اگر پردازنده یا تعداد هستهها برای بار کاری کافی نباشد، GPU ممکن است بخشی از زمان خود را در انتظار دریافت داده باقی بماند. چنین وضعیتی باعث میشود از توان کامل کارت گرافیک استفاده نشود.
در پروژههای چند GPU باید تعداد PCIe Laneهای پردازنده نیز بررسی شود. نصب چند کارت در اسلاتهای فیزیکی به این معنا نیست که همه آنها با پهنای باند کامل فعالیت خواهند کرد.
برای Inference ساده معمولاً به قدرتمندترین CPU بازار نیاز نداریم؛ اما آمادهسازی داده سنگین، چند GPU و سرویسدهی گسترده میتواند به پردازنده قویتری نیاز داشته باشد.
چه میزان رم سیستم لازم است؟
رم سیستم برای بارگذاری مدل، پردازش دادهها، اجرای سیستمعامل و برنامههای جانبی استفاده میشود. اگر بخشی از مدل از GPU به CPU منتقل شود، نیاز به رم افزایش پیدا میکند.
یک پیشنهاد عمومی این است که ظرفیت رم سیستم حداقل با مجموع VRAMها متناسب باشد؛ اما عدد دقیق به پروژه وابسته است. برای Datasetهای بزرگ، Fine-tuning و اجرای همزمان چند سرویس ممکن است به رم بسیار بیشتری نیاز داشته باشیم.
در سرورهای سازمانی از حافظه ECC استفاده میشود. این نوع رم قادر است برخی خطاهای داده را شناسایی و اصلاح کند و برای فعالیت مداوم مناسبتر است.
نحوه چینش ماژولها در کانالهای حافظه نیز اهمیت دارد. نصب نادرست رم میتواند پهنای باند حافظه را کاهش دهد.
SSD یا NVMe برای پروژه AI؟
مدلها و Datasetها ممکن است حجم زیادی داشته باشند. اگر سرعت فضای ذخیرهسازی پایین باشد، زمان بارگذاری داده افزایش پیدا میکند و GPU برای دریافت اطلاعات منتظر میماند.
SSD SATA برای پروژههای متوسط عملکرد مناسبی دارد، اما NVMe به دلیل اتصال از طریق PCIe، پهنای باند و تعداد عملیات بیشتری ارائه میدهد. برای آموزش، Datasetهای حجیم یا اجرای چند سرویس همزمان، NVMe Enterprise انتخاب بهتری خواهد بود.
سرعت ترتیبی تنها معیار نیست. IOPS، تأخیر، طول عمر نوشتن و پایداری عملکرد نیز اهمیت دارند. در پروژههایی که بهطور مداوم داده، Checkpoint و خروجی ذخیره میشود، استفاده از حافظه مصرفی میتواند محدودیت ایجاد کند.
میتوان سیستمعامل و مدلهای فعال را روی NVMe قرار داد و آرشیو Dataset یا بکاپ را روی فضای ذخیرهسازی پرظرفیتتر نگهداری کرد.
PCIe Lane چیست و چرا اهمیت دارد؟
هر GPU برای ارتباط با پردازنده و رم سیستم از مسیر PCIe استفاده میکند. این مسیر دارای تعداد مشخصی Lane است و نسلهای جدیدتر PCIe در هر Lane پهنای باند بیشتری فراهم میکنند.
در سیستم چند GPU باید مشخص شود هر اسلات با چه تعداد Lane فعالیت میکند. ممکن است یک اسلات از نظر فیزیکی x16 باشد، اما از نظر الکتریکی فقط x8 یا x4 در اختیار داشته باشد.
رایزرها، پردازنده دوم و نحوه تقسیم Laneها نیز بر تعداد کارتهای قابل نصب اثر دارند. بعضی سرورها بدون نصب CPU دوم، تمام اسلاتها را فعال نمیکنند.
پیش از خرید باید نقشه PCIe سرور، تعداد GPUها و تجهیزات دیگری مانند کارت شبکه یا کنترلر NVMe بررسی شوند.
برق و پاور سرور GPU
GPUهای حرفهای میتوانند توان زیادی مصرف کنند. مصرف خود کارت تنها بخشی از بار الکتریکی سیستم است و پردازنده، رم، دیسکها، فنها و کارتهای شبکه نیز برق نیاز دارند.
در دنیای فناوری اطلاعات، سرعت و عملکرد سیستمها تا حد زیادی به حافظه RAM وابسته است. چه از یک کامپیوتر شخصی استفاده کنید و چه یک سرور اچ پی سازمانی قدرتمند داشته باشید، حافظه RAM یکی از مهمترین قطعات سختافزاری محسوب میشود.
پاور باید علاوه بر توان اسمی، کانکتور و کابل سازگار با GPU را فراهم کند. استفاده از تبدیلهای غیراستاندارد میتواند خطر داغشدن کابل یا آسیب تجهیزات را افزایش دهد.
در سرورهای سازمانی معمولاً از پاورهای افزونه استفاده میشود. طراحی افزونه به این معناست که خرابی یک پاور در شرایط تعریفشده باعث خاموششدن فوری دستگاه نشود.
ظرفیت برق رک، UPS و سیستم توزیع برق نیز باید با مصرف کل سرورها هماهنگ باشد.
خنکسازی سرور GPU
بخش زیادی از انرژی مصرفی GPU به گرما تبدیل میشود. اگر این گرما بهدرستی خارج نشود، کارت دچار کاهش فرکانس شده و عملکرد آن افت میکند. گرمای طولانیمدت نیز میتواند عمر قطعات را کاهش دهد.
کارتهای Active دارای فن داخلی هستند و برای برخی ورکاستیشنها مناسباند. کارتهای Passive به جریان هوای قوی شاسی سرور وابستهاند و بدون طراحی مناسب نباید در کیسهای معمولی نصب شوند.
ماهان شبکه ایرانیان با سالها تجربه در زمینه فروش سرور، تجهیزات شبکه و راهکارهای زیرساختی، به عنوان یکی از تأمینکنندگان تخصصی سرورهای HPE در ایران شناخته میشود و خدمات متنوعی را به سازمانها، شرکتها، مراکز داده و کسبوکارهای کوچک و بزرگ ارائه میدهد.
آیا هر GPU روی هر سروری نصب میشود؟
خیر. سازگاری GPU به چند عامل وابسته است:
ممکن است کارت از نظر فیزیکی داخل سرور قرار بگیرد، اما سیستم برق یا خنککننده برای آن مناسب نباشد. به همین دلیل قبل از نصب باید QuickSpecs سرور، سازگاری GPU و تجهیزات جانبی بررسی شوند.
در زمان خرید سرور اچ پی برای کاربرد هوش مصنوعی، بهتر است مدل GPU، تعداد کارتها و نوع پردازش از ابتدا مشخص شود تا شاسی، رایزر، پاور و سیستم خنککننده متناسب انتخاب شوند.
لپتاپ، ورکاستیشن یا سرور؟
لپتاپ برای یادگیری، اجرای ابزارهای آنلاین و مدلهای کوچک مناسب است. محدودیت اصلی آن ظرفیت VRAM، توان مصرفی و خنککننده خواهد بود.
ورکاستیشن امکان نصب GPU قدرتمند، رم بیشتر و فضای ذخیرهسازی سریع را فراهم میکند. این گزینه برای یک متخصص، تیم کوچک یا پروژههایی که به یک یا دو کارت نیاز دارند مناسب است.
سرور برای فعالیت مداوم، دسترسی چند کاربر، مدیریت از راه دور و نصب تجهیزات سازمانی طراحی شده است. پاور افزونه، رم ECC، فضای رک و سیستم خنککننده قوی از مزایای آن هستند.
اگر پروژه فقط چند ساعت در هفته اجرا میشود، خرید سرور ممکن است ضروری نباشد. اما برای سرویس شبانهروزی، اطلاعات حساس یا استفاده همزمان چند نفر، سرور اختصاصی کنترل و پایداری بیشتری ایجاد میکند.
اجرای لوکال، ابری یا اختصاصی
در اجرای لوکال، مدل روی سیستم یا سرور داخل مجموعه اجرا میشود. کنترل داده و هزینه قابلپیشبینی از مزایای آن است، اما خرید و نگهداری سختافزار به عهده سازمان خواهد بود.
زیرساخت ابری امکان اجاره GPU برای مدت مشخص را فراهم میکند. این راهکار برای آزمایش، پروژه کوتاهمدت یا نیازهای متغیر مناسب است. اگر پردازش بهصورت دائمی انجام شود، هزینه تجمیعی اجاره باید با خرید سختافزار مقایسه شود.
سرور اختصاصی برای پروژههایی مناسب است که به کنترل، امنیت، عملکرد پایدار و استفاده مستمر نیاز دارند. گاهی بهترین روش، معماری ترکیبی است: آزمایش مدل در فضای ابری و انتقال بار ثابت به زیرساخت داخلی.
کارتهای اقتصادی برای شروع
Tesla P40 با ۲۴ گیگابایت VRAM میتواند برای اجرای اقتصادی برخی مدلهای کوانتیزهشده مورد استفاده قرار گیرد. این کارت قدیمی و Passive است و باید پشتیبانی نرمافزاری، برق و خنککننده آن بررسی شود.
Tesla T4 دارای ۱۶ گیگابایت حافظه و مصرف انرژی نسبتاً پایین است. این کارت برای Inference، پردازش ویدئو و سرویسهایی با تمرکز بر بهرهوری انرژی قابلتوجه است.
Tesla P100 نیز برای بعضی پردازشهای آموزشی و محاسباتی کاربرد دارد، اما نسل قدیمی آن ممکن است در اجرای برخی قابلیتها و فرمتهای جدید محدودیت داشته باشد.
قیمت پایینتر کارتهای قدیمی جذاب است، اما باید عملکرد واقعی، مصرف برق، عمر تجهیزات و پشتیبانی فریمورکها را در نظر گرفت.
RTX A6000، RTX 6000 Ada و L40S
RTX A6000 با ۴۸ گیگابایت VRAM برای مدلهای متوسط، تولید تصویر، رندر و پروژههای حرفهای گزینه قدرتمندی است. ظرفیت حافظه آن امکان اجرای مدلهایی را فراهم میکند که روی کارتهای ۲۴ گیگابایتی جا نمیشوند.
RTX 6000 Ada نیز ۴۸ گیگابایت حافظه دارد و از معماری جدیدتری استفاده میکند. این کارت برای AI، رندر و کاربردهای ورکاستیشن حرفهای طراحی شده است.
L40S با ۴۸ گیگابایت حافظه، برای هوش مصنوعی مولد، Inference، گرافیک و پردازش ویدئو قابل استفاده است. این مدل معمولاً در زیرساخت سروری نصب میشود و طراحی برق و خنککننده مناسب میخواهد.
انتخاب میان این کارتها باید براساس نرمافزار، نوع مدل، توان مصرفی و فرم سرور انجام شود.
A100، H100 و H200
A100 در ظرفیتهای ۴۰ و ۸۰ گیگابایتی عرضه شده و برای آموزش، Fine-tuning و Inference سازمانی کاربرد دارد. این GPU در فرمها و نسخههای مختلف موجود است و نوع اتصال آن باید با سرور سازگار باشد.
H100 نسل جدیدتری برای مدلهای بزرگ و پردازش سنگین است و در نسخههای مختلف دیتاسنتری عرضه میشود. H200 نیز با حافظه بیشتر و پهنای باند بالا، برای مدلهای زبانی بزرگ و بارهای حافظهمحور طراحی شده است.
این کارتها برای همه پروژهها اقتصادی نیستند. اگر یک سرویس با T4، L40S یا RTX A6000 پاسخگو باشد، خرید GPU گرانتر الزاماً بازگشت سرمایه مناسبی ایجاد نمیکند.
در مقابل، برای آموزش مدل بزرگ یا سرویسدهی گسترده، کارت ضعیف ممکن است زمان پردازش و هزینه عملیاتی را افزایش دهد. تصمیم باید براساس Benchmark واقعی و هزینه کل مالکیت گرفته شود.
سرورهای HPE مناسب GPU
HPE DL380 یک سرور رکمونت 2U قابلتوسعه است و بسته به نسل، کانفیگ و کیتهای نصب میتواند از GPUهای سازگار پشتیبانی کند. این مدل برای مجازیسازی، ذخیرهسازی و پروژههای عمومی AI قابل استفاده است.
HPE DL380a برای تراکم GPU و پروژههای شتابیافته طراحی شده و در کانفیگهای مناسب، فضای بیشتری برای کارتهای گرافیک فراهم میکند.
سرورهای مبتنی بر پردازنده AMD مانند برخی مدلهای DL385 به دلیل ظرفیت مسیرهای PCIe میتوانند در پروژههای چند GPU قابلتوجه باشند.
خانوادههای HPE Apollo و HPE Cray XD نیز برای محاسبات سنگین، پردازش علمی و زیرساختهای بزرگتر طراحی شدهاند.
نام مدل بهتنهایی برای انتخاب کافی نیست. نسل دستگاه، نوع پردازنده، رایزر، پاور، کابلها، کارت شبکه و فهرست GPUهای پشتیبانیشده باید بررسی شوند.
مجازیسازی GPU
در بعضی زیرساختها میتوان یک GPU را میان چند ماشین مجازی تقسیم کرد یا هر کارت را به یک VM اختصاص داد. این روش برای آزمایشگاهها، تیمهای توسعه و ارائه سرویس به کاربران مختلف مفید است.
قابلیتهای مجازیسازی به مدل GPU، نرمافزار Hypervisor و نوع مجوز وابستهاند. تمام کارتها از تقسیم سختافزاری منابع به یک شیوه پشتیبانی نمیکنند.
تخصیص مستقیم GPU به ماشین مجازی میتواند عملکرد مناسبی ایجاد کند، اما انعطاف اشتراک منابع کمتر خواهد بود. پیش از طراحی باید تعداد کاربران و سطح جداسازی موردنیاز مشخص شود.
امنیت اطلاعات و اجرای داخلی مدل
سرویسهای آنلاین برای بسیاری از کاربردها سریع و آسان هستند، اما ارسال اسناد حساس سازمانی به سرویس بیرونی ممکن است با سیاستهای امنیتی مجموعه سازگار نباشد.
اجرای مدل روی سرور داخلی امکان کنترل بیشتر بر داده، دسترسی کاربران و گزارشها را فراهم میکند. با این حال، داخلیبودن سرور بهتنهایی امنیت را تضمین نمیکند.
محدودکردن سطح دسترسی، رمزگذاری، بهروزرسانی نرمافزار، تهیه بکاپ و مانیتورینگ از اقدامات ضروری هستند. Dataset، مدلها و خروجیهای مهم نیز باید در برنامه پشتیبانگیری قرار بگیرند.
انتخاب سختافزار براساس تعداد کاربران
اجرای یک مدل برای یک کاربر با ارائه API به صدها کاربر متفاوت است. در سرویس چندکاربره، نرخ درخواست، طول ورودی و خروجی، Batch Size و زمان پاسخ مورد انتظار باید مشخص شوند.
در دنیای امروز، زیرساخت فناوری اطلاعات نقش مهمی در رشد و موفقیت کسبوکارها ایفا میکند. انتخاب یک سرور مناسب میتواند تأثیر مستقیمی بر سرعت، امنیت، پایداری و توسعهپذیری شبکه سازمان داشته باشد. به همین دلیل خرید سرور HP تنها یک انتخاب سختافزاری نیست، بلکه سرمایهگذاری بلندمدت برای آینده کسبوکار محسوب میشود.
افزایش تعداد کاربران ممکن است به GPU بیشتر یا سیستم صفبندی نیاز داشته باشد. گاهی استفاده از مدل کوچکتر و بهینهشده، نتیجه اقتصادیتری از افزودن سختافزار ایجاد میکند.
سه سطح پیشنهادی کانفیگ AI
سطح اقتصادی
برای آموزش، آزمایش و اجرای مدلهای کوچک میتوان از یک GPU اقتصادی مانند P40 یا T4، پردازنده متناسب، ۶۴ تا ۱۲۸ گیگابایت رم و SSD یا NVMe استفاده کرد.
سطح حرفهای
برای مدلهای متوسط، تولید تصویر و سرویسدهی محدود، یک یا دو کارت RTX A6000، RTX 6000 Ada یا L40S، مقدار ۲۵۶ تا ۵۱۲ گیگابایت رم و NVMe Enterprise قابلتوجه است.
سطح سازمانی
برای Fine-tuning، آموزش و سرویس همزمان کاربران زیاد، ممکن است به چند A100، H100 یا H200، رم بالا، شبکه ۲۵ یا ۱۰۰ گیگابیتی و سرور تخصصی GPU نیاز باشد.
این کانفیگها فقط نقطه شروع هستند. مدل، نرمافزار و Benchmark واقعی باید مشخصات نهایی را تعیین کنند.
اشتباهات رایج هنگام خرید سرور AI
یکی از اشتباهات رایج، خرید GPU فقط براساس تعداد CUDA Core است. ظرفیت و پهنای باند حافظه و نوع دادههای پشتیبانیشده نیز اهمیت دارند.
نادیدهگرفتن PCIe Lane، پاور و خنککننده میتواند باعث شود کارتهای خریداریشده با ظرفیت کامل کار نکنند یا اصلاً امکان نصب آنها وجود نداشته باشد.
تصور جمعشدن خودکار VRAM چند GPU، استفاده از GPU Passive در شاسی نامناسب و خرید NVMe مصرفی برای Dataset سنگین نیز از خطاهای متداول هستند.
گاهی نیز سازمان گرانترین GPU را خریداری میکند، درحالیکه مدل و تعداد کاربران به چنین توانی نیاز ندارند. در نقطه مقابل، انتخاب کارت بیشازحد ضعیف باعث افزایش زمان پردازش و کاهش کیفیت سرویس میشود.
چکلیست انتخاب سرور هوش مصنوعی
پیش از خرید این موارد را مشخص کنید:
دریافت مشاوره تخصصی پیش از خرید، ریسک انتخاب قطعات ناسازگار را کاهش میدهد. ماهان شبکه ایرانیان با تمرکز بر سرورهای HPE، کارتهای GPU و تجهیزات ذخیرهسازی میتواند براساس مدل هوش مصنوعی، تعداد کاربران و بودجه، کانفیگ متناسبتری پیشنهاد دهد.
جمعبندی
برای شروع یادگیری هوش مصنوعی همیشه به سرور یا GPU گرانقیمت نیاز نداریم. لپتاپ، ابزارهای آنلاین یا سیستم دارای کارت اقتصادی میتواند برای مراحل ابتدایی کافی باشد.