目录
1 市场深度学习硬件配置严重缺陷
2 最合理深度学习硬件架构分析
3 UltraLAB 深度学习超级计算机完美配置推荐
(一)市场上提供的深度学习硬件配置有严重缺陷
深度学习太火了,卖深度学习的计算机、服务器、工作站,五花八门,到处都是卖家,到处都是专家,似乎,只要机器里能插GPU,插的越多性能越强,实际情况是:
反馈1: 为什么4块GPU机器,比人家2块GPU机器还慢
反馈2: 为什么同样8块GPU比人家8块GPU卡,还慢
反馈3: 为什么2块GPU卡,一个快一个慢
反馈4: 为什么这么多GPU卡,计算过程还是很慢
反馈5: 我的机器噪音巨大,无法放到办公环境,怎么在静音环境下运行
…
误区1:只要有足够多GPU卡,性能更强大
误区2:同样数量GPU卡,谁便宜、谁性价比更高,就最好选择
误区3:CPU核数,频率不重要,把钱砸到GPU上就行
误区4:硬盘和内存不重要,最重要的是GPU卡越多越好
…
困惑1: 上述反馈是什么原因造成的?
困惑2:市场谁家能给出更好的配置架构
问题来了,深度学习需要什么样的硬件配置才是最合理,最高效的
(二)深度学习硬件架构分析
首先一定从深度学习计算过程分析开始
上述图示,深度神经网络计算大致流程,下面通过深度神经网络计算环节,分析核心硬件配置理想要求
环节 |
主要操作 |
涉及硬件 |
瓶颈 |
配置推荐 |
1 |
数据调入 |
硬盘->内存 |
硬盘io是最大瓶颈 |
GPU和硬盘数量1:1 硬盘io越高越好 |
2 |
数据预处理 |
CPU(单核计算模式) |
计算量巨大 |
CPU频率越高,处理越快 |
3 |
内存->显存->计算 |
GPU |
计算量巨大 |
增加GPU,CPU核数大于GPU数量,内存比显存大 |
4 |
数据结果->内存 |
内存 |
||
5 |
数据保存 |
硬盘 |
硬盘io |
用SSD或多硬盘 |
常见计算机硬件配置上的低级错误:
1.为了省钱,硬盘用普通PC硬盘,寿命短,带宽低,或数量不够,
2. 为了节省,CPU用的最多的是Xeon E5 2620v(8核2.1GHz),频率太低,数据预处理太慢,成为整个计算的最大瓶颈,
3.为了把钱用到“刀刃上”—尽可能多配GPU卡,但是总显存比内存容量大,不合理,或者CPU核数低于GPU卡数,这些都会造成计算过程资源耗尽,数据来回从虚拟内存导入,计算变慢
|
文章评论