怎么提高gpu专用内存

---

一、在TensorFlow的GPU上，如何设置内存？

深度学习训练中，专用GPU内存和共享GPU内存之间的选择

当我们讨论GPU上的TensorFlow内存管理时，一个常见的问题是：是否应该联合使用GPU内存？答案并不那么简单，因为它涉及GPU内存类型及其在训练过程中的作用。让我们首先澄清一些基本概念。

GPU专用内存

GPU专用内存是GPU专用的高速存储空间，类似于NVIDIA显卡上的视频内存。它提供对高速GPU计算的直接访问。这种高带宽、低延迟的内存对于深度学习训练至关重要，因为它支持高效执行大规模并行计算。然而，TensorFlow无法直接利用系统RAM的这块区域，因为CUDA（NVIDIA的并行计算平台）只能访问分配给GPU的内存。

GPU共享内存

GPU共享内存通常是指GPU和其他系统组件共享的系统RAM。在某些情况下，例如IntelHD系列集成显卡，系统可能会将一部分内存划分为共享内存，供GPU在需要时使用。然而，由于PCIe接口的限制，共享内存的带宽远低于分配内存的带宽，这可能导致数据传输速度较慢，从而影响训练效率。

在Windows10任务管理器中，你看到的“GPU共享内存”实际上是系统为了平衡GPU和其他应用程序的需求而分配给GPU的优先级内存。当显存不足时，系统更愿意使用这部分内存来缓解显存压力，但这可能会造成性能损失，尤其是在处理需要大量内存的算术运算时。

指标与选择

在实际应用中，如果GPU显存足够大，专用GPU显存是深度学习训练的理想选择，因为它们提供最佳性能。但如果显存不够，Windows会使用共享内存来弥补，但这可能会对训练速度产生影响。因此，共享内存的选择取决于系统的具体配置和训练任务的需要。

一般情况下，专用GPU内存是深度学习训练的首选，但当资源有限时，可以使用共享内存作为应急策略。了解这些内存类型之间的差异和作用，可以帮助我们更好地优化GPU资源分配，以提高深度学习训练的效率。

---

二、如何优化Windows10的GPU内存？在Windows10的任务管理器中，新的GPU选项可以让用户深入了解程序的GPU使用情况。“专用GPU内存”和“共享GPU内存”是在GPU内存管理中发挥重要作用的两个关键概念。
专用GPU显存根据显卡类型分为两类：独立显卡上的GDDR显存（如双GPUGTX1080T这部分显存为GPU独占，带宽较高）。和低延迟。对于集成显卡，如IntelHD4000，BIOS会将部分系统内存保存为特殊内存，即“StolenMemory”，大小可以从16M到1GB不等，但可以通过BIOS进行调整，虽然有些方法调整在线注册表无效。
“共享GPU内存”是Windows预留供GPU优先使用的系统内存部分。尽管看起来32GB系统内存中的16GB是共享的，但Windows明智地根据需要分配它，而不是为每个GPU单独分配16GB。事实上，即使内存看起来很忙，其他应用程序也会获得优先级，并且共享内存比专用内存具有更低的带宽和延迟。
一般来说，“GPU显存/总可用GPU显存”是两者之和，反映显卡上实际可用的显存。了解这些内存管理方法可以帮助用户优化资源分配，特别是对于游戏或者需要高性能图形处理的用户。
虽然Windows7中也有此功能，但Win10显示更直观。深入研究这些细节可以揭示操作系统内部许多有趣的机制。对BIOS和系统内存管理感兴趣的读者，可以关注我们的BIOS培训云课程，获取更多相关信息。

---

三、共享gpu内存利用率怎么拉满如果显存使用率不高，可以增加batchsize。也与网络结构有关。一些网络的并行性，例如mobilenet，本质上不如vgg友好。此问题没有解决方法。不同的深度学习框架对GPU的优化也不同。据我所知，tensorpack和mxnet擅长gpu优化。pytorch稍差一些。

那么数据供给方式对gpu使用率也有较大的影响，如果数据供给慢，gpu就会等待空闲。加速数据供给的常用方式：并行读取、固态硬盘、避免GPU和CPU频繁复制数据