在动态环境中使用CUDA图提高实际应用程序性能-电子发烧友网

通过将计算密集型部件卸载到 GPU 上，可以大大加快许多工作负载。在 CUDA 术语中，这被称为启动内核。当这些内核很多且持续时间很短时，启动开销有时会成为一个问题。

CUDA Graphs提供了一种减少开销的方法。图形之所以有效，是因为它们将任意数量的异步 CUDA API 调用（包括内核启动）组合到一个只需要一次启动的操作中。它们在创建时确实会产生一些开销，因此它们的最大好处来自多次重用。

在 ToolkitVersion10 中引入 CUDA 图形时，可以对其进行更新，以反映其实例化中的一些细微变化。此后，此类更新操作的覆盖范围和效率显著提高。在这篇文章中，我描述了一些通过使用 CUDA 图来提高实际应用程序性能的场景，其中一些场景包括图更新功能。

上下文

考虑一个应用程序，该函数具有启动许多短运行内核的功能，例如：

如果每次遇到此函数时都以相同的方式执行，则可以使用流捕获将其转换为 CUDA 图。在本例中，必须引入一个开关布尔值captured，以指示是否已经创建了图形。将此开关的解除 Clara 操作和初始化放在源代码中，使其范围包括对函数tight_loop的每次调用。

接下来，用代码包装函数的任何实际调用，以创建对应的 CUDA 图（如果它不存在），然后启动该图。

对 tight _循环函数的调用实际上并不执行任何内核启动或其他 CUDA 操作。它只记录所有这些操作并将它们存储在数据结构中。

关注启动内核的函数。在实际应用中，它看起来像以下代码：

显然，如果函数的参数在连续调用后发生变化，那么表示 GPU 内部工作的 CUDA 图也应该发生变化。不能重复使用原始图形。但是，假设多次遇到相同的函数参数集，您至少可以通过两种不同的方式来处理这种情况：保存和识别图形或更新图形。

保存并识别 CUDA 图形

第一种方法从 C ++标准模板库中引入容器来存储参数集。每当您遇到一个新的参数集来唯一地定义函数tight_loop，请将它连同相应的可执行图形一起添加到容器中。

当您遇到容器中已经存在的参数集时，启动相应的 CUDA 图形。假设在本例中，变量first、params.size和delta唯一地定义了tight_loop。这个三胞胎是钥匙用于区分图形。您可以在源代码中定义它和要使用的容器，使其范围包括对函数tight_loop的每次调用。

无论函数tight_loop出现在何处，都要用填充键的代码将其包装起来，并在容器中查找。如果找到键，代码将启动相应的可执行 CUDA 图。否则，它将创建一个新图形，将其添加到容器中，然后启动它（图 1 ）。

图 1 。保存和识别图形。

这种方法通常效果很好，但有一些固有的危险。在本例中，您确定只需要三个参数来定义容器中的键。对于不同的工作负载，这可能不同，或者另一个开发团队成员可能会默默地向结构中添加字段MyStruct。这会影响非平凡函数cmpKeys的编写方式。此函数是容器所必需的，用于确定某个密钥是否比另一个密钥小。

为 STL 容器编写一个非平凡的比较函数通常并不困难，但当一个键由多个非平凡的实体组成时，可能会很乏味。一种普遍适用的方法是使用词典比较。对于本例，以下代码示例有效：

更新 CUDA 图

请记住，要重用以前捕获的可执行 CUDA 图，它必须与调用上下文完全匹配：

相同拓扑

图节点的数量和类型相同

图节点之间的依赖关系相同

相同节点参数

但是，如果 CUDA 图的拓扑结构保持不变，则可以调整它以使其符合新的需要。存在一种方便的机制来确认拓扑等价性，同时调整节点参数以返回修改后的可执行图。它由cudaGraphExecUpdate提供，其工作原理是将现有的可执行图与新派生的图进行比较（例如，通过流捕获方便地获得）。如果可能，差异用于进行更改。

这种方法的好处是双重的。首先，当更新足够时，可以避免昂贵的新 CUDA 图实例化。第二，你不必知道是什么让图形独一无二。任何图形比较都由 update 函数隐式执行。下面的代码示例实现了此方法。与之前一样，它从开关的解除 Clara 和初始化开始，以指示先前创建的图形。