本文旨在解决在同一Python应用中同时使用ONNX Runtime的CUDA执行提供者和TensorRT时可能遇到的“无效资源句柄”CUDA错误。该错误通常源于PyCUDA自动初始化与TensorRT或其他CUDA库的上下文管理冲突。本教程将详细解释错误原因，并提供通过手动管理CUDA上下文来解决此问题的专业方法，确保两种推理引擎的稳定协同工作。
1. 问题背景与错误分析
在深度学习推理场景中，为了最大化性能，开发者常常需要集成不同的推理引擎。onnx runtime以其灵活性支持多种硬件后端，而nvidia tensorrt则专为nvidia gpu提供极致优化。当尝试在同一个python进程中同时加载并运行onnx runtime（配置为使用cudaexecutionprovider）和tensorrt模型时，可能会遇到以下cuda运行时错误：
[TRT] [E] 1: [convolutionRunner.cpp::execute::391] Error Code 1: Cask (Cask convolution execution)[TRT] [E] 1: [checkMacros.cpp::catchCudaError::272] Error Code 1: Cuda Runtime (invalid resource handle)
这个错误通常表明CUDA上下文或资源管理存在冲突。pycuda.autoinit模块虽然方便，但在复杂的CUDA应用中，尤其是在与其他显式管理CUDA上下文的库（如TensorRT）结合使用时，可能会导致问题。pycuda.autoinit会在导入时自动创建一个默认的CUDA上下文。如果TensorRT或ONNX Runtime的CUDA提供者尝试在不同的方式下管理或创建自己的上下文，或者两者对同一个GPU资源的处理方式不兼容，就可能出现“无效资源句柄”的错误。当单独运行模型或将ONNX Runtime切换到CPUExecutionProvider时问题消失，进一步证实了这是CUDA资源管理层面的冲突。
2. 解决方案：手动CUDA上下文管理
解决此问题的核心在于放弃pycuda.autoinit的自动上下文创建，转而采用pycuda.driver进行手动、显式的CUDA上下文初始化和管理。这使得开发者能够更好地控制CUDA资源的生命周期，避免不同库之间的隐式冲突。
关键步骤：
移除 import pycuda.autoinit： 这是导致冲突的根源之一。手动初始化CUDA并创建上下文： 使用 pycuda.driver.cuda.init() 初始化CUDA驱动，然后选择一个设备并为其创建上下文。上下文的激活与释放： 确保在需要CUDA操作的代码块中激活正确的上下文，并在操作完成后将其弹出（pop）。对于整个应用程序生命周期都需要CUDA的场景，可以创建一个持久的上下文。
3. 示例代码：集成ONNX与TensorRT并解决CUDA冲突
以下是修正后的代码示例，展示了如何通过手动管理CUDA上下文来避免上述错误。
import cv2import numpy as npimport pycuda.driver as cudaimport tensorrt as trtimport onnximport onnxruntime# 解决Numpy版本兼容性问题np.bool = np.bool_# 假设profliing模块可用，否则需要移除或替换from profiling import GlobalProfTime, ProfTimer, mode_to_str# 1. 手动初始化CUDA并创建上下文# 移除 import pycuda.autoinitcuda.init()device = cuda.Device(0) # 选择第一个GPU设备ctx = device.make_context() # 创建CUDA上下文try: with GlobalProfTime('profile_tensorrt_10_000images') as t: with ProfTimer('TensorRT basic image profiler') as t: # TensorRT code # 加载TensorRT引擎 TRT_ENGINE_PATH = '/app/models/buffalo_l/det_10g640x640.engine' # 创建运行时，并在创建引擎前激活PyCUDA上下文 # 注意：TensorRT内部会创建自己的CUDA context，但PyCUDA的上下文需要先存在 runtime = trt.Runtime(trt.Logger(trt.Logger.WARNING)) # 反序列化引擎 with open(TRT_ENGINE_PATH, 'rb') as f: engine_data = f.read() engine = runtime.deserialize_cuda_engine(engine_data) assert engine is not None, "TensorRT engine deserialization failed." # 创建执行上下文 context = engine.create_execution_context() # 为输入输出分配内存 inputs, outputs, bindings, stream = [], [], [], cuda.Stream() for binding in engine: size = trt.volume(engine.get_binding_shape(binding)) * engine.max_batch_size dtype = trt.nptype(engine.get_binding_dtype(binding)) host_mem = cuda.pagelocked_empty(size, dtype) device_mem = cuda.mem_alloc(host_mem.nbytes) bindings.append(int(device_mem)) if engine.binding_is_input(binding): inputs.append({'host': host_mem, 'device': device_mem, 'name': binding, 'shape': engine.get_binding_shape(binding), 'type': engine.get_binding_dtype(binding)}) else: outputs.append({'host': host_mem, 'device': device_mem, 'name': binding, 'shape': engine.get_binding_shape(binding), 'type': engine.get_binding_dtype(binding)}) # 加载并预处理输入图片 image_path = "/app/models/buffalo_l/image.png" image = cv2.imread(image_path) assert image is not None, f"Failed to load image from {image_path}" image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB) image = cv2.resize(image, (640, 640)) image = image.astype(np.float32) / 255.0 input_data = np.expand_dims(image.transpose(2, 0, 1), axis=0) # ONNX code onnx_model_path = "/app/models/buffalo_l/det_10g.onnx" # onnx.load(onnx_model_path) # ONNX模型加载不是必须的，InferenceSession会自动加载 # 创建ONNX Runtime Session，指定CUDAExecutionProvider ort_session = onnxruntime.InferenceSession(onnx_model_path, providers=['CUDAExecutionProvider']) # TensorRT 推理循环 for _ in range(1): with ProfTimer('TensorRT per call') as t: # 复制输入数据到GPU cuda.memcpy_htod_async(inputs[0]['device'], input_data.ravel(), stream) # 执行推理 if context.execute_async(batch_size=1, bindings=bindings, stream_handle=stream.handle) == 0: print("Error: Unable to launch TensorRT inference.") # 将结果从GPU传回主机 if cuda.memcpy_dtoh_async(outputs[0]['host'], outputs[0]['device'], stream) == 0: print("Error: Unable to copy results from GPU to host.") result = outputs[0]['host'] # 同步流 stream.synchronize() print("Inference TensorRT Results:") print(result[:20]) stream.synchronize() # 确保所有TensorRT操作完成 # ONNX 推理循环 for _ in range(1): with ProfTimer('ONNX(CUDA) per call') as t: # 重新加载和预处理图像（如果需要，或使用TensorRT已加载的） image_path = "/app/models/buffalo_l/image.png" image = cv2.imread(image_path) assert image is not None, f"Failed to load image from {image_path}" image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB) image = cv2.resize(image, (640, 640)) image = image.astype(np.float32) / 255.0 input_data_onnx = np.expand_dims(image.transpose(2, 0, 1), axis=0) # 使用独立的变量名避免混淆 # 运行ONNX推理 input_name = ort_session.get_inputs()[0].name outputs_onnx = ort_session.run(None, {input_name: input_data_onnx}) print("Inference ONNX Results:") print(f"{np.transpose(outputs_onnx[0][:20])}")finally: # 2. 在程序结束或不再需要CUDA时，显式释放上下文 # 这一步非常重要，确保资源被正确清理，避免潜在的内存泄漏或冲突 if ctx: ctx.pop() ctx.detach() # 从当前线程分离上下文
4. 注意事项与最佳实践
CUDA上下文的唯一性： 通常情况下，一个进程应尽量维护一个主CUDA上下文，并让所有CUDA相关的库（如PyCUDA、TensorRT、PyTorch等）在该上下文上操作。手动创建上下文并确保其在整个应用程序生命周期内有效，有助于协调不同库的CUDA操作。资源清理： 务必在应用程序退出前或不再需要CUDA资源时，显式地弹出并分离PyCUDA上下文（ctx.pop() 和 ctx.detach()）。这有助于释放GPU内存和资源，避免资源泄漏。错误处理： 在CUDA操作中加入适当的错误检查（如示例中的assert和if context.execute_async(…) == 0）是良好的编程习惯，有助于快速定位问题。PyCUDA版本： 确保PyCUDA、CUDA Toolkit和GPU驱动版本兼容。版本不匹配也可能导致运行时错误。TensorRT与ONNX Runtime的兼容性： 尽管本文解决了CUDA上下文冲突，但仍需确保所使用的TensorRT版本与ONNX Runtime的CUDA提供者版本对ONNX模型格式的支持是兼容的。
5. 总结
在Python中集成多个依赖于CUDA的深度学习推理库（如ONNX Runtime和TensorRT）时，CUDA上下文管理是常见的挑战。通过从pycuda.autoinit转向pycuda.driver进行手动上下文初始化和管理，开发者可以有效地解决“无效资源句柄”等CUDA运行时错误。这种方法提供了对GPU资源更精细的控制，确保了不同推理引擎在共享CUDA环境下的稳定和高效运行。遵循本文提供的指南和最佳实践，将有助于构建更健壮、性能更优的AI应用。
以上就是解决ONNX与TensorRT并行运行时CUDA资源冲突的指南的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1366314.html
微信扫一扫 
支付宝扫一扫 
