(ChinaZ.com)6月30日 消息:金山辦公宣布與 NVIDIA 團隊合作,通過 NVIDIA Tensor Core GPU、TensorRT 提升圖像文檔識別與理解的推理效率;
借助 NVIDIA Triton 推理服務器的部署,成功優化 GPU 利用率,提供高推理吞吐量。相比于 CPU 其 pipleline 耗時共下降84%;采用 NVIDIA Triton 推理服務器部署,其部署成本節省了23% 。
金山辦公表示,我們有多個業務后邊的 AI 服務已經通過采用該方案提高了速度和資源利用率,不僅給用戶端帶去了更高的速度響應,提高了用戶體驗,也為公司節約了大量的服務端 GPU 資源,收獲了更高的效益。我們在文檔識別與理解領域的應用案例也可以啟發到 OCR 和版式識別領域的其他公司和學者,相信隨著更多客戶通過采用 TensorRT 加速會給行業帶來很大的收益。