英特爾推出OpenVINO全新版本, 賦能開發者加速AI推理
發布時間:2022-03-21 18:35:47
自2018年推出OpenVINO™以來,英特爾已經幫助數十萬開發者大幅提升了AI推理性能,并将其應用從邊緣計算擴展到企業和客戶端。英特爾于2022年巴塞羅那世界移動通信大會前夕,推出了英特爾®發行版OpenVINO工具套件的全新版本。其中的新功能主要根據開發者過去三年半的反饋而開發,包括更多的深度學習模型選擇、更多的設備可移植性選擇以及更高的推理性能和更少的代碼更改。
最新版OpenVINO 2022.1根據數十萬開發者在過去三年多的反饋而開發,旨在簡化和自動化優化工作。最新版本增加了硬件自動發現和自動優化功能,讓軟件開發者可以在任意平台上實現最優性能。該軟件與英特爾芯片相結合,可實現顯著的AI投資回報優勢,并可輕松部署到用戶網絡中基于英特爾技術的解決方案中。
——Adam Burns
英特爾網絡與邊緣事業部
OpenVINO開發者工具副總裁
用于高性能深度學習的英特爾發行版OpenVINO工具套件基于oneAPI而開發,以期在從邊緣到雲的各種英特爾平台上,幫助用戶更快地将更準确的真實世界結果部署到生産系統中。通過簡化的開發工作流程,OpenVINO可賦能開發者在現實世界中部署高性能應用程序和算法。
邊緣AI正在改變各行各業,賦能各種全新、增強的用例,包括制造、健康與生命科學應用,以及零售和安全保障。根據Omdia的研究,由于企業對邊緣AI推理的需求越來越高,全球邊緣AI芯片組的收入截至2025年将達到519億美元。邊緣推理降低了時延、減少了帶寬需求并提高了性能,從而滿足了新興物聯網設備和應用對及時處理越來越高的要求。
與此同時,開發者的工作負載也在不斷增加和變化。因此,他們需要更簡單、自動化程度更高的流程和工具,這些工具需要具備全面的智能功能,從而優化從構建到部署的性能。
關于OpenVINO 2022.1的功能
借助這些新功能,開發者可以更輕松地在更廣泛的深度學習模型中采用、維護、優化和部署代碼。亮點包括:
更簡易的更新API
● 從框架轉換時減少代碼更改:現在通過保留精确格式減少轉換,模型不再需要布局轉換。
● 加速AI的更簡單途徑:模型優化器的API參數已減少,能夠最大限度地降低複雜性。
● 訓練時充分考慮到推理:OpenVINO訓練擴展和神經網絡壓縮框架(NNCF)提供可選擇的模型訓練模闆,這些模闆可以進一步提升性能,同時保持動作識别、圖像分類、語音識别、問答和翻譯的準确性。
更廣泛的模型支持
● 支持更廣泛的自然語言可編程模型以及文本轉語音和語音識别等用例:動态形狀支持可更好地賦能BERT系列和Hugging Face轉換器。
● 優化和支持高級計算機視覺:Mask R-CNN系列現在已被進一步優化,并引入了對雙精度(FP64)模型的支持。
● 直接支持PaddlePaddle模型:模型優化器現在可以直接導入PaddlePaddle模型,而無需先轉換到另一個框架。
可移植性和性能
● 更智能的設備使用,無需修改代碼:AUTO設備模式可根據模型要求自行發現可用的系統推理能力,因此應用程序無需再提前了解其計算環境。
● 工具套件内置專家級優化:通過自動批處理功能而提高設備性能,自動調整和自定義适合開發者的系統配置,和深度學習模型的吞吐量設置。因此使開發者實現了可擴展并行處理以及優化内存的使用體驗。
● 專爲第12代英特爾®酷睿™打造:支持混合架構,爲使用CPU和集成GPU進行高性能推理提供了增強功能。
關于邊緣采用
通過“一次編寫即可随處部署”的方法,開發者隻需一次性編寫應用程序或算法,之後即可部署到包括CPU、iGPU、Movidius VPU和GNA在内的廣泛的英特爾架構中。随着數據的爆炸式增長,英特爾開發了軟件,使開發者能夠更加智能地處理數據,以解決挑戰并轉變商業模式。因此,人們越來越多地在邊緣采用全新、獨特的AI推理技術,并擴展到企業和客戶端。
作爲Zeblok的AI平台即服務,AI-MicroCloud是一款從雲到邊緣的MLDevOps平台,允許客戶大規模混搭AI獨立軟件開發商和供應商,以交付邊緣AI應用程序,且同時支持完整的生命周期部署。将英特爾OpenVINO軟件集成到AI-MicroCloud後,使用英特爾處理器将大幅增強AI推理性能,并把每次洞察的成本降至最低。Zeblok的AI-MicroCloud平台目前正在進行評估,以支持全球各地城市的具體網絡拓撲。
我們的使命就是要考慮每次洞察的成本。通過采用英特爾處理器,我們實現了經濟、高能效的AI推理,并産生了極高的投資回報。這個新版OpenVINO将爲我們的生态系統創造更高的價值。
——Mouli Narayanan
Zeblok創始人兼首席執行官
American Tower已經建設了六座邊緣數據中心,而且未來将會建設更多。該公司最近收購了CoreSite以加速5G邊緣部署。他們正在與英特爾和Zeblok合作,爲客戶提供完整的交鑰匙解決方案。
憑借American Tower的邊緣基礎設施、英特爾的OpenVINO深度學習功能和Zeblok的AI平台即服務,我們可以爲市場提供完整的智能解決方案。
——Eric Watko
American Tower創新副總裁