加速AI推理，探索英特爾? 至強(qiáng)? 可擴(kuò)展處理器OCR應(yīng)用落地方面實(shí)踐

智能車參考 2023-06-30 20:28:26 來源：量子位

利用AI加速企業(yè)業(yè)務(wù)的自動(dòng)化進(jìn)程，推動(dòng)業(yè)務(wù)流程的數(shù)智化重塑或升級(jí)，已經(jīng)成為企業(yè)提升工作效率、助力商業(yè)創(chuàng)新的重要方式。在此過程中，由AI賦能的智能光學(xué)字符識(shí)別 (OCR) 應(yīng)用發(fā)揮著日益重要的價(jià)值。

隨著人工智能技術(shù)的發(fā)展，由AI賦能的OCR已經(jīng)在金融、政府、制造、互聯(lián)網(wǎng)、醫(yī)療等行業(yè)的單據(jù)識(shí)別、信息流入、圖片翻譯、車牌識(shí)別等場(chǎng)景得到廣泛應(yīng)用，幫助企業(yè)有效地釋放人力資源，提升工作效率，為廣泛的數(shù)智化應(yīng)用提供基礎(chǔ)能力支撐。

部署智能OCR應(yīng)用能為企業(yè)業(yè)務(wù)及AI應(yīng)用布局帶來哪些回報(bào)？

用友算法工程專家宋祺、亞信科技產(chǎn)品運(yùn)營(yíng)專家呂瑩、東軟集團(tuán)醫(yī)療保障事業(yè)部產(chǎn)品發(fā)展部部長(zhǎng)黃小衛(wèi)、英特爾人工智能軟件架構(gòu)師桂晟、虎博科技創(chuàng)始人&CEO陳燁，圍繞《從OCR起步推進(jìn)企業(yè)AI應(yīng)用落地》這一主題進(jìn)行了精彩的分享。

AI 賦能 OCR，助推企業(yè)增效降本

隨著當(dāng)前大語言模型的發(fā)展，OCR技術(shù)將會(huì)成為大語言模型應(yīng)用的一個(gè)重要入口和前置的輸入來源。OCR本身是個(gè)很大的市場(chǎng)，其算法和程序需要部署在很多地方，可能是公有云、私有云，或者是邊緣的本地服務(wù)器，甚至是一些終端設(shè)備上。

有非常多的軟件開發(fā)商和算法供應(yīng)商參與其中，廠商們通常需要一個(gè)更有成本優(yōu)勢(shì)、硬件適配性更廣的解決方案。

總體看來，用戶有如下亟待解決的兩個(gè)問題：

一是要解決使用GPU帶來的高成本和難部署問題；二是要提高 CPU 的計(jì)算性能。

為此，用友、亞信、東軟選擇與英特爾合作，借助英特爾? 至強(qiáng)? 可擴(kuò)展處理器的強(qiáng)大性能和內(nèi)置AI加速器提升OCR應(yīng)用性能，賦能客戶加速數(shù)智化轉(zhuǎn)型。

優(yōu)化OCR應(yīng)用性能，充分釋放CPU計(jì)算潛能

用友算法工程專家宋祺分享了《英特爾AI加速技術(shù)在用友OCR場(chǎng)景的應(yīng)用》。

為了兼顧GPU利用率和調(diào)用峰值服務(wù)的可用性，在月末報(bào)銷量大、服務(wù)調(diào)用都集中時(shí)，用友采用了一套異構(gòu)處理器的服務(wù)架構(gòu)，即利用搭載了OpenVINO?? 工具套件的英特爾? 至強(qiáng)? 可擴(kuò)展處理器將高峰期的數(shù)據(jù)分流。僅需增加兩臺(tái)16核的CPU服務(wù)器，即可滿足峰值，使峰值時(shí)的GPU使用數(shù)量降低了50%。

經(jīng)過OpenVINO?? 工具套件優(yōu)化的算法服務(wù)，響應(yīng)時(shí)間降低到3秒以內(nèi)，使得在切換整個(gè)處理架構(gòu)時(shí)不會(huì)影響整體的業(yè)務(wù)響應(yīng)時(shí)間和對(duì)應(yīng)的時(shí)延，對(duì)用戶是無感知的。

亞信科技產(chǎn)品運(yùn)營(yíng)專家呂瑩介紹到：亞信科技機(jī)器人流程自動(dòng)化平臺(tái)（AISWare AIRPA）是通過模擬并增強(qiáng)人類與計(jì)算機(jī)的交互過程，實(shí)現(xiàn)工作流程自動(dòng)化的平臺(tái)。其在RPA功能的基礎(chǔ)上，提供了強(qiáng)大的智能OCR支持。

在智能OCR應(yīng)用中，亞信科技通過第四代至強(qiáng)? 可擴(kuò)展處理器和英特爾? AMX支持實(shí)現(xiàn)從FP32到INT8/BF16的量化，從而在可接受的精度損失下，增加吞吐量并加速推理。

從結(jié)果上來看，相比傳統(tǒng)人工方式，成本降到至1/5到1/9之間，而且效率還提升約5-10倍。

東軟自研的OCR識(shí)別算法是基于深度學(xué)習(xí)主流技術(shù)實(shí)現(xiàn)的，能夠在復(fù)雜的背景下識(shí)別出不同醫(yī)院、不同格式的票據(jù)、處方、發(fā)票、費(fèi)用清單、明細(xì)等票據(jù)信息。在英特爾? 至強(qiáng)? 可擴(kuò)展服務(wù)器和OpenVINO?? 環(huán)境下，它能夠獲得更高的識(shí)別準(zhǔn)確率和更快的識(shí)別速度。

并且東軟在方案設(shè)計(jì)的階段就和英特爾公司合作，采用不同代際的至強(qiáng)? 可擴(kuò)展處理器的服務(wù)器來進(jìn)行整體算法性能的驗(yàn)證。最終實(shí)驗(yàn)結(jié)果表明，在第四代英特爾? 至強(qiáng)? 可擴(kuò)展處理器上采用OpenVINO?? 進(jìn)行模型推理加速將大幅提升OCR的識(shí)別性能。

這些OCR應(yīng)用的成功應(yīng)用，都少不了英特爾軟硬件產(chǎn)品的加持。

英特爾人工智能軟件架構(gòu)師桂晟表示，隨著英特爾? 至強(qiáng)? 可擴(kuò)展處理器的演進(jìn)，單個(gè)CPU的核心數(shù)量不斷增加，從第一代的最多28核增長(zhǎng)到第四代的最高60核，核心數(shù)量的增多帶來了更加強(qiáng)大的算力。

除此之外，英特爾還在CPU指令集方面專門為人工智能應(yīng)用進(jìn)行了很多優(yōu)化，例如英特爾? AMX。英特爾? AMX 針對(duì)廣泛的硬件和軟件優(yōu)化，通過提供矩陣類型的運(yùn)算，顯著增加了人工智能應(yīng)用程序的每時(shí)鐘指令數(shù) (IPC)，在AMX加速引擎的助力下，至強(qiáng)? 可擴(kuò)展處理器不僅能用來做推理，還能用來處理一些機(jī)器學(xué)習(xí)訓(xùn)練的工作負(fù)載。

大模型技術(shù)驅(qū)動(dòng)下，OCR 未來路在何方

大模型技術(shù)會(huì)為 OCR 及相關(guān)應(yīng)用帶來哪些新的變革？將如何為各行各業(yè)賦能？在本場(chǎng)研討會(huì)的最后，虎博科技創(chuàng)始人&CEO陳燁圍繞《大模型落地應(yīng)用思考，展望OCR及相關(guān)應(yīng)用的新技術(shù)發(fā)展》進(jìn)行了詳細(xì)的分享。

談到智能 OCR，陳燁表示其產(chǎn)品的關(guān)鍵點(diǎn)主要有兩個(gè)：一是知識(shí)庫(kù)建立要準(zhǔn)，要真正把文件理解好，把它轉(zhuǎn)化成知識(shí)庫(kù)和大模型能夠理解的形式；二就是大模型。

而虎博科技的定位就是給大家提供一個(gè)基礎(chǔ)模型，使用戶可以基于基礎(chǔ)模型迅速打造出自己領(lǐng)域里的大語言模型和應(yīng)用。

陳燁認(rèn)為這整個(gè)旅程才剛剛開始，虎博科技很期待和大家、生態(tài)伙伴、開發(fā)者、應(yīng)用者，一起來見證接下來人工智能NLP大語言模型令人興奮的、繁榮的幾十年。

如果您對(duì)本文涉及的基于英特爾? 至強(qiáng)? 可擴(kuò)展處理器對(duì)及英特爾? AMX如何顯著提升OCR推理性能的技術(shù)細(xì)節(jié)感興趣，如果您也想了解虎博科技在大模型落地應(yīng)用思考，英特爾《至強(qiáng)實(shí)戰(zhàn)課》之《從OCR起步推進(jìn)企業(yè)AI應(yīng)用落地》將為您帶來更加全面且詳細(xì)的真人講解，歡迎大家掃描海報(bào)中的二維碼注冊(cè)收看；

點(diǎn)擊“閱讀原文”也可以了解更多英特爾? AMX對(duì)OCR多場(chǎng)景應(yīng)用的性能提升。

*本文系量子位獲授權(quán)刊載，觀點(diǎn)僅為作者所有。

原文鏈接：
https://www.intel.cn/content/www/cn/zh/artificial-intelligence/amx-boost-ai-inference-performance.html?cid=soc&source=Wechat&article_id=4850