1、方案背景與目標(biāo)
中國瓷磚產(chǎn)業(yè)轉(zhuǎn)型升級和發(fā)展正在取得巨大成果,當(dāng)前已形成較大的瓷磚產(chǎn)業(yè)集群20余個,瓷磚生產(chǎn)企業(yè)超1500余家,年產(chǎn)量125億平方米,但我國瓷磚依舊未擺脫品質(zhì)普遍偏低的困境,處于“大”而不“精”的現(xiàn)狀。瓷磚生產(chǎn)環(huán)節(jié)一般經(jīng)過原材料混合研磨、脫水、壓胚、噴墨印花、淋釉、燒制、拋光,最后進(jìn)行質(zhì)量檢測和包裝。得益于產(chǎn)業(yè)自動化的發(fā)展,目前生產(chǎn)環(huán)節(jié)已基本實現(xiàn)無人化,而質(zhì)量檢測環(huán)節(jié)仍大量依賴人工完成。該方式面臨以下幾項挑戰(zhàn),一是人工檢測速度較慢,無法滿足高速生產(chǎn)節(jié)拍,影響生產(chǎn)速度;二是人工長時間作業(yè)極度容易出現(xiàn)疲勞,檢測的準(zhǔn)確性得不到保證;三是不同質(zhì)檢員之間判斷標(biāo)注不一致,導(dǎo)致不穩(wěn)定的漏檢或誤檢;四是成本壓力,揀選過程每班次2-6名揀選工三班倒,企業(yè)需承擔(dān)較多人力成本,同時漏檢還會造成廢品流入市場,為企業(yè)帶來大量售后成本,通常一塊瓷磚的售后成本是生產(chǎn)成本的十幾倍。可見,瓷磚表面缺陷是瓷磚行業(yè)生產(chǎn)和質(zhì)量管理的重要環(huán)節(jié),也是困擾行業(yè)多年的技術(shù)瓶頸。為解決以上問題,本方案開發(fā)了一套瓷磚表面缺陷自動化揀選系統(tǒng),有效幫助瓷磚生產(chǎn)企業(yè)提升產(chǎn)品的質(zhì)量及產(chǎn)量。
2、方案詳細(xì)介紹
2.1邊緣計算軟件平臺
沈自所自主研發(fā)的AI4Industry平臺是整個解決方案的核心架構(gòu),該平臺為云、邊、端一體化架構(gòu),是面向應(yīng)用場景的數(shù)據(jù)處理、算法開發(fā)及模型迭代部署的一站式服務(wù)平臺。在用戶應(yīng)用視覺技術(shù)解決具體需求時,AI4Industry能夠無代碼的完成從數(shù)據(jù)管理到現(xiàn)場應(yīng)用的整個流程。平臺為深度學(xué)習(xí)提供個人數(shù)據(jù)集等資源的自由管理,支持?jǐn)?shù)據(jù)靈活的預(yù)處理、團(tuán)隊標(biāo)注及智能標(biāo)注,支持高度定制的模型訓(xùn)練,以及按需配置的模型部署能力,幫助用戶快速創(chuàng)建和部署模型,覆蓋AI視覺應(yīng)用的每個環(huán)節(jié),具體如下圖所示。
圖1 AI4Industry平臺架構(gòu)
· AI4Industry云側(cè)
云側(cè)作為整個架構(gòu)的指揮中心,主要分為用戶接口層、系統(tǒng)接口層、應(yīng)用服務(wù)層、領(lǐng)域服務(wù)層、基礎(chǔ)設(shè)施層,共5層。云側(cè)負(fù)責(zé)數(shù)據(jù)處理、算法開發(fā)、模型迭代、應(yīng)用托管和遠(yuǎn)程監(jiān)控等功能。
具體來說,AI4Industry云側(cè)的功能包括:
① 數(shù)據(jù)存儲與分析:將數(shù)據(jù)存儲在云端,利用團(tuán)隊標(biāo)注或智能標(biāo)注模式進(jìn)行數(shù)據(jù)標(biāo)注、以及分析和挖掘,為企業(yè)提供更全面的數(shù)據(jù)支持。
② 算法開發(fā)與迭代:為企業(yè)提供無代碼方式算法開發(fā)和模型訓(xùn)練,平臺提供一體化編程工具IDE,該工具針對自動化硬件任務(wù),基于工業(yè)自動化特征,使用復(fù)合微服務(wù)抽象任務(wù)級指令。可對機器人等工業(yè)自動化設(shè)備功能組件進(jìn)行建模,實現(xiàn)控制代碼與物理工藝過程的映射,實現(xiàn)任務(wù)的多層抽象與工藝級編程。IDE的核心優(yōu)勢是針對工序工步建立標(biāo)準(zhǔn)工步/工序庫,進(jìn)一步開發(fā)工藝模板,先預(yù)編譯,然后根據(jù)硬件平臺實現(xiàn)代碼生成,實現(xiàn)工藝級配置,代碼自動生成。針對深度學(xué)習(xí)CV任務(wù),基于內(nèi)置的人工智能應(yīng)用接口,可實現(xiàn)各類算子拖拽式集成調(diào)用,以極簡的方式實現(xiàn)復(fù)雜的算法開發(fā)任務(wù),從而極大程度降低開發(fā)者的重復(fù)工作。此外,一體化編程工具IDE是國內(nèi)首個支持工業(yè)業(yè)務(wù)語義服務(wù)與語義關(guān)聯(lián)的組態(tài)IDE,兼容輕量級微服務(wù)與標(biāo)準(zhǔn)工作流的工業(yè)領(lǐng)域組態(tài)IDE。
圖2 AI4Industry平臺人工智能應(yīng)用接口各層功能
① 應(yīng)用托管與部署:為企業(yè)提供應(yīng)用托管和部署服務(wù),降低企業(yè)IT成本,提高應(yīng)用部署和管理效率。
② 遠(yuǎn)程監(jiān)控和維護(hù):對整個系統(tǒng)進(jìn)行遠(yuǎn)程監(jiān)控和維護(hù),及時發(fā)現(xiàn)和解決問題,確保系統(tǒng)的穩(wěn)定性和安全性。
· AI4Industry邊側(cè)
邊側(cè)作為云端和端側(cè)之間的橋梁,主要負(fù)責(zé)數(shù)據(jù)緩存、就近計算和實時控制等功能。通過在靠近設(shè)備或現(xiàn)場的位置設(shè)置邊緣計算節(jié)點,可以降低網(wǎng)絡(luò)延遲、提高數(shù)據(jù)處理速度和響應(yīng)速度。同時,邊側(cè)還可以減輕云端的負(fù)載,提高整個系統(tǒng)的穩(wěn)定性和可靠性。
具體來說,AI4Industry邊側(cè)的功能包括:
① 數(shù)據(jù)緩存與預(yù)處理:在靠近設(shè)備或現(xiàn)場的位置設(shè)置數(shù)據(jù)緩存區(qū),如架構(gòu)圖中繪制的磁盤陣列,對數(shù)據(jù)進(jìn)行預(yù)處理和篩選,降低網(wǎng)絡(luò)傳輸成本和延遲。
② 就近計算與快速響應(yīng):利用邊緣計算技術(shù)進(jìn)行數(shù)據(jù)處理和分析,如架構(gòu)圖中繪制的GPU后端計算集群,快速響應(yīng)設(shè)備或現(xiàn)場的需求,提高生產(chǎn)效率和響應(yīng)速度。
③ 實時控制與協(xié)同作業(yè):對設(shè)備或現(xiàn)場進(jìn)行實時控制和協(xié)同作業(yè),確保生產(chǎn)流程的順暢進(jìn)行和設(shè)備的安全穩(wěn)定運行。
· AI4Industry端側(cè)
端側(cè)作為直接與設(shè)備或現(xiàn)場交互的層級,主要負(fù)責(zé)數(shù)據(jù)采集、設(shè)備控制和人機交互等功能,AI4Industry已應(yīng)用已在多種工業(yè)場景中落地應(yīng)用,目前集成了數(shù)十種智能硬件的交互控制,包括不同品牌的機器人、工業(yè)相機、光源、PLC等,形成大規(guī)模的硬件生態(tài)系統(tǒng)。端側(cè)通過將設(shè)備或現(xiàn)場的數(shù)據(jù)采集到系統(tǒng)中,可以實現(xiàn)數(shù)據(jù)共享、分析和挖掘,為生產(chǎn)和管理提供更全面的數(shù)據(jù)支持,同時還可以對設(shè)備進(jìn)行遠(yuǎn)程控制和監(jiān)測,提高設(shè)備的運行效率和安全性,此外,端側(cè)還可以提供人機交互界面,方便用戶進(jìn)行操作和管理。
具體來說,AI4Industry端側(cè)的功能包括:
① 算法部署與應(yīng)用:將AI4Industry云側(cè)開發(fā)好的算法部署至端側(cè)智能設(shè)備中,實現(xiàn)核心算法功能。
② 數(shù)據(jù)采集與傳輸:基于沈自所自研ThingOriginGateway網(wǎng)關(guān)產(chǎn)品,將設(shè)備或現(xiàn)場的數(shù)據(jù)采集并傳輸?shù)较到y(tǒng)中,確保數(shù)據(jù)的準(zhǔn)確性和完整性。
圖3 ThingOriginGateway網(wǎng)關(guān)系統(tǒng)界面
③ 設(shè)備控制與監(jiān)測:對設(shè)備進(jìn)行遠(yuǎn)程控制和監(jiān)測,提高設(shè)備的運行效率和安全性,同時,還可以及時發(fā)現(xiàn)和解決設(shè)備故障或異常情況。
④ 人機交互與操作界面:提供簡單、直觀的人機交互界面,方便用戶進(jìn)行操作和管理。用戶可以通過界面查看實時數(shù)據(jù)、控制設(shè)備或調(diào)整生產(chǎn)參數(shù)等。
2.2瓷磚表面缺陷揀選流程
在瓷磚表面缺陷檢測解決方案中,瓷磚表面缺陷揀選流程由三層循環(huán)結(jié)構(gòu)組成。
圖4 瓷磚表面缺陷檢測三層循環(huán)流程
· 外循環(huán)
外循環(huán)負(fù)責(zé)AI4Industry平臺云、邊、端三層任務(wù)交互,打通數(shù)據(jù)管理、算法管理、模型迭代、算法部署完整技術(shù)路線。首先通過ThingOriginGateway網(wǎng)關(guān)實現(xiàn)了對底層設(shè)備的數(shù)據(jù)采集,實現(xiàn)瓷磚圖像的獲取,然后通過網(wǎng)絡(luò)傳輸將數(shù)據(jù)上傳至AI4Industry平臺,利用團(tuán)隊標(biāo)注或智能標(biāo)注的方式,對缺陷數(shù)據(jù)完成篩選和標(biāo)注,利用一體化編程工具IDE開發(fā)瓷磚缺陷檢測監(jiān)控系統(tǒng),并調(diào)用人工智能應(yīng)用接口進(jìn)行瓷磚檢測算法開發(fā)及檢測模型的訓(xùn)練,將在AI4Industry平臺上開發(fā)好的瓷磚缺陷檢測監(jiān)控系統(tǒng)上位機軟件、深度學(xué)習(xí)檢測模型及檢測算法部署至端側(cè)服務(wù)器中。
· 中循環(huán)
中循環(huán)負(fù)責(zé)每張瓷磚的表面缺陷檢測完整過程,可分為瓷磚傳送、圖像采集、算法推理、結(jié)果反饋、機器人分揀動作,共5個步驟。
· 內(nèi)循環(huán)
內(nèi)循環(huán)負(fù)責(zé)核心算法的執(zhí)行,可分為后端推理算法和業(yè)務(wù)邏輯算法兩部分。后端推理算法利用基于深度學(xué)習(xí)開發(fā)的CIS+CCD雙相機檢測模型實現(xiàn)瓷磚表面缺陷檢測,從而獲得原始檢測結(jié)果。業(yè)務(wù)邏輯算法包括結(jié)果后處理、尺寸及平整度計算、色號劃分、版面分類等算法,將最終表面缺陷檢測出結(jié)果發(fā)送給PLC,反饋中循環(huán)實現(xiàn)機器人分揀動作。
2.3專機硬件系統(tǒng)
皮帶傳送系統(tǒng):用于穩(wěn)定傳送瓷磚通過設(shè)備,保證拍攝效果統(tǒng)一;
觸發(fā)傳感系統(tǒng):用于發(fā)送信號實現(xiàn)各項揀選數(shù)據(jù)采集;
邊緣計算硬件系統(tǒng):用于向邊緣計算提供算力和數(shù)據(jù)存儲服務(wù);
圖像采集系統(tǒng):利用CIS和CCD線掃相機實現(xiàn)瓷磚高清圖像采集;
照明系統(tǒng):用于提供穩(wěn)定光源,輔助圖像采集系統(tǒng)獲取清晰瓷磚圖像及缺陷特征;
瓷磚分揀系統(tǒng):基于檢測結(jié)果利用機械臂完成瓷磚分流分揀動作;
其他控制單元系統(tǒng):用于串聯(lián)皮帶傳送、圖像采集、數(shù)據(jù)交互、結(jié)果報警等流程。
2.4數(shù)據(jù)通訊
數(shù)據(jù)傳輸和通訊協(xié)議:使用標(biāo)準(zhǔn)通信協(xié)議,確保各個硬件和軟件組件之間的數(shù)據(jù)傳輸順暢。
2.5安全措施
系統(tǒng)訪問控制:確保只有授權(quán)用戶可以訪問系統(tǒng),同時授權(quán)不同級別的權(quán)限。
數(shù)據(jù)安全性:確保從攝像頭到存儲的數(shù)據(jù)都受到適當(dāng)?shù)募用芎捅Wo(hù)。
審計與日志記錄:記錄系統(tǒng)的活動和軟件算法執(zhí)行過程,以便在發(fā)生安全事件時進(jìn)行調(diào)查。
3、代表性及推廣價值
· 代表性成果
瓷磚表面缺陷形狀差異較大且尺寸不固定,小尺寸缺陷檢測尤為困難,本方案基于深度學(xué)習(xí)的高精度CIS+CCD雙相機檢測模型,并利用傳統(tǒng)視覺算法對檢測結(jié)果進(jìn)行嚴(yán)格后處理篩選和分級,在大缺陷檢測不被影響的條件下有效提高細(xì)小缺陷檢測能力,當(dāng)前缺陷檢測誤、漏檢率均低于0.5%。為適應(yīng)高速生產(chǎn)節(jié)拍,本方案基于TensorRT封裝一套業(yè)界領(lǐng)先的高速模型推理引擎TensorRT_Pro,同時加持業(yè)務(wù)引擎和模型推理并行計算框架,從數(shù)據(jù)采集、數(shù)據(jù)傳輸、模型推理,再到結(jié)果處理,一片瓷磚完整檢測時間僅需0.6s,可滿足瓷磚(400mm*800mm尺寸)80片/分鐘甚至更快的生產(chǎn)速度。本方案已轉(zhuǎn)化成產(chǎn)品并應(yīng)用到多家瓷磚生產(chǎn)頭部企業(yè),量產(chǎn)并應(yīng)用已有兩年時間,具備較高的可靠性和穩(wěn)定性,目前已成功部署應(yīng)用十余臺套設(shè)備,為相關(guān)客戶至少節(jié)省50%以上人力成本,并減少客訴率近80%。
此外,該項目目前已產(chǎn)出專利10余篇、軟著1篇、高品質(zhì)論文2篇、培養(yǎng)研究生5人。
· 商業(yè)價值與社會價值
本方案可無縫遷移至多種表面缺陷檢測生產(chǎn)場景,具有較強的商業(yè)價值,該解決方案的成功實施,為相關(guān)領(lǐng)域如木板、鋼板等表面缺陷檢測場景,通過邊緣計算技術(shù)處理實際生產(chǎn)問題提供了先行示范作用。同時,利用AI4Industry平臺采集到的瓷磚圖像及持續(xù)收集到的推理結(jié)果大數(shù)據(jù),通過數(shù)據(jù)挖掘及知識圖譜等技術(shù),分析預(yù)判生產(chǎn)過程中每個環(huán)節(jié)的當(dāng)前狀態(tài)及可能出現(xiàn)的問題,對問題預(yù)防、結(jié)果追溯、設(shè)備改進(jìn)等,都有極大的幫助,可不斷提高瓷磚制造效率和質(zhì)量,具有較高的社會價值。