近日，中國(guó)科學(xué)院沈陽(yáng)自動(dòng)化研究所（以下簡(jiǎn)稱沈自所）與英國(guó)愛(ài)丁堡機(jī)器人中心合作研究取得新進(jìn)展，提出了一種在動(dòng)態(tài)、非結(jié)構(gòu)環(huán)境下基于深度強(qiáng)化學(xué)習(xí)的移動(dòng)機(jī)械臂自主作業(yè)方法，將最新的人工智能（AI）學(xué)習(xí)理論應(yīng)用于真實(shí)的復(fù)雜移動(dòng)機(jī)械臂控制。相關(guān)研究成果已發(fā)表于《傳感器》。

此項(xiàng)合作源于2018年3月，應(yīng)依托于沈自所的機(jī)器人學(xué)國(guó)家重點(diǎn)實(shí)驗(yàn)室的邀請(qǐng)，英國(guó)皇家工程院院士、愛(ài)丁堡機(jī)器人中心主任David M. Lane訪問(wèn)沈自所，與機(jī)器人學(xué)國(guó)家重點(diǎn)實(shí)驗(yàn)室簽署了戰(zhàn)略合作框架（MoU）協(xié)議。

在MoU框架下，雙方積極開展人員互訪、學(xué)術(shù)交流及研究生聯(lián)合培養(yǎng)，并在多個(gè)研究領(lǐng)域開展合作，包括基于深度強(qiáng)化學(xué)習(xí)的機(jī)器人控制、基于視覺(jué)的水下三維場(chǎng)景重建與目標(biāo)識(shí)別、水下機(jī)器人自主作業(yè)等。

沈自所水下機(jī)器人研究室研究員張奇峰告訴《中國(guó)科學(xué)報(bào)》：“機(jī)器人在空間、陸地和水下等大量動(dòng)態(tài)、非結(jié)構(gòu)環(huán)境下作業(yè)是一個(gè)復(fù)雜的任務(wù)，相比于傳統(tǒng)工業(yè)機(jī)器人作業(yè)要求更高，通常需要機(jī)器人具有感知、導(dǎo)航、決策、操作等多種功能。”

據(jù)悉，非結(jié)構(gòu)環(huán)境下移動(dòng)機(jī)械臂自主作業(yè)是未來(lái)機(jī)器人應(yīng)用的一個(gè)重要場(chǎng)景。該項(xiàng)研究可以擴(kuò)展到空間機(jī)器人、飛行機(jī)器人和水下機(jī)器人作業(yè)等多種復(fù)雜環(huán)境。

“水下機(jī)器人自主作業(yè)面臨許多難點(diǎn)，相比于陸地機(jī)器人，浮游狀態(tài)水下機(jī)器人系統(tǒng)動(dòng)力學(xué)非線性、耦合性強(qiáng)，作業(yè)過(guò)程中機(jī)器人載體與機(jī)械手的相互運(yùn)動(dòng)干擾及由此產(chǎn)生的目標(biāo)物定位信息噪聲使機(jī)器人的精確控制尤為困難?！睆埰娣褰榻B，這也是雙方目前重點(diǎn)開展研究的方向之一。

此次沈自所與愛(ài)丁堡機(jī)器人中心科研團(tuán)隊(duì)利用神經(jīng)網(wǎng)絡(luò)構(gòu)建了一種機(jī)器人整體強(qiáng)化學(xué)習(xí)控制模型，采用深度學(xué)習(xí)方法對(duì)機(jī)器人相機(jī)獲得的環(huán)境與目標(biāo)信息進(jìn)行處理，然后將感知信息與機(jī)器人當(dāng)前狀態(tài)作為系統(tǒng)輸入，對(duì)機(jī)器人的整體行為進(jìn)行自主控制。

其中，愛(ài)丁堡機(jī)器人中心提供機(jī)器人平臺(tái)和基于深度強(qiáng)化學(xué)習(xí)的算法框架指導(dǎo)，沈自所面向機(jī)器人平臺(tái)特點(diǎn)進(jìn)一步深入進(jìn)行理論研究，并將控制算法應(yīng)用于機(jī)器人，開展試驗(yàn)驗(yàn)證。

沈自所博士研究生王聰說(shuō)：“我們通過(guò)仿真與實(shí)際環(huán)境中的交互學(xué)習(xí)與訓(xùn)練，最終實(shí)現(xiàn)了在真實(shí)環(huán)境下的移動(dòng)機(jī)械臂自主作業(yè)，為深度強(qiáng)化學(xué)習(xí)應(yīng)用于更為復(fù)雜的水下浮游基座機(jī)器人系統(tǒng)開展自主作業(yè)研究奠定了基礎(chǔ)?！?

目前機(jī)器人的技能學(xué)習(xí)是業(yè)界的研究熱點(diǎn)和難點(diǎn)之一，水下機(jī)器人領(lǐng)域的相關(guān)研究更少。張奇峰表示，沈自所在水下機(jī)器人的平臺(tái)設(shè)計(jì)、底層控制及實(shí)際應(yīng)用等方面有非常豐富的經(jīng)驗(yàn)與優(yōu)勢(shì)，但隨著應(yīng)用場(chǎng)景和作業(yè)任務(wù)的復(fù)雜化，需要進(jìn)一步加強(qiáng)前沿理論研究及前沿理論與機(jī)器人系統(tǒng)相結(jié)合的應(yīng)用研究。