機器(qi)人通過收集大(da)量觸覺數(shu)據來識別物(wu)體的(de)(de)(de)方(fang)法(fa)存在(zai)(zai)一(yi)(yi)定(ding)的(de)(de)(de)限制。一(yi)(yi)方(fang)面機器(qi)人觸覺傳(chuan)(chuan)感器(qi)收集大(da)量物(wu)體的(de)(de)(de)觸覺數(shu)據過程資(zi)源耗費大(da)，另一(yi)(yi)方(fang)面日常(chang)生活能接觸到(dao)的(de)(de)(de)物(wu)體種類龐大(da)。近(jin)期在(zai)(zai)IEEE TRANSACTIONS ON INDUSTRIAL INFORMATICS發表(biao)的(de)(de)(de)一(yi)(yi)篇《A Deep Learning Framework forTactile Recognition of Known as Well as Novel Objects》文章中提(ti)出了一(yi)(yi)種基于(yu)卷(juan)積神經網(wang)絡的(de)(de)(de)綜合(he)觸覺識別框架，它可(ke)以利用(yong)對(dui)象的(de)(de)(de)語義(yi)屬性描述和(he)觸覺數(shu)據的(de)(de)(de)融合(he)來實(shi)現對(dui)新(xin)對(dui)象的(de)(de)(de)識別。相對(dui)于(yu)傳(chuan)(chuan)統學習方(fang)法(fa)有較大(da)優勢，因為語義(yi)信息更容易獲得，可(ke)以由(you)人工(gong)[1]提(ti)供，也可(ke)以從(cong)語義(yi)數(shu)據庫(如Wikipedia[2])自動挖掘。

1、機器人觸覺識別總體框架

文中設計的(de)總體識別(bie)(bie)框架，如圖1所示。首先從觸(chu)覺數(shu)據出發，可以將一(yi)(yi)(yi)個(ge)(ge)物體識別(bie)(bie)為一(yi)(yi)(yi)個(ge)(ge)已知的(de)物體(之前(qian)接觸(chu)過的(de))或一(yi)(yi)(yi)個(ge)(ge)新的(de)物體。已知對象的(de)識別(bie)(bie)是利用訓練數(shu)據構建的(de)多類分(fen)類器(qi)來實(shi)現(xian)(xian)的(de)，而新奇對象的(de)識別(bie)(bie)依賴于(yu)基(ji)于(yu)屬性的(de)ZSL方法(fa)。此(ci)外，通(tong)過一(yi)(yi)(yi)次學(xue)習(xi)(one-shotlearning, OSL)，只從一(yi)(yi)(yi)個(ge)(ge)訓練樣(yang)本開始，就可以實(shi)現(xian)(xian)觸(chu)覺數(shu)據的(de)合成。

2. 特征生成器G

用(yong)訓(xun)練(lian)集訓(xun)練(lian)一個(ge)包含CONVXF和(he)FCFY的神(shen)(shen)經(jing)網(wang)(wang)絡CNNXY對(dui)Y進行分(fen)類。利用(yong)語義(yi)屬性向(xiang)量訓(xun)練(lian)一個(ge)反卷(juan)(juan)積神(shen)(shen)經(jing)網(wang)(wang)絡G來合(he)(he)成(cheng)觸覺(jue)(jue)特征(zheng)(zheng)(zheng)。為(wei)提(ti)高特征(zheng)(zheng)(zheng)生成(cheng)器G的品質，使合(he)(he)成(cheng)的觸覺(jue)(jue)特征(zheng)(zheng)(zheng)盡可能接近(jin)從(cong)真(zhen)實觸覺(jue)(jue)數據中(zhong)提(ti)取(qu)的特征(zheng)(zheng)(zheng)。文中(zhong)加(jia)入(ru)另一個(ge)卷(juan)(juan)積神(shen)(shen)經(jing)網(wang)(wang)絡D來對(dui)抗(kang)訓(xun)練(lian)G，其中(zhong)D用(yong)來區(qu)分(fen)合(he)(he)成(cheng)觸覺(jue)(jue)特征(zheng)(zheng)(zheng)或者真(zhen)實的觸覺(jue)(jue)特征(zheng)(zheng)(zheng)。利用(yong)訓(xun)練(lian)好的G，合(he)(he)成(cheng)觸覺(jue)(jue)特征(zheng)(zheng)(zheng)。

3.  平臺搭建

文中(zhong)使用(yong)語義(yi)屬性(xing)(xing)集(ji):A ={吸收性(xing)(xing)、凹凸性(xing)(xing)、可壓縮性(xing)(xing)、冷熱、模糊性(xing)(xing)、硬的(de)(de)(de)、多毛(mao)的(de)(de)(de)、金屬的(de)(de)(de)、多孔的(de)(de)(de)、粗糙(cao)的(de)(de)(de)、光滑(hua)的(de)(de)(de)、柔軟的(de)(de)(de)、固體的(de)(de)(de)、有(you)彈性(xing)(xing)的(de)(de)(de)、濕軟的(de)(de)(de)、有(you)紋理的(de)(de)(de)、厚的(de)(de)(de)}。使用(yong)公開(kai)的(de)(de)(de)PHAC-2數(shu)據(ju)集(ji)，該數(shu)據(ju)集(ji)包(bao)含60種(zhong)物(wu)體每(mei)一種(zhong)都在[4]中(zhong)進行(xing)(xing)了10次試(shi)驗。數(shu)據(ju)通(tong)過SynTouch BioTac觸覺傳感器獲得。對BioTac讀數(shu)進行(xing)(xing)預處理，并按照(zhao)[5]中(zhong)使用(yong)BioTac讀數(shu)對A中(zhong)包(bao)含的(de)(de)(de)屬性(xing)(xing)進行(xing)(xing)二元分類，獲得了一個由6000個樣(yang)本(ben)組成(cheng)的(de)(de)(de)原始觸覺數(shu)據(ju)集(ji)(60種(zhong)物(wu)體每(mei)種(zhong)10個樣(yang)本(ben)進行(xing)(xing)10次試(shi)驗)。

文(wen)中(zhong)隨(sui)(sui)機(ji)選(xuan)擇6個對(dui)象(xiang)作為(wei)Z，54個作為(wei)Y，為(wei)了(le)確保系統對(dui)Y和Z選(xuan)擇具有(you)魯棒性，這個隨(sui)(sui)機(ji)過程重復了(le)七次以(yi)生成(cheng)不同的(de)Z和Y。表1為(wei)文(wen)中(zhong)使用(yong)的(de)網絡架構。FCFY和FCFZ都(dou)是單層(ceng)(ceng)全連(lian)接(jie)網絡。在卷(juan)積(ji)(ji)層(ceng)(ceng)之后是針對(dui)非線(xian)性的(de)ReLU激活函(han)數。卷(juan)積(ji)(ji)層(ceng)(ceng)和全連(lian)接(jie)層(ceng)(ceng)的(de)權值都(dou)使用(yong)Xavier方法[6]進行(xing)初(chu)始化(hua)，所有(you)反卷(juan)積(ji)(ji)層(ceng)(ceng)都(dou)使用(yong)Gaussian初(chu)始化(hua)器進行(xing)初(chu)始化(hua)。文(wen)中(zhong)用(yong)softmax函(han)數和多(duo)項式邏輯損(sun)失(shi)訓(xun)練完全連(lian)接(jie)層(ceng)(ceng)，用(yong)交叉熵損(sun)失(shi)訓(xun)練D。

4. 實(shi)驗評估(gu)

1）目標分類

圖(tu)2給出了(le)PHAC-2對(dui)(dui)象(xiang)及其屬(shu)(shu)性(xing)(xing)的(de)例子，以及split 1的(de)測試(shi)(shi)對(dui)(dui)象(xiang)。雖然測試(shi)(shi)對(dui)(dui)象(xiang)(用藍色框起來)在(zai)語義(yi)上與訓練(lian)對(dui)(dui)象(xiang)不同(tong)，但是這兩(liang)個集(ji)合共享相(xiang)同(tong)的(de)屬(shu)(shu)性(xing)(xing)，每個測試(shi)(shi)對(dui)(dui)象(xiang)都有區(qu)別于其他(ta)對(dui)(dui)象(xiang)的(de)屬(shu)(shu)性(xing)(xing)向量(liang)(liang)。驗證(zheng)了(le)Z和Y之間(jian)的(de)共享屬(shu)(shu)性(xing)(xing)，驗證(zheng)了(le)中每個對(dui)(dui)象(xiang)的(de)屬(shu)(shu)性(xing)(xing)向量(liang)(liang)的(de)唯(wei)一性(xing)(xing)，從(cong)而允(yun)許(xu)使用文中框架來執行ZSL。

圖(tu)2 PHAC-2對象及其屬(shu)性(xing)示例

2）已(yi)知對象的多(duo)重分類

從每個中隨機選取10個樣本(ben)作為(wei)測試數據，剩下的90個樣本(ben)用于訓練CNNXY。表(biao)2表(biao)示(shi)了(le)該(gai)框架達到(dao)的識別(bie)(bie)精度。我(wo)們可以看到(dao)，識別(bie)(bie)精度是非常高的。這個結果(guo)很重要，因為(wei)它影響(xiang)了(le)CONVXF的訓練，從而也影響(xiang)了(le)對(dui)新對(dui)象的識別(bie)(bie)。

表2 的多類分類的識別精度(du)(%)

3）合成(cheng)觸覺特征(zheng)的評估

如果(guo)缺少真(zhen)實(shi)(shi)的(de)訓(xun)(xun)練(lian)數據，則(ze)利用合(he)成(cheng)的(de)特(te)(te)征(zheng)來訓(xun)(xun)練(lian)識(shi)別系統。因此，可以單獨使(shi)用合(he)成(cheng)特(te)(te)征(zheng)對框架進行訓(xun)(xun)練(lian)并使(shi)用真(zhen)實(shi)(shi)特(te)(te)征(zheng)進行測試，以未知目標識(shi)別的(de)準確(que)性程度(du)來評(ping)估合(he)成(cheng)觸覺特(te)(te)征(zheng)的(de)質量。在(zai)表(biao)3中(zhong)，測試了在(zai)使(shi)用真(zhen)實(shi)(shi)觸覺特(te)(te)征(zheng)和使(shi)用合(he)成(cheng)觸覺特(te)(te)征(zheng)替代真(zhen)實(shi)(shi)觸覺特(te)(te)征(zheng)這兩種情況下，系統的(de)識(shi)別表(biao)現(xian)。

表3 使用每個類(lei)0、10、50、90或100個樣本(ben)訓(xun)練FCFZ后，多(duo)類(lei)分(fen)類(lei)(真實觸覺(jue)特征訓(xun)練)和ZSL(合成(cheng)觸覺(jue)特征)的識別(bie)準確率(%)

從表4中(zhong)很明顯看到，使用(yong)(yong)真實觸(chu)覺(jue)特(te)征(zheng)進行訓練(lian)的(de)(de)效果明顯優于(yu)合(he)成(cheng)(cheng)(cheng)(cheng)觸(chu)覺(jue)特(te)征(zheng)訓練(lian)。但(dan)是，在沒有(you)真實觸(chu)覺(jue)信息可用(yong)(yong)的(de)(de)情況下，多類分類器是無(wu)法(fa)(fa)區分對(dui)象的(de)(de)，會按平均(jun)概率(lv)進行分類。然而，對(dui)于(yu)所有(you)的(de)(de)對(dui)象分類，ZSL卻可以給出一(yi)(yi)個(ge)高于(yu)概率(lv)的(de)(de)分類精度。還有(you)，增加(jia)訓練(lian)的(de)(de)合(he)成(cheng)(cheng)(cheng)(cheng)觸(chu)覺(jue)特(te)征(zheng)樣本(ben)數量(liang)并不會提高準確度，這可能(neng)是因為(wei)每(mei)個(ge)類的(de)(de)合(he)成(cheng)(cheng)(cheng)(cheng)觸(chu)覺(jue)特(te)征(zheng)都是由相同的(de)(de)屬性(xing)向量(liang)（通(tong)過添加(jia)少量(liang)的(de)(de)噪聲）合(he)成(cheng)(cheng)(cheng)(cheng)的(de)(de)，這種相似性(xing)，為(wei)一(yi)(yi)個(ge)對(dui)象生成(cheng)(cheng)(cheng)(cheng)多個(ge)特(te)征(zheng)會導致過擬合(he)。文中(zhong)還分析了使用(yong)(yong)對(dui)抗神經(jing)網絡的(de)(de)必要性(xing)，如果跳過算(suan)法(fa)(fa)2和(he)僅使用(yong)(yong)算(suan)法(fa)(fa)1訓練(lian)生成(cheng)(cheng)(cheng)(cheng)器，那么系統性(xing)能(neng)會下降，這是因為(wei)合(he)成(cheng)(cheng)(cheng)(cheng)的(de)(de)觸(chu)覺(jue)數據與真實觸(chu)覺(jue)數據有(you)較大差別。

表4有GAN和無(wu)GAN的ZSL識別精度(%)

5. 總(zong)結(jie)

這篇論文(wen)設(she)計了一個觸(chu)(chu)覺(jue)識(shi)別(bie)框架(jia)(jia)，利(li)用(yong)觸(chu)(chu)覺(jue)數(shu)據能夠識(shi)別(bie)已知(zhi)(zhi)和未知(zhi)(zhi)對象(xiang)。在(zai)對未知(zhi)(zhi)對象(xiang)的(de)(de)(de)(de)識(shi)別(bie)分(fen)類(lei)上，精(jing)度(du)達到(dao)(dao)36%，這是傳統訓練模(mo)式達不(bu)到(dao)(dao)的(de)(de)(de)(de)。此外,該(gai)框架(jia)(jia)有(you)效利(li)用(yong)輸入(ru)的(de)(de)(de)(de)數(shu)據，如果有(you)足夠的(de)(de)(de)(de)數(shu)據可(ke)用(yong)時，可(ke)以(yi)達到(dao)(dao)較高的(de)(de)(de)(de)多類(lei)分(fen)類(lei)精(jing)度(du)。該(gai)框架(jia)(jia)仍然存在(zai)一些(xie)限(xian)制(zhi)(zhi)，首(shou)先領域(yu)移位問題(ti)[7]和語(yu)(yu)義(yi)屬性(xing)空間與觸(chu)(chu)覺(jue)特征空間的(de)(de)(de)(de)相關性(xing)限(xian)制(zhi)(zhi)了對新(xin)對象(xiang)的(de)(de)(de)(de)識(shi)別(bie)。此外該(gai)框架(jia)(jia)能夠識(shi)別(bie)的(de)(de)(de)(de)新(xin)類(lei)集合(he)必須是已知(zhi)(zhi)的(de)(de)(de)(de)，添(tian)加新(xin)類(lei)需(xu)要(yao)修改FCFZ的(de)(de)(de)(de)輸出層，同(tong)理添(tian)加新(xin)屬性(xing)需(xu)要(yao)修改的(de)(de)(de)(de)輸入(ru)層。此外，文(wen)中(zhong)使用(yong)了由[4]設(she)計的(de)(de)(de)(de)語(yu)(yu)義(yi)二進(jin)制(zhi)(zhi)屬性(xing)。探討(tao)非語(yu)(yu)義(yi)屬性(xing)和實(shi)值屬性(xing)可(ke)以(yi)提高[8]、[9]識(shi)別(bie)的(de)(de)(de)(de)準確性(xing)和泛(fan)化(hua)能力。最后(hou)，文(wen)中(zhong)只根據觸(chu)(chu)覺(jue)數(shu)據來識(shi)別(bie)物體，可(ke)以(yi)結合(he)視覺(jue)進(jin)一步拓展，如在(zai)[10]，[11]。考慮(lv)到(dao)(dao)CNN在(zai)圖像識(shi)別(bie)和生成[12]方面(mian)的(de)(de)(de)(de)良好表現(xian)，視觸(chu)(chu)覺(jue)融合(he)識(shi)別(bie)可(ke)以(yi)顯著提高識(shi)別(bie)性(xing)能，這是非常有(you)研(yan)究價值的(de)(de)(de)(de)。