文｜腦極體

新年伊始，伯克利就傳出新進(jìn)展，他們教機(jī)器人做家務(wù)的能力更上一層樓了。

在最新的論文中，伯克利介紹了他們是如何讓機(jī)器學(xué)會讀懂人類的潛臺詞或未盡之意，而不是傻乎乎地按照字面意思或者獎勵系統(tǒng)來機(jī)械地運動。

舉個例子，當(dāng)餐桌機(jī)器人上菜時，它會知道躲避酒柜，或者在停電等緊急情況下停止端盤子，而不是為了盡可能多地得到獎賞（端一個盤子系統(tǒng)會提供一個獎勵），而馬不停蹄地送盤子。甚至還可能直接把盤子打碎，這樣就可以獲得更多的“盤子”（獎勵）了……

反正我看到這個新聞時，第一反應(yīng)是機(jī)器人可真笨啊，這么簡單的任務(wù)我兩歲的小侄子都會做。第二反應(yīng)是伯克利教機(jī)器人做家務(wù)的執(zhí)念也未免太深了吧！

之前還開發(fā)過引擎教機(jī)器人鋪床單、疊衣服、收拾桌面，總之，非要讓機(jī)器人摻和家務(wù)這件事不可。

想要挑戰(zhàn)家務(wù)技能的除了伯克利，還有Deepmind。去年2月，Deepmind就提出了一種新的學(xué)習(xí)范式“計劃輔助控制SAC-X”，來幫助機(jī)器人學(xué)會整理桌子和堆疊衣物。

前不久佐治亞理工學(xué)院的研究人員，也發(fā)表了新的強(qiáng)化學(xué)習(xí)算法，可以教會機(jī)器人穿衣服。

為什么這么多AI巨頭不約而同地走上了家務(wù)培訓(xùn)的道路？未來我們能擁有《底特律》中卡拉小姐姐那樣溫柔能干的家政機(jī)器人嗎？本文就來嘗試解釋一下這些疑惑。

家務(wù)三十六計：家政機(jī)器人都掌握了哪些技能？

首先我們來看看，在這么多人類學(xué)霸、AI巨頭的助攻下，機(jī)器人都學(xué)會了哪些家務(wù)小技能。

先來說說“家政狂魔”伯克利。

早在去年，我們就解讀過伯克利的通用預(yù)測模型，它可以幫助機(jī)器人自主學(xué)習(xí)和掌握很多通用基礎(chǔ)技能，在此基礎(chǔ)上學(xué)習(xí)和預(yù)測主人的意圖和任務(wù)的共性，從而可以舉一反三執(zhí)行廣泛的任務(wù)類別，成長為一個優(yōu)秀的“家務(wù)多面手”。比如折疊短褲毛巾、挪移蘋果、整理桌面等等。

伯克利還推出了一個深度學(xué)習(xí)模型Dex-NET，基于角點檢測和抓取策略，讓機(jī)器人完成鋪床單這一艱巨任務(wù)。

最值得一提的是新的研究成果“偏好優(yōu)化模型”。機(jī)器人不僅能完成通用任務(wù)，而且還能夠推斷出更優(yōu)解，適應(yīng)帶有隱藏條件的復(fù)雜現(xiàn)實環(huán)境。

比如在常規(guī)的“actor-critic”增強(qiáng)學(xué)習(xí)反饋機(jī)制中，主人要求機(jī)器人導(dǎo)航前往紫色的門，那么機(jī)器人就會選擇最短路徑（傳統(tǒng)意義上的最優(yōu)解），而忽略這么做會打碎路上的花瓶。

因為機(jī)器人無法獲知，主人是否關(guān)心花瓶會不會被打碎。但如果機(jī)器人能自己模擬和演練過去發(fā)生過的行為軌跡，比如主人一直都繞著花瓶走，說明她是重視花瓶的完整狀態(tài)的，由此推斷出繞過花瓶是最有可能獲得獎勵、應(yīng)該積極追求的目標(biāo)。

機(jī)器人擁有洞察隱藏條件的能力，意味著它們可以從一種狀態(tài)中學(xué)習(xí)人類的偏好，系統(tǒng)無需事無巨細(xì)地列出所有現(xiàn)實環(huán)境中的因果聯(lián)系和條件，獎勵函數(shù)也不再是線性機(jī)械的，機(jī)器人可以自主模擬和學(xué)習(xí)過去的經(jīng)驗，判斷和應(yīng)對未知的動態(tài)環(huán)境。

對于做家務(wù)這個任務(wù)來說，判斷主人的喜好來進(jìn)行作業(yè)，可以說是必殺技了。

與伯克利相比，Deepmind其實對醫(yī)療這種高精尖任務(wù)更感興趣。但這并不妨礙它在家政領(lǐng)域發(fā)光發(fā)熱。

Deepmind的“計劃輔助控制SAC-X”模型，就旨在幫助機(jī)器人學(xué)會探索和掌握家務(wù)方面的基本技能。就像嬰兒在爬行和走路之前必須發(fā)展出協(xié)調(diào)和平衡能力一樣，SAC-X也有助于幫助機(jī)器掌握幾種核心的視覺-運動技能。

比如運用模擬手臂，按照正確的順序，即使沒有見過這各任務(wù)，也能從零開始學(xué)習(xí)，并按要求順利地把物體舉起來。這樣就能在無需額外編程的前提下，完成整理桌面這樣的復(fù)雜任務(wù)。

此外，喬治亞理工學(xué)院將布料引入學(xué)習(xí)框架，教機(jī)器人學(xué)會穿衣服的論文也非常別出心裁。

因為衣服的布料材質(zhì)各不相同，穿衣服的動作也無法遵循特定的運動軌跡，會和布料產(chǎn)生復(fù)雜的交互變化，機(jī)器人必須不斷練習(xí)，對各個子任務(wù)（拽起邊緣、扯平衣角等）進(jìn)行模擬和優(yōu)化，在不斷變化的環(huán)境條件中學(xué)習(xí)到穩(wěn)定的創(chuàng)意控制策略，最終完成穿不同衣服的任務(wù)目標(biāo)。無論襯衫、套頭毛衣，還是外套，都是妥妥滴！

聽起來，好像大部分家務(wù)活兒機(jī)器人都可以駕馭嘛，但杯具的是，現(xiàn)實中能夠見到的家務(wù)機(jī)器人，干起活來依然是一副又慢又笨的蠢樣子。

比如由伯克利設(shè)計、Rethink Robotics公司開發(fā)的家庭助手，疊一個毛巾就要15分鐘；而加州 FoldiMate推出的智能洗疊機(jī)器，可以按照程序把衣服疊成需要的方塊，但需要人手動放置在展臺上，并沒有節(jié)省多少人力，售價還高達(dá)980美金（約7000塊人民幣）……emmmm還是自己動手豐衣足食吧。

不是比人慢，就是比人貴，靠機(jī)器人做家務(wù)性價比實在是太低了。那么，既然不能真的幫人類做家務(wù)，教機(jī)器人學(xué)習(xí)這些技能，究竟有何意義？

為什么是做家務(wù)，去工廠搬磚不行嗎？

這么多研究人才齊上陣，要是去教小學(xué)生，怕是都能考上清華了。實在不行，去工廠搬磚也能緩解下勞動力緊張啊，干嘛非要跟家務(wù)活兒較勁呢？

原因恐怕在于，家政任務(wù)提供了一個從零開始學(xué)習(xí)復(fù)雜控制任務(wù)的訓(xùn)練環(huán)境，這對通用機(jī)器智能來說至關(guān)重要。

首先，家政任務(wù)的真實性和多樣性，有助于智能體學(xué)會如何用最少的先驗知識來解決復(fù)雜問題。

先驗知識指的是一種不依賴于經(jīng)驗總結(jié)（類似編寫好的程序，從結(jié)果推導(dǎo)過程）的一種元能力，通過觀察學(xué)會推理和判斷。而機(jī)器人就沒有這種“天生的”知識，但顯然我們也不可能將機(jī)器人服務(wù)的每個家庭、每個可能任務(wù)都進(jìn)行預(yù)先編程，這時，訓(xùn)練機(jī)器人的通用能力就顯得尤為關(guān)鍵了。

盡管機(jī)器永遠(yuǎn)不可能擁有像人一樣的先驗?zāi)芰屯ㄓ眯裕诟鱾€學(xué)科、各個工作崗位都能表現(xiàn)差不多。但在很多垂直領(lǐng)域，比如工業(yè)、家務(wù)、語言等，先驗?zāi)芰?qiáng)的機(jī)器智能體就可以低成本、高適應(yīng)性、靈活地完成工作任務(wù)，解決那些現(xiàn)在只有人才能解決的問題。

另外，家政任務(wù)是一個集視覺、觸覺、運動、關(guān)節(jié)控制等為一體的任務(wù)，綜合性很強(qiáng)，這是其他碎片應(yīng)用不具備的環(huán)境，對訓(xùn)練多元功能協(xié)作的智能體很有幫助。

比如伯克利教機(jī)器人從垃圾桶中拾取原本看不見的物體，就需要通過攝像頭采集深度圖像，形成模擬數(shù)據(jù)集，再利用該數(shù)據(jù)集訓(xùn)練質(zhì)量卷積神經(jīng)網(wǎng)絡(luò)(GQ-CNN)，對物體進(jìn)行圖像分割，確定抓取嘗試成功的可能性，最后形成抓取成功概率最高的策略，再對夾持器關(guān)節(jié)進(jìn)行實時精密控制，才能最終完成這一操作。一次訓(xùn)練，多種收獲。

更重要的是，家務(wù)的操作環(huán)境比起工業(yè)機(jī)器人、電子游戲等，都更加松散，充滿變化，任務(wù)的主觀預(yù)期和隱藏含義更難界定和預(yù)測，無形中加大了訓(xùn)練難度。與此同時，家政任務(wù)的訓(xùn)練成本也比較低，也更容易為大眾所理解，社會效益和營銷價值雙豐收。

相比對機(jī)器狗拳打腳踢、在《Dota》中血虐真人玩家，讓機(jī)器做做家務(wù)簡直堪稱是最政治正確、價廉物美的訓(xùn)練方式了。

醉翁之意：做完家務(wù)，這些研究還有什么用？

在家政機(jī)器人背后，實際隱含的是一種智能體創(chuàng)生的本質(zhì)邏輯：在復(fù)雜的環(huán)境中自己探索出解決隨機(jī)和非結(jié)構(gòu)化問題的合理方案，可以安全地與環(huán)境交互，同時高效地完成任務(wù)。

具體一點說，訓(xùn)練家政機(jī)器人，主要有一下三個方面的好處：

一是培養(yǎng)更具有通用智能的機(jī)器人，在不需要過多指導(dǎo)的前提下，執(zhí)行一系列任務(wù)，提高機(jī)器自動化的安全性和工作效率。

二是有助于開發(fā)用于分層規(guī)劃、感知和推理的算法，可以幫助自動駕駛、工業(yè)自動化、智能物聯(lián)網(wǎng)等等領(lǐng)域解決應(yīng)用問題；

三是推動零樣本學(xué)習(xí)、少樣本學(xué)習(xí)等技術(shù)的進(jìn)步。在缺乏外部獎勵信號的情況下，算法也能很好地推理出行為的意圖，可以顯著提升電商、內(nèi)容產(chǎn)品推薦系統(tǒng)的使用體驗。

這樣，大家恐怕就不難理解，為什家務(wù)會成為通用智能體成長道路上無法繞過的“墊腳石”了。

最后可能還有人想問：不愛做家務(wù)星人，我只關(guān)心機(jī)器人啥時候能進(jìn)我家給我疊被鋪床？我只能說：親親這邊建議直接睡覺呢夢里什么都有。