百度AI開(kāi)發(fā)者大會(huì) 發(fā)布兩大全新AR交互系統(tǒng)
2019年7月3-4日，CREATE 2019百度AI開(kāi)發(fā)者大會(huì)與廣大開(kāi)發(fā)者再次相逢，共同聚焦如何攜AI能力走進(jìn)風(fēng)舉云飛的產(chǎn)業(yè)智能化時(shí)代。會(huì)上，百度視覺(jué)技術(shù)部、增強(qiáng)現(xiàn)實(shí)技術(shù)部總監(jiān)吳中勤發(fā)布一體化人機(jī)交互與大場(chǎng)景物理世界交互兩大系統(tǒng)級(jí)革新；并以連續(xù)構(gòu)建的虛實(shí)融合基礎(chǔ)設(shè)施和不斷變革的人機(jī)交互創(chuàng)新體驗(yàn)，帶來(lái)六大行業(yè)搞定方案。 兩大AR交互系統(tǒng)創(chuàng)新發(fā)布2017年，百度AR在AI開(kāi)發(fā)者大會(huì)上首次發(fā)布技術(shù)開(kāi)放平臺(tái)DuMix AR，將AR技術(shù)賦能廣大開(kāi)發(fā)者。兩年后，百度AR交出新的成績(jī)單 ―― 全面升級(jí)DuMix AR 5.0平臺(tái)，發(fā)布兩大AR交互系統(tǒng)，實(shí)現(xiàn)從認(rèn)識(shí)物到理解人，到探知世界的智能感知能力進(jìn)階，將AR技術(shù)使用的邊界從眼前的空間擴(kuò)展至物理世界大場(chǎng)景。由人臉、人體、手勢(shì)等相關(guān)視覺(jué)技術(shù)，及完備的環(huán)境特效能力共同構(gòu)成的一體化人機(jī)交互系統(tǒng)，實(shí)現(xiàn)了人與周遭環(huán)境的實(shí)時(shí)跟蹤互動(dòng)，現(xiàn)在正廣泛使用于視頻拍攝和游戲互動(dòng)場(chǎng)景，為人們帶來(lái)連續(xù)創(chuàng)新的交互體驗(yàn)。為實(shí)現(xiàn)人臉特征點(diǎn)和輪廓點(diǎn)的精準(zhǔn)定位，百度AR從自建人臉數(shù)據(jù)庫(kù)的海量數(shù)據(jù)中提取東方人臉型基底，并以此為基礎(chǔ)構(gòu)建了一套穩(wěn)定高效的用戶(hù)臉型三維重建算法，使得在進(jìn)行人臉驅(qū)動(dòng)表情估計(jì)時(shí)，能夠提取到更精確的表情結(jié)果；此外，基于百度飛槳PaddlePaddle高性能深度學(xué)習(xí)框架，人臉關(guān)鍵點(diǎn)檢測(cè)在大姿態(tài)、極端表情、遮擋等復(fù)雜場(chǎng)景下都表現(xiàn)出可靠的魯棒性和準(zhǔn)確性。在這之上，拓展出人臉美型、美妝、3D道具及3D動(dòng)畫(huà)表情等十余項(xiàng)豐富的臉特效能力，為全民小視頻、好看視頻等使用和華為、魅族等企業(yè)級(jí)合作伙伴提供了視頻特效拍攝方案。百度AR還建立了一系列業(yè)內(nèi)領(lǐng)先的超輕量級(jí)（計(jì)算量小，體積?。┦植拷换ニ惴芰仃?，涵蓋手勢(shì)識(shí)別、指尖點(diǎn)檢測(cè)和手勢(shì)關(guān)鍵點(diǎn)檢測(cè)，除了常見(jiàn)的控雨等手勢(shì)控制操作，還能自定義手部特效、空間作畫(huà)等多種創(chuàng)意玩法。在移動(dòng)端，百度率先實(shí)現(xiàn)了肢體骨骼點(diǎn)/輪廓點(diǎn)檢測(cè)跟蹤，支持人體實(shí)時(shí)定位與動(dòng)作捕捉；同時(shí)以18點(diǎn)/59點(diǎn)兩種不一樣輸出方式， 跨平臺(tái)兼容各主流終端設(shè)備。包含人像分割、天空分割、頭發(fā)分割、物體檢測(cè)等多項(xiàng)算法能力在內(nèi)的環(huán)境特效能力矩陣，致力于打造人像與虛擬環(huán)境的自然融合，可以任意選擇背景替換、染發(fā)、天空特效、動(dòng)畫(huà)疊加等AR效果。隨著5G時(shí)代的到來(lái)，百度AR依托視覺(jué)技術(shù)優(yōu)勢(shì)所構(gòu)建的虛實(shí)場(chǎng)景融合的基礎(chǔ)設(shè)施，將不斷彌合虛擬世界與物理世界的間隙，刷新人們探索世界的方式。 VPAS-視覺(jué)定位與增強(qiáng)服務(wù)首發(fā)，復(fù)現(xiàn)圓明園大水法盛景未來(lái)是什么？是無(wú)數(shù)個(gè)過(guò)去和現(xiàn)在疊加在一起。當(dāng)我們站在此時(shí)此刻，能否借一雙未來(lái)的眼去回看歷史的景象？在開(kāi)發(fā)者大會(huì)上，百度AR首次發(fā)布VPAS（視覺(jué)定位與增強(qiáng)服務(wù)），通過(guò)視覺(jué)定位與AR技術(shù)的突破性結(jié)合，將虛擬信息與真實(shí)地理位置準(zhǔn)確重合，實(shí)現(xiàn)大場(chǎng)景物理世界的AR交互。當(dāng)你跟隨百度地圖導(dǎo)航走進(jìn)圓明園西洋樓景區(qū)，VPAS將自動(dòng)“找到”大水法遺址，在這爿殘?jiān)珨啾谏现噩F(xiàn)100多年前雕欄玉砌、“獵狗逐鹿”的恢弘奇景。VPAS主要包含離線(xiàn)高精地圖構(gòu)建、在線(xiàn)定位與融合跟蹤三大基礎(chǔ)模塊，相比GPS具備更穩(wěn)定的實(shí)時(shí)跟蹤能力，支持室外大場(chǎng)景及室內(nèi)場(chǎng)景厘米級(jí)高精度定位。百度AR在視覺(jué)信息要素積累的基礎(chǔ)上實(shí)現(xiàn)了一套完整的視覺(jué)地圖構(gòu)建方案，即實(shí)行眾源數(shù)據(jù)采集模式，對(duì)用戶(hù)通過(guò)手機(jī)收集反饋的圖像數(shù)據(jù)進(jìn)行處理分析，結(jié)合百度地圖的地理位置信息連續(xù)更新完善視覺(jué)地圖?，F(xiàn)在，百度AR已打通常見(jiàn)三維重建數(shù)據(jù)導(dǎo)入接口，并且兼容相同格式下的第三方數(shù)據(jù)，具備易集成特點(diǎn)和數(shù)據(jù)批量化生產(chǎn)能力。VPAS采用了最具前瞻性的視覺(jué)技術(shù)方案，以及兼容Google、Apple平臺(tái)的連續(xù)跟蹤能力與獨(dú)有自研跟蹤能力共同構(gòu)成的融合跟蹤方案，能夠支持當(dāng)前市場(chǎng)主流機(jī)型的全場(chǎng)景體驗(yàn)需要。同時(shí)結(jié)合百度視覺(jué)語(yǔ)義化能力，連續(xù)提升在線(xiàn)定位與實(shí)時(shí)跟蹤的穩(wěn)定性和精準(zhǔn)度。VPAS與百度地圖入口的打通，為我們打開(kāi)一個(gè)嶄新的“世界”！并將以大水法為起點(diǎn)，快速拓展至景區(qū)、商圈等更多室內(nèi)外場(chǎng)景，為可視化導(dǎo)航服務(wù)帶來(lái)體驗(yàn)式變革。一個(gè)虛擬的數(shù)字信息世界正以我們每個(gè)人為圓心悄然建立，當(dāng)5G時(shí)代開(kāi)啟和軟硬結(jié)合的日趨成熟，這些信息將以愈發(fā)顯著的形態(tài)呈現(xiàn)在我們面前，為生產(chǎn)、生活方式變化和發(fā)展提供新的驅(qū)動(dòng)力。百度DuMix AR升級(jí)5.0 六大搞定方案助力產(chǎn)業(yè)智能化升級(jí)在技術(shù)能力連續(xù)積累的同時(shí)，百度AR與開(kāi)發(fā)者和生態(tài)伙伴一起不斷探索AR在各個(gè)行業(yè)的實(shí)用場(chǎng)景和搞定方案。本次AI開(kāi)發(fā)者大會(huì)上，百度AR發(fā)布全新DuMix AR 5.0平臺(tái)，針對(duì)娛樂(lè)互動(dòng)、智能營(yíng)銷(xiāo)、智能設(shè)備、景區(qū)行業(yè)、教育行業(yè)及汽車(chē)行業(yè)，發(fā)布六大搞定方案，覆蓋從AR內(nèi)容生產(chǎn)到消費(fèi)使用全場(chǎng)景。 一、娛樂(lè)互動(dòng)搞定方案依托全面升級(jí)的一體化人機(jī)交互系統(tǒng)，百度DuMix AR聚焦精細(xì)美化方向，在人臉特效、美化特效、人體及環(huán)境特效方面都帶來(lái)了出色表現(xiàn)，實(shí)現(xiàn)了虛擬特效貼紙、動(dòng)畫(huà)表情、美化濾鏡等與人臉/人體的精準(zhǔn)貼合，人像與虛擬環(huán)境的自然融合。在兼容性方面，百度DuMix AR人機(jī)交互能力進(jìn)行全機(jī)型覆蓋，兼容市場(chǎng)上絕大多數(shù)高中低端移動(dòng)設(shè)備，能夠支持和滿(mǎn)足各類(lèi)視頻、直播、實(shí)時(shí)通話(huà)等使用需要。此外，百度AR還將內(nèi)容平臺(tái)服務(wù)向視頻特效方向延伸，為廣大開(kāi)發(fā)者/規(guī)劃師提供低門(mén)檻的AR特效內(nèi)容制作工具，擴(kuò)大AR內(nèi)容規(guī)模和開(kāi)發(fā)效率；平臺(tái)提供內(nèi)容的管理與儲(chǔ)存服務(wù)，開(kāi)發(fā)者也可以通過(guò)平臺(tái)將自己的作品上傳至全民小視頻等接入百度AR能力的使用，形成從內(nèi)容生產(chǎn)、管理到分發(fā)的一站式搞定方案，打造AR娛樂(lè)互動(dòng)領(lǐng)域的開(kāi)放閉環(huán)。二、智能營(yíng)銷(xiāo)搞定方案在智能營(yíng)銷(xiāo)領(lǐng)域，百度將AR的趣味性與交互性融入虛實(shí)結(jié)合的全新場(chǎng)景，定義創(chuàng)意表達(dá)的不一樣形態(tài)，更多元化地向用戶(hù)傳遞品牌價(jià)值，提升營(yíng)銷(xiāo)轉(zhuǎn)化率。百度AR擁有專(zhuān)業(yè)的內(nèi)容生產(chǎn)團(tuán)隊(duì)和高效的內(nèi)容制作體系，提供AR內(nèi)容的個(gè)性化定制和一站式模板服務(wù)，幫助開(kāi)發(fā)者實(shí)現(xiàn)創(chuàng)意內(nèi)容的快速AR化。此外，百度還擁有高效的分發(fā)優(yōu)勢(shì)，線(xiàn)上依托生態(tài)億級(jí)分發(fā)矩陣和大數(shù)據(jù)資源，精準(zhǔn)觸達(dá)目標(biāo)人群；線(xiàn)下通過(guò)AR“掃一掃”入口延伸至線(xiàn)上場(chǎng)景，形成打通的營(yíng)銷(xiāo)閉環(huán)。三、智能設(shè)備搞定方案2018年，百度將肢體互動(dòng)能力與智能大屏結(jié)合，AR打太極項(xiàng)目落地全球首個(gè)AI公園-海淀公園，獨(dú)特的健身互動(dòng)方式受到了大家的廣泛關(guān)心，天津南翠屏公園、福州飛鳳山公園等先后引入，每天都有絡(luò)繹不絕的游客前來(lái)體驗(yàn)。通過(guò)將人機(jī)交互，智能感知和跟蹤等領(lǐng)先技術(shù)能力及視覺(jué)定位與增強(qiáng)服務(wù)（VPAS），與智能大屏、AR眼鏡、PAD等更多智能設(shè)備結(jié)合，AR技術(shù)將突破手機(jī)的約束為人們帶來(lái)解放雙手的AR交互新體驗(yàn)，在公園、景區(qū)、商圈、店鋪等挖掘豐富的運(yùn)用場(chǎng)景。四、景區(qū)行業(yè)搞定方案基于端云一體化的視覺(jué)定位與增強(qiáng)服務(wù)（VPAS），融合百度地圖場(chǎng)景化能力，百度DuMix AR為景區(qū)打造了覆蓋行前、行中、行后的全流程交互搞定方案。用戶(hù)可以通過(guò)線(xiàn)上AR導(dǎo)覽進(jìn)行實(shí)景體驗(yàn)，依托VPAS探索景區(qū)知名地標(biāo)并將關(guān)聯(lián)信息在現(xiàn)實(shí)空間疊加呈現(xiàn)，豐富的人機(jī)交互能力為線(xiàn)下提供了多樣化的娛樂(lè)互動(dòng)形式，而通過(guò)設(shè)備攝像頭采集分析呈現(xiàn)的用戶(hù)畫(huà)像，將為景區(qū)管理和優(yōu)化提供可靠依據(jù)。五、教育行業(yè)搞定方案百度DuMix AR以領(lǐng)先AR技術(shù)為圖書(shū)/出版物進(jìn)行數(shù)字化改造，將AR內(nèi)容使用于豐富的教學(xué)場(chǎng)景。面向教育行業(yè)開(kāi)發(fā)者和從業(yè)者，提供從SDK接入到內(nèi)容生產(chǎn)制作全流程的平臺(tái)級(jí)搞定方案，針對(duì)不一樣年齡段定制化AR內(nèi)容，推動(dòng)教育領(lǐng)域使用的快速規(guī)模化落地。人才培養(yǎng)方面，百度DuMix AR平臺(tái)與高校和教育培訓(xùn)機(jī)構(gòu)共同編撰專(zhuān)業(yè)AR教育課程，并攜手百度云智學(xué)院推出AR技術(shù)認(rèn)證資質(zhì)體系，強(qiáng)化國(guó)內(nèi)AR領(lǐng)域人才隊(duì)伍建設(shè)。百度擁有豐富的生態(tài)產(chǎn)品矩陣與線(xiàn)上教育平臺(tái)，百度DuMix AR將聯(lián)動(dòng)國(guó)內(nèi)優(yōu)質(zhì)教育出版資源，攜手專(zhuān)業(yè)教育垂類(lèi)合作伙伴，建立更完善的AR教育生態(tài)。六、汽車(chē)行業(yè)搞定方案百度將AR技術(shù)使用于汽車(chē)行業(yè)，可廣泛用于線(xiàn)上AR展示、產(chǎn)品說(shuō)明及工業(yè)維修等各類(lèi)產(chǎn)業(yè)相關(guān)場(chǎng)景，助力汽車(chē)產(chǎn)業(yè)上下游企業(yè)實(shí)現(xiàn)智能化轉(zhuǎn)型。同時(shí)，百度DuMix AR還將針對(duì)不一樣需要端場(chǎng)景，定制化提供從SDK到分發(fā)的整套嵌入式使用方案。以上六大搞定方案涵蓋了當(dāng)前AR技術(shù)使用的核心場(chǎng)景和領(lǐng)域。會(huì)上，百度增強(qiáng)現(xiàn)實(shí)技術(shù)部高級(jí)產(chǎn)品運(yùn)營(yíng)經(jīng)理王琳琳宣告，百度DuMix AR平臺(tái)進(jìn)入5.0時(shí)代，并邀請(qǐng)百度AR資深研究工程師、百度AI交互規(guī)劃院資深用戶(hù)研究工程師及百度AR生態(tài)合作伙伴，為開(kāi)發(fā)者解讀兩大交互系統(tǒng)背后的核心算法與技術(shù)，比較分享AR內(nèi)容制作的交互規(guī)劃邏輯。百度AR將與開(kāi)發(fā)者和生態(tài)合作伙伴一起，共同探索更多行業(yè)搞定方案和落地場(chǎng)景，攜AR能力邁進(jìn)產(chǎn)業(yè)智能化時(shí)代。