京東發(fā)布全球首個(gè)“發(fā)絲級”全自動(dòng)摳圖軟件么么照發(fā)力買家秀
助力京東買家秀，用數(shù)據(jù)看懂你的美。
2018年4月，京東Y事業(yè)部對外發(fā)布全球首款全自動(dòng)智能圖片合成處理軟件——么么照。么么照可實(shí)現(xiàn)“發(fā)絲級”識別精度的全自動(dòng)摳圖效果，能夠滿足于買家秀、社交、海報(bào)制作等應(yīng)用場景，未來還將覆蓋邀請函、電子名片、直播等靜態(tài)圖片及動(dòng)態(tài)視頻的應(yīng)用。給用戶帶來更豐富有趣的玩法及全新的互動(dòng)體驗(yàn)。
么么照以人像摳圖為核心，可實(shí)時(shí)更換背景/貼紙，并支持全身效果合成，由來自京東美國硅谷的研發(fā)團(tuán)隊(duì)提供了領(lǐng)先的AI及AR技術(shù)，可創(chuàng)造出內(nèi)容更加豐富的創(chuàng)意表達(dá)。極低的學(xué)習(xí)門檻可輕松上手進(jìn)行創(chuàng)作。目前么么照已發(fā)布iOS及Android版本，用戶可前往應(yīng)用商店下載體驗(yàn)。
| “發(fā)絲級”全自動(dòng)摳圖讓創(chuàng)意信手拈來
相比目前市面上種類繁多的圖片美化軟件，大部分的摳圖App軟件，幾乎都是半自動(dòng)化的，需要用戶手動(dòng)框出人物區(qū)域，用戶們在選取人物或其他對象時(shí)經(jīng)常有不小的麻煩，需要消耗一定的時(shí)間。
么么照解決了用戶這一煩惱，規(guī)避了其他半自動(dòng)摳圖軟件效果差不好控制的問題。采用人工智能算法，將人與復(fù)雜背景自動(dòng)分割，智能識別人體部位與動(dòng)作，達(dá)到發(fā)絲級識別精度，用戶可通過使用app內(nèi)置主題背景或自由上傳背景，實(shí)現(xiàn)萬千虛擬場景自由更換，賦予用戶沉浸式的深入體驗(yàn)，讓圖片處理變得富有創(chuàng)意。
（照片經(jīng)模特周芝伊授權(quán)）
么么照在摳圖方面采用state of art 的深度學(xué)習(xí)算法對照片進(jìn)行語義分割，可精準(zhǔn)分割出人像與背景，并返回一個(gè)由浮點(diǎn)數(shù)組成的字符串，字符串內(nèi)的每個(gè)浮點(diǎn)數(shù)對應(yīng)原圖的一個(gè)像素，浮點(diǎn)數(shù)的值代表相應(yīng)的像素是否在人體輪廓內(nèi)的置信度。
為了使用戶獲得最佳的用戶體驗(yàn)，么么照針對手機(jī)端和服務(wù)器端分別采用了輕量級網(wǎng)絡(luò)和高精度網(wǎng)絡(luò)來做上百萬的數(shù)據(jù)訓(xùn)練，做到了既精準(zhǔn)又輕量化的效果。利用深度學(xué)習(xí)中的Encoder-decoder模型結(jié)合提取到的全局和局部特征，能夠?qū)γ總€(gè)像素進(jìn)行人體、背景分類，得到高精度的人體分割，最后組合多種后處理方法，對神經(jīng)網(wǎng)絡(luò)得到的人體模型，做進(jìn)一步的細(xì)節(jié)優(yōu)化，簡單背景下深知可做到 PhotoShop級別的精度。
為了增加圖片的趣味性，么么照還在摳圖選取過程中加入了人體關(guān)鍵點(diǎn)檢測，如當(dāng)檢測到圖像中人體肩膀的位置，可自動(dòng)搭配翅膀等夢幻元素，還可自動(dòng)更換背景、識別背景顏色。同時(shí)通過后臺算法可以檢測到圖像中服裝屬性、背景圖元素，根據(jù)提取的標(biāo)簽信息智能匹配語料，未來可一秒鐘寫好配圖文章。此項(xiàng)技能作為AI 技術(shù)在圖片領(lǐng)域的拓展，能夠提取用戶全身照片里服裝風(fēng)格信息，可用于用戶喜好數(shù)據(jù)平臺的搭建。
| 進(jìn)擊的娛樂化趨向 動(dòng)態(tài)視頻實(shí)現(xiàn)一鍵摳圖
根據(jù)2015 CNNIC數(shù)據(jù)顯示，截止2015年底，在中國30歲以下的網(wǎng)民占比超過一半（54%），20歲以下網(wǎng)民占比24.1%，互聯(lián)網(wǎng)娛樂繼續(xù)向低齡群體滲透。這些崛起的90后是各大平臺都無法忽視的新興消費(fèi)勢力，日益成為影響中國互聯(lián)網(wǎng)未來發(fā)展的關(guān)鍵力量。從供需兩端看，90后最關(guān)注的行業(yè)是文娛，而短視頻又是對文娛類產(chǎn)業(yè)影響最大的部分，深入到產(chǎn)品層面的改變，在產(chǎn)品設(shè)計(jì)及運(yùn)營策略等方面各大企業(yè)也都在迎合著90后，么么照正是抓住了年輕群體娛樂化的需求，在市面上靜態(tài)摳圖尚不精準(zhǔn)的情況下率先進(jìn)行了動(dòng)態(tài)視頻摳圖處理的研發(fā)。
么么照能夠檢測到圖像中所包含人體中臉的各個(gè)關(guān)鍵點(diǎn)位置，捕捉用戶臉部姿態(tài)，進(jìn)行人臉實(shí)時(shí)視頻摳圖，完成82個(gè)人臉關(guān)鍵點(diǎn)定位檢測深度模型，服務(wù)器GPU可達(dá)322 fps，手機(jī)端（iphone7）GPU為33 fps。[H1]在動(dòng)態(tài)摳圖方面，后臺算法會(huì)根據(jù)視頻輸入的每一幀計(jì)算出一張二值掩蔽圖，通過對大批量視頻進(jìn)行分割訓(xùn)練，保證幀之間的連續(xù)性，加上對沙漏型分割網(wǎng)絡(luò)架構(gòu)的改進(jìn)，能夠提高并解決視頻在手機(jī)端的速度問題。
么么照在動(dòng)態(tài)摳圖過程中可以識別到點(diǎn)頭、搖頭、手勢等動(dòng)作，使用神經(jīng)網(wǎng)絡(luò)能夠做到毫秒級的動(dòng)效跟蹤和貼紙展示，此外在移動(dòng)中拍攝識別依舊準(zhǔn)確。作為全身視頻的新穎玩法，適用于體感游戲在短視頻平臺上的應(yīng)用，能夠讓用戶真實(shí)體驗(yàn)線下Cosplay，同時(shí)可以進(jìn)行一鍵分享社交圈，實(shí)時(shí)互動(dòng)傳播。
未來通過與AR技術(shù)結(jié)合，么么照針對用戶對于照片效果美化的需求，還將加入“人臉關(guān)鍵點(diǎn)檢測”萌顏+實(shí)時(shí)摳圖功能，并通過美顏與濾鏡賦予萌顏效果，不管是靜態(tài)圖片還是動(dòng)態(tài)視頻都能達(dá)到前所未有的用戶視覺效果。
| 助力京東買家秀 用數(shù)據(jù)看懂你的美
么么照一方面可滿足用戶對照片美化處理的個(gè)性化需求外，將作為京東在買家秀上的重要基礎(chǔ)工具來提供入口，消費(fèi)者可通過么么照的處理對商品進(jìn)行更個(gè)性話的評價(jià)展示，增強(qiáng)B端與C端的互動(dòng)，提高轉(zhuǎn)化率。同時(shí)么么照通過對用戶穿衣風(fēng)格的識別可不斷積累用戶對服裝搭配，色彩偏向等數(shù)據(jù)，在與京東用戶數(shù)據(jù)打通后，可圍繞數(shù)據(jù)標(biāo)簽展開精準(zhǔn)且具有針對性的營銷活動(dòng)，提供給用戶更多個(gè)性化推薦，以及更適合的活動(dòng)策略。
（來源：騰訊科技）