A cikin sabon labarin Point-E: Tsarin samar da gajimare mai maki 3D daga sigina masu rikitarwa, ƙungiyar bincike ta OpenAI ta gabatar da Point E, tsarin yanayin yanayin rubutu na 3D wanda ke amfani da nau'ikan watsawa don ƙirƙirar bambance-bambancen sifofin 3D masu rikitarwa waɗanda ke gudana ta hanyar hadaddun rubutu. nuni.a cikin mintuna akan GPU guda ɗaya.
Ayyukan ban mamaki na ƙirar ƙirar zamani na zamani ya ƙarfafa bincike a cikin ƙarni na abubuwan rubutu na 3D.Koyaya, ba kamar samfuran 2D ba, waɗanda zasu iya samar da fitarwa cikin mintuna ko ma daƙiƙa, ƙirar ƙirar abubuwa yawanci suna buƙatar sa'o'i da yawa na aikin GPU don samar da samfurin guda ɗaya.
A cikin sabon labarin Point-E: Tsarin samar da gizagizai na maki 3D daga sigina masu rikitarwa, ƙungiyar bincike ta OpenAI ta gabatar da Point · E, tsarin daidaita yanayin rubutu na gajimare na 3D.Wannan sabuwar hanya tana amfani da samfurin yaduwa don ƙirƙirar bambance-bambancen sifofin 3D masu rikitarwa daga siginar rubutu masu rikitarwa a cikin minti ɗaya ko biyu akan GPU ɗaya.
Ƙungiyar ta mayar da hankali kan ƙalubalen canza rubutu zuwa 3D, wanda ke da mahimmanci don ƙaddamar da ƙaddamar da abun ciki na 3D don aikace-aikacen duniya na ainihi wanda ya fito daga gaskiyar gaske da wasan kwaikwayo zuwa ƙirar masana'antu.Hanyoyin da ake amfani da su don canza rubutu zuwa 3D sun faɗi kashi biyu, kowannensu yana da nasa illa: 1) Za a iya amfani da ƙirar ƙira don samar da samfurori da kyau, amma ba za a iya yin ma'auni da kyau don siginar rubutu daban-daban da hadaddun;2) samfurin hoton rubutu da aka riga aka horar don ɗaukar hadaddun alamomin rubutu daban-daban, amma wannan tsarin yana da ƙarfi cikin lissafi kuma ƙirar na iya samun sauƙi a makale a ƙaramin ƙaramin gida wanda bai dace da abubuwa masu ma'ana ko madaidaicin 3D ba.
Don haka, ƙungiyar ta binciki wata hanya ta dabam wacce ke da nufin haɗa ƙarfi na hanyoyin biyun da ke sama, ta yin amfani da samfurin watsa rubutu-zuwa-hoto da aka horar akan manyan nau'ikan nau'ikan hoto na rubutu (ba shi damar sarrafa sigina iri-iri da hadaddun) da kuma samfurin watsa hoto na 3D wanda aka horar akan ƙaramin saitin nau'i-nau'i na hoton rubutu.image-3D biyu dataset.Samfurin rubutu-zuwa-hoto na farko ya fara samar da hoton shigarwa don ƙirƙirar wakilcin roba guda ɗaya, kuma samfurin-zuwa-3D yana haifar da girgije mai ma'ana na 3D dangane da hoton da aka zaɓa.
Tarin tarin umarnin ya dogara ne akan tsarin ƙirƙira kwanan nan don samar da hotuna daga rubutu (Sohl-Dickstein et al., 2015; Song & Ermon, 2020b; Ho et al., 2020).Suna amfani da samfurin GLIDE tare da sigogin GLIDE biliyan 3 (Nichol et al., 2021), daidaitacce akan ƙirar 3D da aka yi, azaman ƙirar su ta rubutu-zuwa-hoto, da saitin samfuran watsawa waɗanda ke haifar da gajimare na RGB azaman su. samfurin canji.hotuna zuwa hoto.3D model.
Yayin da aikin da ya gabata ya yi amfani da gine-ginen 3D don aiwatar da girgije mai ma'ana, masu bincike sun yi amfani da samfurin mai sauƙi mai sauƙi (Vaswani et al., 2017) don inganta ingantaccen aiki.A cikin ƙirar ƙirar su na yaɗawa, hotunan gajimare ana fara ciyar da su cikin ƙirar ViT-L/14 CLIP da aka riga aka horar sannan ana ciyar da raƙuman fitarwa cikin mai canzawa azaman alamomi.
A cikin ƙwararrun binciken su, ƙungiyar ta kwatanta hanyar Point·E da aka tsara tare da wasu ƙirar 3D masu ƙirƙira akan siginar ƙira daga gano abubuwan COCO, rarrabuwa, da bayanan sa hannu.Sakamakon ya tabbatar da cewa Point · E yana iya samar da nau'i-nau'i daban-daban da kuma hadaddun 3D daga siginar rubutu masu rikitarwa da kuma hanzarta lokacin ƙaddamar da umarni ɗaya zuwa biyu na girma.Ƙungiyoyin suna fatan aikin su zai ƙarfafa ƙarin bincike a cikin haɗin rubutun 3D.
Ana samun samfurin yaɗa girgije da aka riga aka horar da shi akan GitHub na aikin.Document Point-E: Tsarin ƙirƙirar gajimare mai maki 3D daga hadaddun alamu yana kan arXiv.
Mun san cewa ba kwa son rasa wani labari ko binciken kimiyya.Biyan kuɗi zuwa sanannen wasiƙar mako-mako ta Synced Global AI don karɓar sabuntawar AI na mako-mako.
Lokacin aikawa: Dec-28-2022