游客發(fā)表
發(fā)帖時間:2025-09-23 18:46:14
專題:2025 INCLUSION·外灘大會:重塑創(chuàng)新增長
炒股就看金麒麟分析師研報,海天權(quán)威,瑞聲專業(yè),科數(shù)及時,據(jù)產(chǎn)集型全面,業(yè)正助您挖掘潛力主題機(jī)會!從勞
新浪科技訊 9月13日下午消息,動密在2025 Inclusion·外灘大會“Data meets AI:智能時代的向技型轉(zhuǎn)雙引擎”見解論壇上,產(chǎn)學(xué)界的術(shù)和多位權(quán)威專家給出了新解法:數(shù)據(jù)驅(qū)動了AI發(fā)展,AI也讓數(shù)據(jù)迎來了新一輪的知識進(jìn)化,雙引擎融合驅(qū)動才是密集演進(jìn)方向。
復(fù)旦大學(xué)教授肖仰華指出,海天當(dāng)前大模型發(fā)展正面臨嚴(yán)峻的瑞聲“數(shù)據(jù)墻”困境,無標(biāo)簽語料對模型性能提升的科數(shù)貢獻(xiàn)日益減弱,更大規(guī)模數(shù)據(jù)帶來的據(jù)產(chǎn)集型性能提升與所需的訓(xùn)練開銷相比性價比顯著降低。他認(rèn)為,大模型數(shù)據(jù)科學(xué)需要從專家經(jīng)驗(yàn)階段發(fā)展到量化科學(xué)、直至自進(jìn)化階段。“大模型的數(shù)據(jù)實(shí)踐需要屠呦呦式的研究,從海量雜亂的數(shù)據(jù)中提取出決定模型能力的關(guān)鍵成分”。
肖仰華分享了通過語法復(fù)雜度指標(biāo)和累積分布采樣方法篩選高質(zhì)量語料的實(shí)踐,實(shí)驗(yàn)表明,從100億個token的財(cái)經(jīng)語料中僅篩選20%的高質(zhì)量數(shù)據(jù)進(jìn)行訓(xùn)練,對模型進(jìn)行持續(xù)預(yù)訓(xùn)練,相比于全量數(shù)據(jù)持續(xù)預(yù)訓(xùn)練,在領(lǐng)域問答任務(wù)上的準(zhǔn)確率提升1.7%。
上海交通大學(xué)特聘教授翟廣濤強(qiáng)調(diào)無論是精煉數(shù)據(jù)還是合成數(shù)據(jù),都需要質(zhì)量優(yōu)先,而數(shù)據(jù)質(zhì)量分析要從“體驗(yàn)質(zhì)量”入手,考慮人的體驗(yàn),也考慮機(jī)器的體驗(yàn),進(jìn)而在數(shù)據(jù)為中心的范式下進(jìn)一步提升大模型性能。
海天瑞聲CEO李科從產(chǎn)業(yè)實(shí)踐角度分享了全球AI數(shù)據(jù)行業(yè)的發(fā)展趨勢。他認(rèn)為,數(shù)據(jù)產(chǎn)業(yè)正在經(jīng)歷從勞動密集型向技術(shù)密集型和知識密集型的重大轉(zhuǎn)型。通過動捕數(shù)據(jù)、自動駕駛標(biāo)注、思維鏈數(shù)據(jù)集等多個實(shí)際案例,李科展示了高質(zhì)量數(shù)據(jù)如何服務(wù)千行百業(yè)。
上海庫帕思科技有限公司董事長山棟明說,模型之變引領(lǐng)“數(shù)據(jù)質(zhì)變”,他表示高質(zhì)量數(shù)據(jù)集應(yīng)滿足VALID2(鮮活度、真實(shí)性、大樣本、完整性、多樣性、高知識密度)要求,并詳細(xì)介紹了語料數(shù)據(jù)在方法論、基礎(chǔ)設(shè)施和行業(yè)生態(tài)三個方面的體系化重構(gòu)探索。(羅寧)
責(zé)任編輯:常福強(qiáng)
相關(guān)內(nèi)容
隨機(jī)閱讀
熱門排行
友情鏈接