游客发表
8月7日,元象元象XVERSE公司宣告开源其百亿参数的开源高功能通用大模子XVERSE-13B 。
XVERSE-13基于尺度Transformer妄想,百亿在1.4万亿高品质 、参数多样化tokens的通用磨炼数据上,从零磨炼(train from scatch)了130亿参数大模子,大模反对于40多种语言 ,元象高下文窗口巨细为8192。开源具备文本天生 、百亿自动化写作 、参数数据合成 、通用知识问答 、大模多语言翻译、元象特色化交互 、开源人物脚色饰演、百亿业余小助手等多方面能耐 。
睁开来说 ,XVERSE-13B在磨炼预料方面构建了一个高达1.4万亿高品质、多样化tokens的磨炼数据集 ,同时优化采样策略以及数据机关方式,让模子反对于中 、英 、俄 、西等40多种语言,而且多语言使命处置的功能与下场俱佳 。
XVERSE-13B反对于8192的高下文窗口,是同尺寸模子中最长的,从而能卓越应答重大场景,好比更长的多轮对于话、知识问答与摘要等,运用规模更普遍 。
模子运用尺度Transforme收集妄想,从零开始磨炼