文章摘要:
1. Tech Mahindra 推出 Project Indus,这是印度语言的开源语言模型。 这可能是该公司迄今为止最重要的项目。
2.模型初期将支持40种印地语方言,参数规模预计将达到70亿。 该模式预计将为25%的印度人口提供服务。
3.收集不同语言和方言的数据仍然是最大的挑战。 Tech Mahindra 正在通过语言捐赠渠道收集数据集,并与各个利益相关者合作。
中新网9月5日消息:近日,印度IT公司Tech Mahindra宣布推出印度语言开源基础语言模型“Project Indus”。 该项目可能成为该公司迄今为止最重要的项目。 目前,像 OpenAI 的 GPT 模型这样的大型语言模型,尽管具有多语言功能,但在理解和生成印度语言内容方面受到英语数据集的限制。
图片来源注:图片由AI生成,图片由服务商Midjourney授权
Tech Mahindra 首席执行官古尔纳尼 (Gurnani) 表示,该模型将是印度语言中最大的模型,可能为全球 25% 的人口提供服务。 Tech Mahindra 尚未透露该项目的成本或预计发布日期,但目标是首先构建一个 70 亿参数的语言模型。
该模型最初将支持 40 种不同的印地语方言,并将逐步添加更多语言和方言。 他们表示,虽然 Bhashini 和 AI4Bharat 等一些印度语言模型已经存在,但仍需要开发一个基本模型。 他们的界面可能具有语音和短信功能,但尚未考虑类似 ChatGPT 的聊天界面。
Tech Mahindra 的总体目标是首先创建用于文本延续的语言模型,然后提供对话功能。 一旦模型的性能和方言生成效果已知,它们将以开源方式发布。
印地语语言模型可以优先考虑文化敏感性,确保生成的内容尊重当地习俗和规范。 它还可以使人工智能民主化,为该国更广泛的非英语国家提供服务。
然而,捕获不同语言和方言的数据仍然是 Tech Mahindra 面临的最大挑战。 为此,该公司正在寻求不同方言使用者的贡献,以帮助构建数据集。 他们开设了一个门户网站,供印度人捐赠语言。