自ChatGPT上线以来，大语言模型在教育、金融、医疗等行业受到越来越多人们的关注，正在引领多个行业的数字化变革。

近日，我校统计与数据科学系陈冠华助理教授团队设计训练了金融行业大模型FinGLM。该模型基于智谱AI公司开源的ChatGLM2-6B模型，在团队收集及过滤得到的高质量金融领域和通用领域数据进行指令微调，提升了其在金融领域任务的性能。与通用大模型不同，FinGLM模型主要关注金融领域的自然语言处理任务，通用模型更多在于非专业问题的解答。陈冠华团队正在通过训练将南科大及金融领域独有数据融入到模型中，以此生成为南科大师生及金融领域人士服务的ChatGPT，可以准确回答南科大校内的科研、行政问题及金融领域专业问题，提高学校人员工作效率，为专业人士答疑解惑。

陈冠华老师

积极探索人工智能领域，细化南科大版语言模型

ChatGPT的训练过程包含三个主要阶段：基础大模型预训练、指令微调和价值观对齐。即通过海量数据的预训练，使大模型学习到世界知识，获得自然语言和代码的理解及生成能力；通过指令微调，让大模型准确遵循人类指令；经过价值观对齐后，大模型最终可以输出有用、真实、无害的回复。

团队基于ChatGLM2-6B模型进行长达数个月的训练，计划将南科大及金融领域相关数据逐渐融入到模型中，致力于生成便于解答专业领域问题的ChatGPT。“现今市面上的大模型只能回答一些通用问题，专业性不是很强。我们现在训练的ChatGPT，目标在于解答领域内的问题，减少出错率，同时，也为南科大师生快速解答一些校内的问题。”陈冠华介绍，南科大内部的课程、师生及政策数据输入到模型中后，对团队科研、师生考评等会有帮助，希望能成为校内办公上学的常用工具。至于对ChatGPT的训练目标，是让它成功预测下一个词，通过语言建模任务学习到语法知识、世界知识和一定的推理能力等。指令微调的关键是指令数据的质量和多样性，如何用有限的成本获得理想的指令数据仍有很多问题需要去探索，这是他们近来研究的问题之一。

谈及定制大模型可能造成的影响，陈冠华说道，“定制大模型可以辅助解决很多细分领域的问题，可为学校师生节省大量重复劳动的时间，提高工作、学习效率。”此外，金融大模型可以针对金融场景的特定需求辅助金融专业人士，提升其信息获取、文本创作的效率。同样，模型也可能造成不利影响，如被诈骗团伙利用等，因此，陈冠华认为进行大模型的价值观对齐，引导模型去分辨好恶，让它“理解”生成怎样的答案是合适的这点非常重要。

在困难中汲取动力，师生协作不断前进

“研究过程中我们时常遇到问题，如果想不到解决办法，可能就得换方向。”陈冠华回想起研究路途上品尝到的酸甜苦辣，不禁感慨万千，“换方向意味着之前的研究和尝试都要全部推翻，这是科研工作者的常态了，项目组的老师、同学常常为此加班加点，连饭也来不及吃。”

陈冠华与团队学生在一起

科研之路道阻且长，大模型定制的过程十分繁琐辛苦，有时候为了让模型能“记住”不同的分类，甚至要人工为成千上万条信息做标记，但陈冠华团队依然义无反顾，他说：“除了辛苦，我们还是很有成就感的，每看到一个问题得到解决，心中就多了一份快乐，能够不断生成继续研究的动力。”

在平时的研究中，陈冠华经常与团队学生交流，一起讨论在学术文献中得到的启示，想办法解决出现的问题，在这样的反复切磋中，在大模型研究之路上终于顺利地前行下去，“我喜欢这个研究方向，所以很有探索的欲望，也会带着学生去挖掘研究之中的趣味，激发他们的兴趣，他们也时常给我提供一些灵感。逐渐这条路越走越顺，那一路辛苦也都是值得的。”

聚焦金融行业，助力大模型技术落地发展

谈及对人工智能领域研究的目标，陈冠华说道：“我们追求的是把领域性能往上提升，不断推动领域发展，将理论应用到实际中去。南科大对青年教师的支持力度非常大、学术氛围也很好，为我们提供了科研创新的沃土，这也是在这一领域能坚持下去的理由之一。”

FinGLM项目目前仍处于内部开发和测试阶段，在接下来的研究中，陈冠华团队将设计并构建更加全面的金融领域测评数据集，并致力于进一步提升训练数据的规模、质量和多样性，“接下来我们会聚焦金融行业，从数据收集、评测集标注、模型训练、工具使用等方面着手，把工作做的更细致，推进大模型技术在实际业务中的落地。前面的路还长，我们会全力以赴。”陈冠华说道，目前团队重点关注金融领域的常识和知识问答的问题，未来将聚焦该模型关于金融知识问答、文本摘要、信息抽取、文本创作的应用，普及到相关领域的专业人士中去，促进创新金融服务发展，助力地方经济高质量发展。

据悉，南方科技大学大数据创新中心（以下简称“中心”）依托于学校统计与数据科学系建立，目标建设符合国家经济发展需求和深圳市学科布局一流的大数据科学研究基地及数据产业孵化基地。中心研发重点包括：机器学习与人工智能、大数据分析、网络科学、金融大数据、生物医疗大数据、统计方法等。FinGLM项目目前为中心重点关注的项目之一。

采写：曾昱雯

主图：丘妍