华泰证券：从BloombergGPT看金融GPT时机

2023年3月30日，金融信息提供商彭博社发布了专为金融范畴打造的大语言模子（Large Language Model，LLM）Bloomberg GPT。该模子依托彭博社的大量金融数据源，构建了一个3630亿个标签的数据集，支持金融行业内的各类使命，在实行金融使命上的表现远凌驾现有模子，在通用场景上的表现与现有模子也能一较高下。

华泰证券分析师谢春生（执业：S0570519080006）以为，把握金融数据的国内厂商也有望复制Bloomberg GPT的路径，实现大语言模子在金融场景的有用赋能。

核心突破在于金融语料

只管Bloomberg GPT的模子参数介于GPT-2与GPT-3之间。但BloombergGPT的金融垂直本事远超GPT系列。

分析师指出：

根据论文《Bloomberg GPT: A Large Language Model for Finance》的模子先容表现，Bloomberg GPT同样基于范例的Transformer架构，Bloomberg GPT的模子参数介于GPT-2与GPT-3之间，GPT-2模子参数为1.5亿，GPT-3模子参数为1,750亿，Bloomberg GPT的模子参数为500亿。

官方论文《Bloomberg GPT: A Large Language Model for Finance》中的测试结果表现，Bloomberg GPT在实行金融使命上的表现凌驾现有的通用LLM模子，在通用场景上的表现与现有通用LLM模子本事根本持平。

只管Bloomberg GPT的模子参数相较于GPT-3较小，但分析师表现，依托彭博社的大量金融数据源，Bloomberg GPT在预训练中得到了大量高质量金融数据，并对预训练数据举行了一系列的洗濯、标注，Bloomberg GPT在通用本事与GPT-3根本持平的情况下，实现了金融垂直本事的大幅加强。

开发开源模子+垂直数据的LLM新思绪

Bloomberg GPT在开发方式上有何独特之处？分析师以为，在模子构建上，Bloomberg GPT表现出了良好的创新，为国内金融数据公司开发大模子提供了故意义的路径参考。

具体而言，重要表现在五个方面：

1）垂直范畴语言模子：已往的大语言模子多为基于通用文本训练的通用模子，垂直范畴模子多为仅基于垂直范畴数据训练垂直模子，Bloomberg GPT开创了通用+垂直的混淆训练方法，让模子兼具通用性与专业性；

2）训练数据：已往的大语言模子的预训练数据很大水平上依赖于网页抓取数据，如C4、ThePile、Wikipedia等，Bloomberg自建了高质量的大规模金融数据集；

3）模子评估：Bloomberg在对模子举行了公共、金融NLP基准测试之外，还对模子举行了一系列基于Bloomberg内部使命的性能测试；

4）Token化（Tokenizer）：将训练文本Token化是模子训练的关键步调，Bloomberg利用Unigram模子代替greedymerge-basedsub-word模子，实现更智能的token化转换；

5）模子构建方法：以GPT-3、GPT-4为代表的大语言模子均由大型的专业人工智能团队开发，而且模子训练必要大量算力；受益于开源模子BLOOM的项目实践与Bloomberg在垂直范畴高质量数据的深厚积累，Bloomberg GPT乐成证实了一个中等规模的团队可以在垂直范畴的特定命据上生产同样具有竞争力的大语言模子。

金融GPT未来可期

分析师以为，Bloomberg GPT未来有望应用于以下三大场景：

1）Bloomberg查询语言的天生：Bloomberg GPT可以将用户天然语言查询转换为有用的Bloomberg查询语言，使与金融数据的交互更加天然；

2）消息标题的发起：Bloomberg GPT可以为Bloomberg的消息应用步调提供支持，资助消息工作者完成消息短标题的撰写；

3）金融问答：得益于金融垂直范畴知识的输入，Bloomberg GPT可以更加精确地答复金融干系的标题，比方在辨认公司CEO的问答上，Bloomberg GPT的答复相较通用模子更为精确。

分析师指出，作为并非聚焦人工智金融垂直范畴厂商，Bloomberg为金融GPT发展提供了具有参考代价的有益树模。

把握丰富的金融垂直知识与现有AI产物布局，基于高质量的金融数据与开源的大语言模子，同样有时机打造专属金融场景的大语言模子，实现大语言模子在金融场景的有用落地，让大语言模子成为底层的AI利用体系。

本文重要观点来自华泰证券分析师谢春生（执业：S0570519080006）撰写的陈诉《从BloombergGPT看金融GPT时机》，有删节