
1.3 扩展阅读
1.3.1 大数据驱动的决策范式转变
互联网和物联网产生了大量的数据,这给传统的决策范式带来变革。在大数据时代,决策范式在信息情景、决策流程、决策主体、理念假设四个方面都发生了转变(陈国青等,2020)。
从信息情景看,决策建模所使用的信息逐渐丰富,不同领域的信息相互融合,提升了模型的准确程度(陈国青等,2020)。不同来源的数据可以互补,例如,论坛数据和搜索数据各有其独特性,能够结合起来预测汽车产品销量或者股市的波动(Geva et al.,2017)。
传统的决策流程一般是线性分阶段展开的,例如西蒙提出的“情报收集”→“设计备选方案”→“选择方案”流程(Simon,1960)。在大数据支撑下,决策的调整频次会更高。一个原因是模型的预测能力在提升,精确预测的结果会作为其他部分或决策环节的输入,从而提升整个决策系统。这个类似大脑的皮质的反馈回路,在皮质的深层学习的模型类型更加多样,而且预测性能在提升,其对世界的感知和反馈速度进一步增强。因此,大数据驱动的决策流程更加高效(霍金斯,2022)。
从决策主体看,在大数据和人工智能时代,机器模型或者机器人在决策中的影响和主导作用在进一步提升(陈国青等,2020)。因此,关于人机交互、机器行为的设计变得更加重要(Rahwan et al.,2019),我们不仅要应用机器模型挖掘数据的价值来辅助决策,同样要关注机器对社会带来的不良影响。当机器协同工作时,我们需要考虑机器价值与人类价值相符,提升人机协同的绩效(Yuan et al.,2022)。机器通过与人的互动,可以学习社会规范和人类的偏好,这样不仅能向人类学习新的概念和信息,而且能够让人类乐于与其合作提供新的数据用于训练模型(Krishna et al.,2022)。
从理念假设方面看,大数据能够进一步放宽建模的假设(陈国青等,2020)。西蒙提出人的决策是有限理性的,而且行为经济学研究也一再验证人的判断存在偏差和噪声,大数据能够帮助决策者在更细的粒度上分析用户的行为,优化营销、库存管理、产品开发方面的决策。
1.3.2 使用大语言模型做数据分析
大语言模型的典型代表是OpenAI公司的ChatGPT,这是一种基于语言模型的对话生成模型。你可以将其看作一个可以自动生成内容的聊天机器人,能够对用户提出的问题进行回答,进行自然的对话交互。这种生成对话内容的过程,可以比喻成词语接龙,也就是ChatGPT根据你的输入,来预测下一个字符的输出。这本质上是自然语言处理(natural language processing,NLP)中语言模型(language model)的应用。语言模型是一种可以预测文本序列中下一个词的概率分布的模型。要想更深入理解ChatGPT这类大语言模型(large language model,LLM),我们可以学习深度学习、语言模型、注意力机制、Transformer、GPT相关内容。
GPT模型是一个大家族,从GPT开始,改进到目前OpenAI公司最新的模型GPT-4,为了方便表示,本书将GPT-3.5以后的大语言模型都称为ChatGPT,因为这样的一类语言模型都具有对话(chat)的高水平表现了。我国的大语言模型也在不断改进,比较典型的有清华大学唐杰团队开发的ChatGLM(智谱清言,https://chatglm.cn/)。后续,我们也使用“大语言模型”或者“LLM”来指代以ChatGPT为代表的对话生成模型。
LLM的工作原理可以这么理解:
• 输入处理:LLM接受用户输入的文本,并将其转化为模型可以理解的数字表示。
• 上下文理解:LLM使用已经学习到的模型参数和上下文信息来理解输入的文本。
• 预测并生成输出文本:LLM根据上下文信息和已经学习到的知识,预测输出的文本。LLM将预测的输出信息转换为自然语言文本,并将其呈现给用户。
值得注意的是,本书中所有的AI生成模型结果,仅作为扩展阅读供读者参考,以学习如何使用GPT做数据分析。对于GPT的输出内容,我们要仔细辨别评估,因为LLM会出现胡言乱语(幻觉)。
除了直接使用ChatGPT交互学习,更常见的做法是使用大语言模型的API构建数据分析应用。例如,利用OpenAI的API,我们能够快速构建具有创新和创造价值能力的功能,这在以前是成本高昂、高度技术化或根本不可能的。这一般需要设计提示语(prompt)让语言模型产生你期望的输出,这方面的技巧我们可以在课程“ChatGPT Prompt Engineering for Developers”中学习[1]。
[1]https://www.deeplearning.ai/short-courses/chatgpt-prompt-engineering-for-developers/.