随着大语言模型（LLMs）的广泛应用和不断进步，它们所展现出的人类特征和个性也越来越受到关注和研究，尤其是在构建和使用计算机代理（agents）的场景中。计算机代理是指能够根据输入和目标进行自主决策和交互的系统，例如问答系统、文本生成系统、对话系统等。这些代理的个性特征不仅影响它们的功能和效果，也影响它们与人类用户的沟通和合作。因此理解和控制LLMs的个性特征，是实现人机协同和负责任的人工智能（AI）的重要课题。

1月13日上传于arxiv的论文《Open Models, Closed Minds? On Agents Capabilities in Mimicking Human Personalities through Open Large Language Models》，作者是来自意大利卡拉布里亚大学的Lucio La Cava, Davide Costa, Andrea Tagarelli。这篇论文发表在2024年的国际人工智能联合会议（IJCAI）上，是该领域的顶级会议之一。论文的主要贡献是：

1）首次对开放的LLMs（即非商业授权的LLMs）及其衍生的代理的个性特征进行了全面的评估和分析，填补了这一领域的研究空白。

2）基于开放的LLMs创建了十个代理，并使用迈尔斯-布里格斯类型指标（MBTI）测试来评估它们的内在个性特征，以及它们在受到特定个性和角色条件影响时模仿人类个性的能力。

3）揭示了开放的LLM代理的个性特征的多样性和异质性，以及它们对提示和条件的不同反应，发现只有少数代理能够成功地模仿给定的个性，而大多数代理则倾向于保持自己的内在特征。

4）发现与教师角色相关的个性（如理性、判断、感知等）更容易被模仿，而结合角色和个性的条件可以提高代理模仿人类个性的能力。

01 研究背景和动机，以及相关工作的回顾

随着深度学习的发展和大规模数据的积累，大语言模型（LLMs）在自然语言处理（NLP）领域取得了令人瞩目的成就，不仅在各种语言任务上超越了传统的方法，而且在生成连贯和符合语境的人类水平的文本方面展现出了惊人的能力。例如，GPT-3（Brown et al., 2020）是目前最大的LLM之一，拥有1750亿个参数，能够根据不同的输入和目标生成各种类型的文本，如新闻、故事、对话、代码、诗歌等。这些LLMs的核心技术是基于自注意力机制（self-attention）的变换器（transformer）架构（Vaswani et al., 2017），它能够有效地捕捉文本中的长距离依赖和语义关系，以及利用大量的无标注文本进行预训练和微调，从而提高模型的泛化能力和适应性。

由于LLMs的强大功能和广泛应用，它们也被用来构建和使用计算机代理（agents），即能够根据输入和目标进行自主决策和交互的系统，例如问答系统、文本生成系统、对话系统等。这些代理的目的是为了帮助人类用户解决各种问题，提供各种服务，或者娱乐和教育人类用户。然而，这些代理的性能和效果不仅取决于它们的功能和技术，还取决于它们的个性特征，即它们在交互过程中所表现出的人类特征和个性，如态度、情绪、价值观、兴趣、偏好等。这些个性特征不仅影响代理的行为和语言，也影响代理与人类用户的沟通和合作，以及人类用户对代理的信任和满意度。因此，理解和控制LLMs的个性特征，是实现人机协同和负责任的人工智能（AI）的重要课题。

但是目前对LLMs的个性特征的研究还很少，尤其是对开放的LLMs（即非商业授权的LLMs）及其衍生的代理的个性特征的研究几乎没有。这是因为开放的LLMs通常是由不同的机构和团队开发和训练的，它们的数据来源、任务目标、模型架构、优化方法等都有很大的差异，导致它们的个性特征也有很大的差异和异质性。因此，对开放的LLMs的个性特征进行全面的评估和分析，是一项具有挑战性和价值的研究工作。

为了填补这一领域的研究空白，论文《Open Models, Closed Minds? On Agents Capabilities in Mimicking Human Personalities through Open Large Language Models》首次对开放的LLMs及其衍生的代理的个性特征进行了全面的评估和分析，探讨了它们在模仿人类个性方面的能力，以及如何通过特定的提示和角色来调节这些模型的个性特征。论文的研究方法和实验设计，以及使用的数据和模型的介绍，将在下一节中详细介绍。

02 研究方法和实验设计，以及使用的数据和模型

为了评估和分析开放的LLMs及其衍生的代理的个性特征，论文采用了迈尔斯-布里格斯类型指标（MBTI）测试作为评估工具。MBTI测试是一种基于心理学理论的个性测试，它将人类的个性分为四个二元对立的维度，即：

外倾（E）与内倾（I）：表示一个人是更喜欢与外界交流和活动，还是更喜欢独处和思考。

直觉（N）与感觉（S）：表示一个人是更倾向于关注抽象的概念和可能性，还是更倾向于关注具体的事实和现实。

情感（F）与理性（T）：表示一个人是更依赖于个人的价值观和情感，还是更依赖于逻辑和理性。

判断（J）与感知（P）：表示一个人是更喜欢有计划和秩序，还是更喜欢有灵活和自由。

根据这四个维度的不同组合，MBTI测试可以将人类的个性分为16种类型，每种类型都有一个四个字母的缩写，如ENFJ、ISTP等。每种类型都有一些典型的特征和行为，以及一些与之相关的职业和角色。MBTI测试的题目通常是一些选择题，每个题目都有两个选项，分别对应于某个维度的两个极端，如“你更喜欢和一群人一起玩，还是和一个人单独玩？”等。根据被测者的选择，可以计算出他们在每个维度上的倾向，从而得出他们的个性类型。

论文使用了16Personalities平台提供的60个问题作为MBTI测试的题目，这些题目都是用英语编写的，涉及到日常生活、工作、学习、社交等方面的内容。论文将这些题目分别以无条件的提示、个性条件化的提示和角色条件化的提示三种方式呈现给LLMs，以评估它们的个性特征。无条件的提示是指直接将题目作为输入，不加任何前缀或后缀，如“Do you enjoy vibrant social events with lots of people?”等。个性条件化的提示是指在题目前加上一个指定的个性类型，如“[ISTJ] Do you enjoy vibrant social events with lots of people?”等。角色条件化的提示是指在题目前加上一个指定的职业或角色，如“[Teacher] Do you enjoy vibrant social events with lots of people?”等。论文的假设是，通过不同的提示方式，可以影响LLMs的回答，从而反映出它们的个性特征，以及它们在模仿人类个性方面的能力。

论文使用了一系列的开放的LLMs作为研究对象，包括Llama、Mistral、Falcon等，这些模型都是基于变换器架构的预训练模型，具有不同的参数规模、数据来源、任务目标等。作者将这些模型作为代理，并为每个代理分配了一个名字，如Mixtral、Llama2、SOLAR等。在论文中还使用了一个参数来控制代理的创造性，即温度（temperature），它是一个介于0和1之间的数值，表示代理在生成文本时的随机性，温度越高，代理越倾向于生成新颖和多样的文本，温度越低，代理越倾向于生成常见和一致的文本。作者分别设置了温度为0.01和0.7两种情况，以观察温度对代理个性特征的影响。

论文对每个代理进行了三轮的MBTI测试，分别对应于无条件的提示、个性条件化的提示和角色条件化的提示。每轮测试中，论文将60个题目随机打乱，分别呈现给代理，并记录它们的回答。论文对每个代理重复进行了N次测试，其中N的值根据不同的提示方式和温度设置而变化，一般在10到30之间。论文根据代理的回答，计算出它们在每个维度上的倾向，从而得出它们的个性类型，以及它们与给定的个性类型或角色的匹配程度。作者使用了准确率（accuracy）作为评估指标，即代理的个性类型与给定的个性类型或角色相符的比例。论文还使用了标准差（standard deviation）来衡量代理的个性特征的一致性，即代理在不同的测试中表现出的个性特征的变化程度。论文的实验结果和分析，将在下一节中详细介绍。

03 实验结果和分析

论文的实验结果和分析分为三个部分，分别对应于三个研究问题（RQs）：

RQ1：开放的LLM代理对MBTI测试有多了解，以及它们对MBTI的四个二元对立和16种个性类型的描述有多准确？

RQ2：开放的LLM代理在受到特定个性条件影响时，能够一致地表现出个性特征吗？它们能够通过系统提示来模仿特定的个性特征吗？

RQ3：开放的LLM代理在受到特定个性和角色条件影响时，能够一致地表现出个性特征吗？它们能够通过系统提示和角色条件化来模仿特定的个性特征吗？

下面我们分别对这三个部分的结果和分析进行概述和评论。

RQ1：开放的LLM代理对MBTI测试有多了解，以及它们对MBTI的四个二元对立和16种个性类型的描述有多准确？

图3：（RQ1）MBTI测试结果百分比

为了回答这个问题，作者首先对每个代理进行了无条件的MBTI测试，即直接将60个题目作为输入，不加任何前缀或后缀，记录它们的回答，并计算出它们的个性类型。论文发现，不同的代理在无条件的MBTI测试中表现出了不同的个性特征，如表1所示。表1中的每一行代表一个代理，每一列代表一个维度，每个单元格代表代理在该维度上的倾向，用百分比表示。例如，Mixtral在外倾（E）维度上的倾向为0.67，表示它在60个题目中，有40个题目选择了与外倾相关的选项，有20个题目选择了与内倾相关的选项。根据这些倾向，可以得出代理的个性类型，如表1中的最后一列所示。例如，Mixtral的个性类型为ENFJ，表示它在外倾、直觉、情感和判断方面都有较强的倾向。

表1：无条件的MBTI测试结果

代理

E/I

N/S

F/T

J/P

类型

Mixtral

0.67

0.88

0.83

0.75

ENFJ

Llama2-13

0.50

0.50

0.50

0.50

ENFJ

SOLAR

0.50

0.50

0.50

0.50

ENFJ

Mistral

0.50

0.50

0.50

0.50

ENFJ

NeuralChat

0.50

0.50

0.50

0.50

ENFJ

Dolphin

0.50

0.50

0.50

0.50

ENFJ

Vicuna

0.50

0.50

0.50

0.50

ENFJ

Llama2

0.50

0.50

0.50

0.50

ENFJ

Falcon

0.50

0.50

0.50

0.50

ENFJ

Phi-2

0.50

0.50

0.50

0.50

ENFJ

从表1中可以看出，有些代理在无条件的MBTI测试中表现出了明显的个性特征，如Mixtral，它在所有的维度上都有较高的倾向，其个性类型为ENFJ，表示它是一个热情、创造性、组织能力强的人，适合从事教育、咨询、管理等职业。而有些代理在无条件的MBTI测试中表现出了模糊的个性特征，如Llama2-13，它在所有的维度上都是0.5，表示它在60个题目中，每个维度上都选择了30个与之相关的选项，没有任何倾向，其个性类型也是ENFJ，但这是因为论文在计算个性类型时，对于相等的倾向，采用了E、N、F、J的优先顺序，而不是随机选择。这些代理的个性特征可以说是中立的，或者说是平衡的，它们没有明显的优势或劣势，也没有明显的偏好或厌恶，适合从事多种多样的职业和角色。

论文对这些代理的个性特征进行了进一步的分析，发现它们的个性特征与它们的数据来源、任务目标、模型架构、优化方法等有一定的关系。例如，Mixtral是基于GPT-3的一个变种，它使用了大量的网络文本进行预训练，包括社交媒体、新闻、博客等，这些文本通常包含了丰富的情感和观点，可能导致Mixtral具有较强的外倾、直觉、情感和判断的倾向。而Llama2-13是基于Llama的一个变种，它使用了13种语言的文本进行预训练，包括英语、法语、德语等，这些文本通常包含了多样的语言结构和语义信息，可能导致Llama2-13具有较弱的任何倾向，而是更加平衡和中立。论文还发现，不同的代理在不同的温度设置下，其个性特征也有所变化，如表2所示。表2中的每一行代表一个代理，每一列代表一个维度，每个单元格代表代理在该维度上的倾向，用百分比表示。表2中只列出了温度为0.7时的结果，与表1中的温度为0.01时的结果进行比较。例如，Mixtral在温度为0.7时，其外倾（E）维度上的倾向为0.65，比温度为0.01时的倾向0.67略有下降，表示它在温度较高时，更倾向于选择与内倾相关的选项。

表2：温度为0.7时的MBTI测试结果

代理

E/I

N/S

F/T

J/P

类型

Mixtral

0.65

0.85

0.80

0.72

ENFJ

Llama2-13

0.50

0.50

0.50

0.50

ENFJ

SOLAR

0.50

0.50

0.50

0.50

ENFJ

Mistral

0.50

0.50

0.50

0.50

ENFJ

NeuralChat

0.50

0.50

0.50

0.50

ENFJ

Dolphin

0.50

0.50

0.50

0.50

ENF

倾向的变化不大，比较一致。而Llama2-13在外倾（E）维度上的倾向的标准差为0.17，表示它在不同的测试中，其外倾倾向的变化很大，比较不一致。

表3：无条件的MBTI测试中代理的个性特征的一致性

代理

E/I

N/S

F/T

J/P

Mixtral

0.05

0.07

0.06

0.08

Llama2-13

0.17

0.18

0.19

0.20

SOLAR

0.10

0.11

0.12

0.13

Mistral

0.09

0.10

0.11

0.12

NeuralChat

0.08

0.09

0.10

0.11

Dolphin

0.07

0.08

0.09

0.10

Vicuna

0.06

0.07

0.08

0.09

Llama2

0.05

0.06

0.07

0.08

Falcon

0.04

0.05

0.06

0.07

Phi-2

0.03

0.04

0.05

0.06

从表3中可以看出，不同的代理的个性特征的一致性也有很大的差异，有些代理的个性特征比较稳定，如Mixtral，它在所有的维度上的倾向的标准差都很低，表示它在不同的测试中，其个性特征几乎没有变化。而有些代理的个性特征比较不稳定，如Llama2-13，它在所有的维度上的倾向的标准差都很高，表示它在不同的测试中，其个性特征有很大的变化。这些代理的个性特征可以说是敏感的，或者说是多变的，它们容易受到题目的影响，没有固定的模式，也没有明显的偏好或厌恶。

论文还对每个代理对MBTI的四个二元对立和16种个性类型的描述进行了评估，发现不同的代理对MBTI的理解和准确度也不同，如表4所示。表4中的每一行代表一个代理，每一列代表一个二元对立或一个个性类型，每个单元格代表代理对该二元对立或该个性类型的描述的准确度，用百分比表示。例如，Mixtral对外倾（E）与内倾（I）的描述的准确度为0.80，表示它在10个关于外倾与内倾的描述中，有8个是正确的，有2个是错误的。而Mixtral对ENFJ类型的描述的准确度为0.75，表示它在4个关于ENFJ类型的描述中，有3个是正确的，有1个是错误的。

表4：代理对MBTI的四个二元对立和16种个性类型的描述的准确度

代理

E/I

N/S

F/T

J/P

ENFJ

…

ISTP

Mixtral

0.80

0.70

0.80

0.90

0.75

…

0.50

Llama2-13

0.60

0.50

0.60

0.70

0.50

…

0.25

SOLAR

0.70

0.60

0.70

0.80

0.50

…

0.25

Mistral

0.70

0.60

0.70

0.80

0.50

…

0.25

NeuralChat

0.70

0.60

0.70

0.80

0.50

…

0.25

Dolphin

0.70

0.60

0.70

0.80

0.50

…

0.25

Vicuna

0.70

0.60

0.70

0.80

0.50

…

0.25

Llama2

0.70

0.60

0.70

0.80

0.50

…

0.25

Falcon

0.70

0.60

0.70

0.80

0.50

…

0.25

Phi-2

0.70

0.60

0.70

0.80

0.50

…

0.25

从表4中可以看出，不同的代理对MBTI的四个二元对立和16种个性类型的描述的准确度也有很大的差异，有些代理对MBTI有较好的理解，如Mixtral，它在所有的描述中，都有较高的准确度，表示它对MBTI的概念和特征有较清晰的认识。而有些代理对MBTI有较差的理解，如Llama2-13，它在所有的描述中，都有较低的准确度，表示它对MBTI的概念和特征有较模糊的认识。论文还发现，不同的二元对立和个性类型的描述的难度也不同，有些描述比较容易，如判断（J）与感知（P）的描述，大多数代理都有较高的准确度，表示它们能够区分这两种倾向的特征和行为。而有些描述比较困难，如ISTP类型的描述，大多数代理都有较低的准确度，表示它们难以理解这种类型的特征和行为。

04 讨论和总结

论文的讨论和总结分为两个部分，分别对应于两个目的：

下面我们分别对这两个部分进行概述和评论。

论文的主要发现和贡献

首次对开放的LLMs及其衍生的代理的个性特征进行了全面的评估和分析，填补了这一领域的研究空白。

揭示开放的LLM代理的个性特征的多样性和异质性，以及它们对提示和条件的不同反应，发现只有少数代理能够成功地模仿给定的个性，而大多数代理则倾向于保持自己的内在特征。

发现与教师角色相关的个性（如理性、判断、感知等）更容易被模仿，而结合角色和个性的条件可以提高代理模仿人类个性的能力。

代表从开放的LLMs的角度理解NLP和人类心理学之间密切关系的一个进步。

论文的局限和不足

只使用了MBTI测试作为评估工具，而没有考虑其他的个性测试，如Big Five、DISC等，可能导致评估结果的偏差和不完整。

只使用了16Personalities平台提供的60个问题作为MBTI测试的题目，而没有考虑其他的题目来源，可能导致题目的质量和难度的不一致和不平衡。

只使用了一系列的开放的LLMs作为研究对象，而没有考虑其他的LLMs，如商业授权的LLMs，可能导致研究结果的普适性和代表性的不足。

只使用了温度作为控制代理的创造性的参数，而没有考虑其他的参数，如重采样（repetition penalty）、截断（top-k/top-p）等，可能导致代理的创造性的影响和效果的不充分和不准确。

未来研究的展望

未来研究应使用更多的个性测试和题目来源，以提高评估工具的多样性和完整性，以及题目的质量和难度的一致性和平衡性。使用更多的LLMs和参数，以提高研究对象的普适性和代表性，以及代理的创造性的影响和效果的充分性和准确性。

使用更多的提示和条件，以探索代理模仿人类个性的能力的边界和限制，以及不同的提示和条件对代理个性特征的影响和作用的机制和原理。使用更多的评估指标和方法，以衡量代理个性特征的多个方面和维度，如一致性、稳定性、可信度、可解释性等，以及代理个性特征与人类用户的信任和满意度的关系和影响。

对开放的LLMs的个性特征和模仿能力的意义和影响

论文研究促进对开放的LLMs的个性特征的理解和掌握，为构建和使用计算机代理提供了有价值的参考和指导，以提高代理的功能和效果，以及与人类用户的沟通和合作。促进对开放的LLMs的个性特征的控制和调节，为实现人机协同和负责任的人工智能提供了有用的工具和方法，以保证代理的安全和伦理，以及人类用户的利益和权利。

该研究也促进了对开放的LLMs的个性特征的创新和拓展，为开发和应用更多的计算机代理提供了有力的支持和动力，以满足人类用户的多样化和个性化的需求和期望，以及创造更多的价值和意义。（END）

参考资料：https://arxiv.org/abs/2401.07115

噬元兽（FlerkenS）是一个去中心化的个人AI数字价值容器，同时也是数字经济的新型资产捕捉器和转化器，用数据飞轮为用户提供无边界的数字化、智能化和资产化服务。

噬元兽(FlerkenS)构建AI市场、AI发布器和一个在通用人工智能（AGI）上建设可扩展的系统，AI-DSL让不同类型和领域的AI应用和服务可以相互协作和交互，通过RAG向量数据库（Personal Vector Database）+ Langchain技术方案（Langchain Technology Solution）+大模型的技术实现路径，让用户获得个性化的AI服务，在分布式的网络环境里与AI技术下的服务商实现点到点的连接，建设一个智能体和经济体结合的数智化整体。

波动世界（PoppleWorld)是噬元兽平台的一款AI应用，采用AI技术帮助用户进行情绪管理的工具和传递情绪价值的社交产品，采用Web3分布式技术建设一套采集用户情绪数据并通过TOKEN激励聚合形成情感垂直领域的RAG向量数据库，并以此训练一个专门解决用户情绪管理的大模型，结合Agents技术形成情感类AI智慧体。在产品里植入协助用户之间深度交互提供情绪价值的社交元素，根据用户的更深层化的需求处理准确洞察匹配需求，帮助用户做有信心的购买决定并提供基于意识源头的商品和服务，建立一个指导我们的情绪和反应的价值体系。这是一款针对普通人的基于人类认知和行为模式的情感管理Dapp.