人工智能反馈:部署与披露对员工绩效的影响(图文)

时间: 2022-05-17 19:20:00   阅读:


  2022年4月30日上午九点,中国营销工程与创新研究中心(以下简称“MEI”)2021-2022年第二学期第12次研讨会(以下简称“Seminar”)在MEI如期举行,参与本次研讨会的有黄敏学老师、朱华伟老师及MEI各位成员。

  本次Seminar由吕林祥研读文章《The Janus face of artificial intelligence feedback: Deployment versus disclosure effects on employee performance》。

1.png

  一、研究导入

  人工智能(AI)在企业管理中扮演着越来越重要的角色,其应用的一个新兴领域是进行工作评估,并向员工提供绩效反馈。利用大数据分析和自我学习能力,人工智能应用程序可以跟踪员工在工作中的活动,评估工作表现,并为能够提高员工生产力的变化提出建议。

  现在,公司越来越多地使用人工智能(AI)来向员工提供绩效反馈,通过跟踪员工在工作中的行为,自动化绩效评估,并提出工作改进建议。然而,人工智能的这种应用却引发了很多争论。一方面,强大的人工智能数据分析提高了反馈的质量,这可能会提高员工的生产力(部署效应,deployment effect)。另一方面,一旦人工智能反馈被披露,员工可能会对其产生负面看法,从而损害他们的生产力(披露效应,disclosure effect)。

  为更好地了解(1)人工智能反馈是否以及为什么会改善或损害员工绩效?(2)公司如何减少向员工披露人工智能使用情况的潜在负面影响,本研究利用现场实验的数据证明这两种效应同时存在且员工在公司的任期可以减轻对信息披露的不利影响。这些发现对管理理论、实践和公共政策有重要意义。

  二、理论框架

  1、员工绩效评估及反馈

  员工的绩效评估和反馈,包括收集关于他们在工作中的行为的信息,评估他们的工作绩效,并向员工提供需要改变什么以提高他们的绩效的反馈(Latham & Kinne, 1974; Oldham & Cummings, 1996),是公司管理的重要组成部分。在数据分析中,人工智能技术被用于做出准确和全面的预测( Agrawal, Gans, & Goldfarb,  2016; Huang & Rust, 2018),这表明人工智能有执行这些信息功能的潜力。事实上,企业不断地采用技术来实现劳动密集型机械工作过程的自动化。例如,亚马逊使用算法来评估其仓库员工的表现(Ip,2019年)。然而,公司使用尖端的人工智能技术来评估和向员工提供反馈也变得越来越流行。

  2、人工智能应用的提高生产力效果:

  在执行结构化和清晰的任务方面,与人类相比,人工智能技术具有优越的数据分析技能,从而使人工智能能够做出更准确的预测(Jarrahi,2018;Verma&Agrawal,2016)。这些优势已经被先前的研究证明,可以提高公司的价值。基于上述人工智能技术的优势,我们认为,人工智能(vs.人类管理者)为员工提供绩效反馈可以提高他们的绩效。其次,与人类管理者相比,人工智能可以为每个任务结构良好的员工生成更相关的建议。人工智能分析能够深入、快速地分析大量数据,使其能够大规模生成“个性化”建议,即提出准确、个性化的建议(Agrawal等人,2018;Huang & Rust,2018)。

  3、部署效应的基本机制

  人工智能反馈的质量更高,因为它的评估更准确地捕捉员工在结构良好任务的工作中的表现,其建议更符合每个员工的独特情况。所传达的反馈内容批判性地决定了接受者所接受的程度(Wisniewski, Zierer, & Hattie, 2020)。员工从人工智能产生的建议比从人工管理者产生的建议中学到的更多,因为前者的质量更高,也更相关(Latham&Kinne,1974)。这种学习就提高了绩效,因为建议更准确地捕捉了员工当前的行为和需要做才能获得更高的绩效之间的差异(Oldham & Cummings, 1996)。因此,人工智能反馈比人工反馈的质量更高,从而提高了员工的学习能力和工作绩效。

  4、破坏生产力的人工智能披露效应

  之前的研究表明,员工对人工智能管理持负面态度,因为他们认为人工智能跟踪和监视工作侵犯隐私(Raveendhran & Fast, 2019),认为使用人工智能管理缺乏程序正义(Newman et al., 2020),认为人工智能破坏他们在工作上的自主权(Möhlmann & Zalmanson, 2017)。因此,基于这一系列研究,我们认为这些负面看法可能会降低员工对已披露的人工智能反馈的信任,从而对他们从反馈中获得的学习和随后的工作表现产生不利影响。此外,存在大量关于人工智能技术取代就业风险的文献(Acemoglu & Restrepo, 2018, 2020; Agrawal et al., 2016; Webb et al., 2019)。在个人层面上,这意味着员工担心被人工智能技术取代(Felten, Raj, & Seamans, 2019; Garimella, 2018)。尽管使用人工智能生成员工绩效反馈并不能取代员工(人工智能反馈可能会取代人类管理者的反馈),但对员工工作离职效应的普遍恐惧可能会对他们如何看待人工智能反馈产生负面溢出效应(Roose,2019)。

  总的来说,与披露的人工反馈相比,员工对披露的人工智能反馈的负面看法(即对反馈质量的信任度较低,对工作替代风险的担忧较高)可能会损害他们从反馈中学习,从而降低他们的表现。因此,我们建议,在其他条件相同的情况下,向员工披露人工智能反馈(相对于人类管理者的反馈)会降低他们的表现,我们称之为负面的“披露效应”。

  5、信息披露效果的基本机制

  在推演H3时,我们假设人工智能反馈的披露通过以下两种机制降低了员工的绩效。首先,员工对公开的人工智能反馈的信任度较低,这意味着他们不太可能接受其反馈并遵循其建议,从而导致员工的学习和表现较低(Wisnievski等人,2020年)。其次,对被人工智能取代的恐惧会让员工士气低落(Ashforth, 1994),这也降低了他们从人工智能反馈中学习的动机,从而损害了他们的表现。因此,人工智能反馈的披露首先导致了对反馈质量的信任度降低,感知的工作离职风险降低,这两者反过来都降低了员工的学习能力和工作表现。

  6、员工任期减轻了负面披露的影响

  在公司工作时间较长的员工通常在公司内部拥有更强大、更广泛的网络,或关系资本(Hunt & Saul,1975;Perry & Mankin,2004)。更大的关系资本通过互惠等机制提供资源和支持,保护员工免受不利冲击(Rogan & Mors,2014)。事实上,任期较长的员工可能认为他们在公司得到了更好的“保护”(Ewert,1984;Webster, 1993),因此可能减轻他们披露人工智能反馈的不利影响。

  三、研究假设

  H1:(部署效应):对于结构良好的任务,应用人工智能而不是人工经理向员工提供绩效反馈,对员工的工作有积极的影响。

  H2:H1所捕获的人工智能反馈对员工绩效的积极部署效应是由人工智能反馈高于人类反馈介导的,这反过来导致员工从人工智能反馈的学习水平高于人类反馈。

  H3:(披露效应):对于任务结构良好的工作,向员工披露绩效反馈是由人工智能而不是人工经理提供的,会对员工的工作绩效产生负面影响。

  H4:人工智能反馈的负面披露影响员工绩效被H3是由员工低信任人工智能反馈的质量和更高的工作置换风险,这两个反过来导致较低水平的员工学习人工智能反馈比人类的反馈。

  H5:对于任务结构良好的工作,人工智能反馈对员工绩效的负面披露影响在在公司任职时间较长的员工中不那么明显。

  四、实验设计与数据分析

  1、实验设计与过程

  本文利用了一家大型金融服务公司进行的田野实验的数据,在该实验中,265名员工被随机分配接受人工智能 vs. 人力资源经理生成的绩效反馈。

  现场实验遵循了2乘2的全因子设计,其中两个维度是人工智能或人工反馈的部署和人工智能或人工反馈的披露。该实验设计的一个新特点是,人工智能反馈披露的随机化独立于人工智能反馈部署的随机化。具体来说,公司随机抽取265名全职员工,最近加入公司,仍在试用期(减少不同工作经验造成的组内绩效差异)到四个实验组,如图1所示,接收人工智能系统或人工经理的绩效反馈,并被告知他们收到人工智能或人工反馈。

  在以人工智能部署的传统随机对照试验中,员工可能也会知道这种实验的状态,这导致披露效应混淆了部署效应。为了准确地测量人工智能反馈的真实价值,理解这两种效应是至关重要的。公司可以使用这种实验方法来衡量部署和披露人工智能反馈的真实效果,以便为人工智能投资提供适当的预算。

  在长达一个月的实验中,每个员工都被要求相同的工作量(每天完成100个收集电话),以排除对不同工作负载的替代解释。所有员工每天从呼叫中心系统收到一个随机分配的拖欠客户,他们需要按照列表中指定的顺序调用列表中的每个客户,这有助于排除替代解释客户异质性。

  从质量控制部门随机抽取6名经验丰富的管理人员作为人工反馈提供者。平均而言,每个经理在实验期间监控了22名员工,并每天为每个员工随机抽取5个电话来进行评估和提供建议。因此,每个经理每天监控大约110个随机电话,这相当于他们在公司的正常工作量。在实验过程中,没有参与实验的员工或人类经理离开公司;因此,在我们的数据中不存在生存偏差。

2.png

  2、数据和随机检查

  如表1的面板A所示,我们实验中的全职员工平均为20岁,42%受过高中毕业后的教育,7.5%在加入欧米茄公司之前曾在呼叫中心工作过。他们在公司的平均任期为3个月,这与这些公司最近雇佣的员工仍在试用期,因此需要大量的培训反馈来提高他们的工作表现相一致。在实验前一个月,他们的平均收集金额为9540元(1360美元)。我们对这些变量进行了随机化检查,并将结果在表2的面板B中报告结果。单因素方差分析(anova)和卡方检验不能拒绝这些变量的平均值在四个实验条件之间没有差异的零假设。因此,数据通过了随机化检查。面板C报告了员工的工作绩效和其他关键变量的汇总统计数据。

4.2.png

4.2.2.png

4.2.3.png

  3、无模型证据

  首先,我们研究了人工智能反馈的部署效果。具体来说,我们比较了第1组和第3组的员工的表现,他们都被告知,人工智能系统会评估他们的工作表现,并向他们提供反馈。然而,虽然第一组确实接收了由人工智能生成的反馈,但第三组实际上接收了由人类管理者生成的反馈。因此,两组之间的性能差异捕获了人工智能部署效果,保持反馈提供者的公开身份不变。第1组员工的平均工作表现(即日收金额11211.891)比第3组员工(即日收金额9994.130)高出12.2%

 

  同样,我们比较了2组和4组员工的表现,他们都被告知人类管理者评估他们的工作表现并向他们提供反馈。然而,组2实际上接收由人工智能生成的反馈,而组4接收由人类管理者生成的反馈。因此,它们的差异捕获了人工智能部署效应,保持反馈提供者作为人类管理者的公开身份。

  2组员工的平均工作绩效(即日收金额11881.887)比4组员工(即日收金额10488.515)高出13.3%。因此,无论披露的反馈身份如何,接收实际由人工智能生成的反馈的员工总是优于接收实际由人工经理生成的反馈的员工。如支持信息附录B所示,治疗组的基于模型的回归结果和一系列控制协变量与无模型证据高度一致。这些结果为H1关于AI反馈对员工绩效的积极部署效果提供了初步证据。

  接下来,我们研究了人工智能反馈的披露效果。我们首先比较了第1组和第2组的表现,他们都收到了人工智能产生的反馈,但被告知不同:前者被告知反馈来自人工智能,而后者被告知反馈来自人类经理。因此,它们的性能差异是由人工智能披露效应造成的,即将实际的反馈提供者作为人工智能保持不变。图2显示,1组员工的平均表现(11211.891)比2组(11881.887)低5.6%。然后我们比较了3组和4组的员工,他们都收到了人力经理的反馈;3组的平均表现被告知反馈来自人工智能(9,994.130),比4组低4.7%,4组被告知反馈来自人工经理(当地货币为10,488.515)。因此,无论实际的反馈提供者是什么,那些被告知收到人工智能反馈的员工总是逊于那些被告知收到来自人工经理的反馈的员工。这些结果为H3对AI反馈对员工绩效的负面披露影响提供了初步证据(支持信息附录B显示,基于模型的回归结果与本文提出的无模型证据高度一致)

  4、人工智能反馈对员工工作绩效的部署效应

  第1组减去第3组和第2组减去第4组测量的部署效果的大小相似。因此,我们现在通过比较合并的组1和2(反馈由两组的AI生成)与合并的组3和4(反馈由两组的人工管理员生成)来检验平均部署效果。模型具体见式(1)

4.4.png

  其中,员工绩效是每个员工在实验月内收取的平均报酬。关键自变量是AIi生成的反馈的虚拟变量,如果员工收到AI系统生成的反馈(即聚合第1组和第2组的员工)则记为1,如果员工收到人类经理生成的反馈(即聚合第3组和第4组的员工),则为0。此外,控制系统是员工i特征的载体,包括以前的工作表现、年龄、教育水平、以前的工作、在公司的任期,以及在实验前向他们提供反馈的经理的指标。最后,εi是异方差—稳健标准误。

  表2为计算结果。由人工智能产生的反馈系数是正的。=1,420.120;SE=38.837)在(1)列,表明从人工智能获得反馈的员工确实比从人力经理得到反馈的员工获得更好的工作表现。我们还使用了备选因变量,通过使用它的对数变换来减少偏度(第2列),并使用实验月与前个月的性能差作为第3列的因变量。人工智能产生的反馈的正系数在(2)和(3)列中具有鲁棒性。=0.132;SE=0.004。和系数。=1,419.979;SE=38.744)。

4.4.1.png