教員やテストの採点者など、評価を下す者にとっては“名前の順”という管理方法はシンプルで便利なものです。
しかし、この名前の順による評価は、常に最初に評価される者、常に後半に評価される者など“評価の順番”という点においては固定化されがちになります。
評価者が人である以上、後半の名前の人を評価する際には疲れやミスが現れます。
ということは、そのチェックが適切でない可能性も考えられるのでは……。
今回はそんな固定化された順番によるバイアスについての研究です。
どうやら名前の順番が遅い人ほど、(1)成績が低く、(2)否定的で投げやりなコメントを受けやすいなど採点の質が低い傾向があるようです。
以下にまとめていきます。
参考記事）
・Your Initials Could Seriously Impact The Grade You Receive For an Assignment（2024/04/22）
参考研究）
・30 Million Canvas Grading Records Reveal Widespread Sequential Bias and System-Induced Surname Initial Disparity（2023/10/17）
名前の順で成績をつけると後半の人は評価が低い傾向にある
ミシガン大学のチームによる3000万件以上の学生記録の分析から、アルファベットが早い人の評価は高く、遅い人の評価が低い傾向にあるという研究結果が報告されました。
研究では、Canvasと呼ばれる学習管理システム(LMS)によって記録された3000万件以上の学生データが分析されました。
その結果、姓のイニシャルがA、B、C、D（またはE）で始まる学生は、採点順がランダム化されたときに受け取ったものよりも0.3ポイント高い成績（100ポイントのうち）と評価されました。
逆に、姓のイニシャルがUからZで始まる学生は、採点順がランダム化されたときよりも0.3ポイント低い成績と評価されました。
評価する順番を逆アルファベット順（Z-A）にした場合は、やはりイニシャルがUからZで始まる学生の評価が高く、AからEで始まる学生の成績は悪い評価を受ける傾向にありました。
また採点の傾向として、最初の10人の課題の採点は、50番目から60番目に採点された課題よりも100ポイントあたり約3.5ポイント多く与えらることも分かりました。
研究者は、これらすべての重要な要素は評価者の疲労によるものであると指摘しています。
採点が後半になるに連れて疲れ果て、次第に機嫌も損なうというのは驚くべきことではありません。
ミシガン大学の社会科学者Jiaxin Pei氏は、「長い時間何かに取り組んでいると、疲れから注意力を失い始め、認知能力も低下する。“疲労”がこういったバイアスを引き起こす要因の一つであると考えている」と述べています。
研究者らは、こう言った不平等なバイアスを生まず、教育機関が公平な評価を下す能力を保持するために、評価を担当する者を増やしたりするなど、作業者の負担を減らす必要があること示唆しています。
また彼らは、後半に課題を採点される者ほど、評価のコメントはより否定的で丁寧でない傾向があり、課題の結果についていざこざが起こる可能性が高いことも発見しました。
これも、後半に採点された課題の採点品質が低いことを直接示しています。
研究者らは、採点の順番による評価の傾向（シーケンシャルバイアス）に対処するための解決策として、基本的にはランダムな順序による採点を行うべきだとしています。
この研究は現在レビュー中ではありますが、マネジメントサイエンスにて詳細を書く人することができます。
コメント