- g や d は平均の差をばらつきで表し、r は関連の強さを表す物差しです。
- Cheung ほか（2016）では、出版論文・小規模な試験・研究者が作ったテストの効果量は、それぞれの比較対象のおよそ2倍でした。
- 記号だけでなく、比べた相手、テストの作り手、対象者、評価者を確かめます。
効果量とは何か｜塾や教材を比較するときの研究の用語Q&A
三者面談の席で、手元の資料に見慣れない「効果量」という言葉と、小さな数字が並んでいます。学校の先生の話は授業の様子に移り、数字の意味は家で読み直すことになりました。ほかの教材の数字と並べてよいのかが、気になります。効果量は差や関連の大きさを表す数で、数字の大小より先に、誰と何を比べたかを確かめます。
研究の紹介では、g、d、r という記号のあとに小数が付きます。同じ「効果量」でも、記号が違えば表すものが変わり、比べた相手が違えば意味も変わります。ここでは、塾や教材の説明を読むときの問いに沿って、数字を読む順序を整理します。
要点
- g や d は平均の差をばらつきで表し、r は関連の強さを表す物差しです。
- Cheung ほか（2016）では、出版論文・小規模な試験・研究者が作ったテストの効果量は、それぞれの比較対象のおよそ2倍でした。
- 記号だけでなく、比べた相手、テストの作り手、対象者、評価者を確かめます。
効果量とは何を表す数字なのですか
テストの点差は、点の散らばり方と合わせて読む必要があります。同じ点差でも、みんなが同じくらいの点を取る集団と、点が大きく散らばる集団では、その差の位置づけが変わります。平均の差を表す効果量は、この差を散らばりの大きさで割り、単位をそろえた数字です。ただし、単位がそろうことと、研究の条件がそろうことは別です。
g と d は、平均の差を標準偏差（点の散らばりの目安）で割った数です。g は、少人数の研究で d が大きめに推定される偏りを補正した形です。r は二つの値がどれくらい一緒に動くかという関連を表すので、平均の差を測る g や d とは区別して読みます。
r の値の目安は、Funder ほか（2019）が整理しています。r = .05 は一度の出来事では小さくても、長く積み重なると意味を持ちうるとしています。r = .20 は短期の場面でも使える中くらいの大きさとされます。心理研究の文脈で r = .40 以上は、大きな標本や追試ではめったに出ない、過大な推定の可能性が高い値だと指摘しています。
g と d と r はどう違うのですか
g と d を読む際には、平均の差をどのばらつきで表し、補正した値なのかを確認します。どちらの記号でも、何と比べた差かがわからなければ数字の意味を判断できません。補正の有無だけで研究の良し悪しを決めず、元の研究が何を測ったかを読みます。
r は、平均の差ではなく、二つの値の関連の強さを表します。たとえば、勉強時間と点数が一緒に動く関係を表す場面と、別々の授業を受けた組の平均点を比べる場面では、問いが異なります。関連が示されたことだけで、片方を増やせばもう片方が増えるという原因の話にはできません。
r と d は換算して示されることもあるので、元の研究の記号を確かめます。資料の数字だけでは、元の報告の記号かどうかを判断できない場合もあります。記号が違う数字をそのまま横に並べず、何についての差や関連かを読み直します。
数字の大きさだけで比べてよいのですか
同じ効果量でも、研究の作り方で大きさは変わります。Cheung ほか（2016）は、就学前・読解・算数・数学・理科のプログラムを評価した12のレビューから645の研究を集めました。出版された論文、小規模な試験、研究者が作ったテストでは、それぞれ未出版の文書、大規模な研究、外部の独立したテストに比べて、効果量がおよそ2倍でした。無作為化（くじ引きで組を分けること）しない比較でも、効果量は大きく出ました。
並べて比べること自体への批判もあります。Simpson（2017）は、効果量が比べた相手、テスト、対象の幅で変わるため、ごく限られた条件を除いて研究どうしを比べる前提は成り立たないと論じました。Wolf ほか（2020）は、米国の教育の効果検証の登録データで、教材を作った側が行った、または依頼した評価の平均の効果量が、第三者の評価よりかなり大きかったと報告しています。作った側の教材がもともと効くからではないとしています。
数字の大小を読む際には、比較条件に目を向ける必要があります。同じ学年や教科でも、何と比べ、どんなテストを使ったかまで確認します。条件の一部が似ているだけで、研究を順位表にできると考えないことが大切です。
宣伝や記事の効果量はどこを見ればよいのですか
塾や教材の説明で効果量を見かけたら、数字より先に、誰が評価したかを見ます。Wolf ほか（2020）の結果は、評価した側も確認すべき条件だと示しています。次に、何もしない組との差か、別の教え方との差かを確かめます。同じ数字でも、比べた相手が違えば、答えている問いも変わります。
確認する項目には、評価者、比較相手、テストの作り手、対象者があります。項目が欠けていれば、資料や参考文献で条件を探します。著者名と年が対応していても、それだけで比較条件がそろったことにはならないため、数字と条件を一緒に書き留めます。
手元の資料で、誰を何と比べた数字なのかに印を付けます。評価者やテストの作り手が不明なら、確認する項目として書き留めます。条件が書かれていない数字は、いったん比べる材料から外します。
よくある質問
効果量が大きい教材のほうが良いのですか
効果量は、比べた相手とテストの作り方で大きさが変わる数字です。大小だけを見るより、何と比べて、誰が測った評価なのかを先に確かめてください。
g と d はどちらで読めばよいのですか
どちらも平均の差をばらつきで割った、ほぼ同じ物差しです。同じ研究でも補正の有無で値が少し違うため、記号より比べた相手を見てください。
効果量が小さい研究は役に立たないのですか
小さな効果でも、同じ場面で長く積み重なれば意味を持つことがあります。Funder ほか（2019）は、r = .05 のような小さな値でも、繰り返し重なる場面では意味がありうるとしています。
この記事の限界
対象となる資料は、教育プログラムの評価研究や、心理学の効果量を論じた論文です。日本の塾や市販教材を同じ条件で比べた順位表ではありません。研究の作り方による差が示されても、個別の数字をどれだけ割り引けばよいかは計算できません。
集団の差や関連は、子が教材を読めるかという判断を代わりに行うものではありません。武蔵境の教室での選択にも、数字以外の確認が残ります。比較条件が不明なら数字だけで選ばず、教材の内容と子の答案を講師や学校の先生と確かめます。
参考文献
- Cheung ほか. How Methodological Features Affect Effect Sizes in Education. Educational Researcher. 2016;45(5):283-292.
- Funder ほか. Evaluating Effect Size in Psychological Research: Sense and Nonsense. Advances in Methods and Practices in Psychological Science. 2019;2(2):156-168.
- Simpson. The Misdirection of Public Policy: Comparing and Combining Standardised Effect Sizes. Journal of Education Policy. 2017;32(4):450-466.
- Wolf ほか. Average Effect Sizes in Developer-Commissioned and Independent Evaluations. Journal of Research on Educational Effectiveness. 2020;13(2):428-447.
通知表の数字の手前で止まっている一問から、講師と二人で始める。
- 向く人: 内申が気になり始めたのに、どの教科のどこで止まっているのかを、子も保護者も言葉にできていない中学生
- 向く人: 通塾の日だけ机に向かい、ほかの日の学習習慣が続かないことを、授業の中で一緒に組み直したい家庭
- 向かない人: 英検や内申の結果を、通う回数を増やすことだけで変えたいと考えている家庭
- 向かない人: 一人の講師と向き合うより、大勢と競い合いながら速い進度で先へ進みたい人
このサイトは武蔵野個別指導塾の運営者が制作しています。武蔵境駅から徒歩30秒、講師が一人の生徒に付きっきりの完全1対1で、大学教員や東京大学・早稲田大学・慶應義塾大学の大学院生などが教えます。アルバイト講師はいません。
よくある質問
効果量が大きい教材のほうが良いのですか
効果量は、比べた相手とテストの作り方で大きさが変わる数字です。大小だけを見るより、何と比べて、誰が測った評価なのかを先に確かめてください。
g と d はどちらで読めばよいのですか
どちらも平均の差をばらつきで割った、ほぼ同じ物差しです。同じ研究でも補正の有無で値が少し違うため、記号より比べた相手を見てください。
効果量が小さい研究は役に立たないのですか
小さな効果でも、同じ場面で長く積み重なれば意味を持つことがあります。Funder ほか（2019）は、r = .05 のような小さな値でも、繰り返し重なる場面では意味がありうるとしています。