科学トレーニングへの理解を深めるために参考になりそうな内容をまとめています。
今回は、前編、中編の続きです。
研究結果は再現しないことも
再現性が低いケースも
先月エコノミスト誌に「How science goes wrong」（科学はどう間違いを犯すのか）という記事が載りました。論文で出た結果を他の人が試したら全然再現できないじゃないか、という指摘です。記事に出てくるケースを紹介すると・・・- アムジェン社がガン研究で重要とされるものを53件追試したところ6件、つまり11%しか再現できなかった。（詳細：Nature）
- Bayerという企業が67の研究プロジェクトを調べたところ、関連研究と合致する結果が出たのは20～25%ほどのプロジェクトのみだった。（詳細：Nature）
- MDアンダーソン癌センターの研究者への調査の結果、約50%の回答者は論文の結果を再現できなかった経験があると答えた。（詳細：この論文）
生命科学とは状況が違うとは思いますが、スポーツ科学でも再現性の問題はあるのでは、と思います。
予想ですが、ほとんどの場合は別に捏造がどうとかではないと思います（もしそうだったら大問題）。前編で触れたような個人差による偶然もありえますし、再現に必要な前提が論文にちゃんと書いてなかったりとかはよくありそうな予感がします。
主観的アンケートには要注意
評価が被験者へのアンケート方式だったら、アンケート文も載せないと再現は難しいことも。聞き方次第で結果が変わるという不思議だけど有名な例が、交通事故で死亡したときに臓器提供をしてもいいという人の割合（下グラフ参照）。国によって大きな差がついています。
（引用元：TED - Dan Ariely: Are we in control of our own decisions?、ちなみに元ネタはScienceのこの論文）
ドイツ・オーストリア、デンマーク・スウェーデンのように、文化的にも似ている国々で大差がついてしまった理由はただ一つ。
それは、質問の仕方がオプトイン式（＝提供しますか？）かオプトアウト式（＝提供したくないですか？）だったから。
質問の仕方次第で回答が極端に変わることもあるのですね。
プラセボ・ノセボ効果
客観的な評価だからといっても、油断は禁物。前編でも書いたようにプラセボ効果で出る場合もあるので、「ダミー」も用意したほうが結果は信頼できるでしょう。薬と違って被験者に違いがバレバレで、完全にコントロールするのは難しいかもしれませんが…。アレックス・ハッチンソン氏の記事（Runner's World）によると、コンプレッションウェアの評価はこれまでいろいろな矛盾する結果が出ているそうです。
記事では「段階着圧のコンプレッションタイツ」と「伸縮性のある普通のタイツ」で回復に違いが出るかを比較をした研究（上のグラフ参照）を紹介しているのですが、これまでのほとんどのコンプレッションウェアの研究ではプラセボ対照実験をしていなかったとのこと。
ところでランナーズワールドは他より質が高い記事を書くライターが多い気がします。他誌でも論文紹介の記事もあるんですが、結果だけ書いて理由を書かないみたいな表面的な記事もあったり…。RWは批評もちゃんとしていることも多々あります。上の記事を書いている人は世界クロスカントリー選手権カナダ代表で、ケンブリッジ大で物理のPhDを取り、NSAを経て科学ジャーナリストになった異色の経歴の持ち主。RW内担当コーナーの「Sweat Science」は科学記事がずらっと並んでいて面白いです。
ラボ vs リアル
第三者が実験で再現できたとしても、実際に各自で再現できるとも限りません。またもや個人差の問題もありますし、中編「部分vs全体」で述べたように、複雑な要素が絡みあう中で実際に効果が出るかはわかりません。他にもいろいろな要因がありえます。
population, equipment, study length, long term vs. short term, etc（引用元：マグネス氏のスライド8ページ目）
population（集団）の差は重要そうです。日本人以外が対象の実験が筋骨格構造の違う日本人にも当てはまるかはわかりません。大学陸上部や軍人を対象とした実験結果が、一般人にも当てはまるかはわかりません。
また、ちょっと再現条件が変わると当てはまらない例も。トレミの結果をロードに当てはめるのは不適切かもしれないという論文（Nigg et al., 1995）もあります（そうでないという論文（Fellin et al., 2010）もありますが）。関連記事：トレッドミルFAQ。
他にも上にあるように、短期的スパンの実験結果が必ずしも長い目線で見た結果に当てはまるとは限らないでしょうね。
研究するのは大変で、わかっていないことも多い
被験者が集めにくい
意外かもしれませんが、自明そうに見えて実は答えが出ていないテーマもたくさんあるようです。例えば「柔らかい地面と固い地面、どちらで練習するべきか」という問題に対しても、まだ結論は出ていないようです。（参考：Nice Body Make・・・よもやま話 - 第148回 アスファルト vs 柔らかい地面）
「実験してみればいいじゃん」と思われるかもしれませんが、実験するのは一苦労。
ミシガン大学のキネシオロジーの教授がコンペティター誌の記事の中で、上の問題に結論が出ていない理由についてこんなことを仰っています。
数百人のランナーを舗装路、ダート、トラックというように分け、違うサーフェスで全く同じ練習内容を1年間してもらい、実験するのが理想。ただ、そんな練習の実験台になりたいと思うようなランナーはほとんどいないのです。実際のところ、ランニングのフィールド上でのスタディのほとんどは、軍隊のブートキャンプで新入りの軍人によってデータがとられているのです。（引用元：Competitor - Is There One Best Running Surface?、太字は私による）
分野によっても状況は違うと思いますが、スポーツ科学は被験者集めと長期的評価が大変と･･･。確かに、効くかもわからない練習に1年も付き合わされたくないですね（笑）
サーフェス比較ぐらいの実験ならいいですが、怪我のリスクのあるフォーム改善系とかの実験だともっと大変そうですね。
予算がないとできない
あと、研究は予算がないとできません。シューズ絡みの研究などは企業スポンサーもつくかもしれません（それはそれで研究の独立性が保たれなくなってあまり良くないのかもしれません…）が、アメリカの場合だと多くはNSFやNIHなどの政府系の研究予算に頼ることになると思います。
NIHの仕組みはよく知りませんが、NSFだと研究プロポーザルの判断基準として、科学的な価値（Intellectua Merit）の他に広範囲な影響力（Broader Impact）があります。
後者の基準ではランニングのパフォーマンス解明が世の中にどれだけ役立つか説明できないといけないわけで、研究テーマによっては通りにくいんでしょうね。
余談ですが、有名な研究だと、ハーバード大リバーマン教授らの2010年の裸足ランニング研究はNSFに支援されていますが、スポーツ科学というより進化人類学ということで通りやすかったのかもしれません。
研究結果は正しく伝わりにくい
メディアが研究結果を伝える時は、紙面や尺の都合や、速報性への偏重や、分かりやすく伝えるという建前上、厳密さを犠牲に噛み砕きすぎてしまうことがありますね、下の方の例のように。
明らかに僕らの研究ではその方の病気をすぐにどうこうできるものではなかったから。（略）ライターが少し強調して記事にしたことで、二次的、三次的情報に尾ひれがついて、結果的に詐欺のような誇張した内容になってしまったのだ。
（引用元：アメリカポスドクの歩き方 - 情報伝達の難しさ）
よくあるのは、相関関係と因果関係を混同させるような釣りタイトルになっていたり、転載されるうちに伝言ゲームのようにどんどん内容が変わっていったり・・・。
マスコミやマーケティング関係者の中には妙に相関係数を好み、実は全く関連が無いような事柄を強引に結び付けることによって、いかにも「世紀の大発見」をしたかのような騒ぎを演じる（確信犯か大マジメかは不明なので、一応演じるとしておきましょう）人々もいるようです。（引用元：世の中ナナメに見てみよう！ ～楽しい数字、怪しい数字、卑しい数字？～ - 相関関係と因果関係）
自分が詳しいと思っている分野を見ていても、上みたいなことはしょっちゅうです。
0 件のコメント:
コメントを投稿