Natural Scene Categories Revealed in Distributed Patterns of Activity in the Human Brain(Walther, 2009)

Reference

Walther, D. B., Caddigan, E., Fei-Fei, L., & Beck, D. M. (2009). Natural scene categories revealed in distributed patterns of activity in the human brain. Journal of neuroscience, 29(34), 10573-10581.

Summary

자연 장면을 보고 카테고리를 분류할 때, 뇌에서 어떠한 패턴이 일어나는지 분석하는 것이 본 논문의 핵심이다. fMRI와 MVPA (multivoxel pattern analysis)를 활용하여 뇌의 어떤 영역에서 그리고 어떠한 패턴으로 자연 장면의 카테고리를 구분하는지 확인하였다. 다섯 명의 참가자가 있었으며 총 여섯 개의 카테고리(카테고리별 120개 사진)를 활용하였다. 연구 결과, V1, PPA, RSC, LOC 영역 모두에서 자연장면의 카테고리를 구분할 때 활용되는 정보를 갖고 있음을 확인하였다. 그리고 직접 버튼을 눌러서 카테고리를 분류하는 인간행동연구와 비교해본 결과, V1을 제외한 PPA, RSC, LOC가 해석한 정보를 인간이 활용하여 카테고리 분류를 한다고 판단하였다. 특히, fMRI 신호를 기반으로 카테고리를 예측분류한 것의 오답 패턴이 참가자들의 행동 오답패턴과 상관관계가 높은 것으로 앞서 언급한 세 뇌 영역에서 나타났다. 또한 눈여겨보아야 할 결과로는, 그림을 상하 반전하여 제시하였을 때 PPA 신호를 통한 예측과 행동연구 모두에서 정확도가 떨어졌다는 점이다. 종합적인 결론으로, PPA, RSC, LOC를 포함한 뇌영역들이 일종의 네트워크를 형성하여 정보를 모아 자연장면의 카테고리를 분류하는 작업을 시행한다고 볼 수 있다.

해당 논문은 자연장면을 해석하는 데에 있어서 MVPA를 활용하여 여러 뇌 영역 간의 연관성 있는 패턴을 밝혔다는 데에 차별적인 의의가 있다고 할 수 있다. 또한, fMRI 신호를 분석하여 예측한 것과 실제 행동분석을 비교하면서 단순히 정보가 뇌 영역에 있다는 것과 그것을 활용하는 것의 차이를 명확하게 구분하였다는 점에서 한층 더 철저한 연구설계가 이루어졌음을 알 수 있다. 나아가, 뇌가 이미지 그 자체를 해석하는(decode) 것과 해당 이미지의 카테고리를 해석하는(decode)하는 것의 차이를 역시 확실히 하고 있다.

그럼에도 불구하고 완벽하게 이해가 되지 않는 점들이 있긴 하다. 본 연구의 한계점은, 많은 연구에서 직면할 수밖에 없는 한계이기는 하지만, 판단기준에 대한 통계적 근거가 다소 설득력이 부족하다는 점이다. 행동연구와 fMRI 분석을 통한 예측의 실패를 비교할 때, frequent confusion과 아닌 것을 구분하는 기준이 다소 모호하다. 또한, 각 영역별로 행동분석과 상관관계를 분석하였을 때, 이상치처럼 보이는 것들에 의해 상관계수가 왜곡되었을 가능성도 충분히 존재한다. 그리고 피어슨 상관계수는 오로지 선형적 연관성만을 이야기할 수 있기 때문에 뇌 영역끼리 복잡한 관계로 관련이 있다면 이를 분석하는 데에 있어서는 상당히 제한적인 통계방법을 사용했다고 볼 수 있다.

궁금증

1. decoding accuracy에 대해 t검정을 할 때, 기준치로서 1/6이 적절한가?! 만약 연구자가 20개의 카테고리를 활용하였다면 1/20이 적절하다고 할 수 있을까? 그리고 단순히 p-value만 볼 것이 아니라 effect size를 고려하지 않아도 괜찮은 걸까? 왜냐하면 이미지 개수가 많아지면 많아질수록 p-value은 점점 작게 나올 가능성이 높아지기 때문이다.

2. Figure 2에서 오답 비율이 높은 것(노란색)이 대각선을 기준으로 대칭이 되지 않아도 문제가 없는가? industry를 보고 building이라고 생각했으면, building을 보고 industry라고 생각했을 비율도 같이 높아야 하는 것 아닐까? 이부분에서 놓친 논리는 없을까?

3. 연구자는 모든 뇌 영역을 decoder라고 보았다. 하지만, 뇌 영역의 입장에서 보면, 특정 영역은 다른 영역의 encoder로서 역할을 할 수도 있지 않을까? 만약 그렇다면 어떠한 방식으로 연구를 설계할 수 있을까?