科技經濟
前言:民眾在民意調查中是否說出真話

      在民主社會中,民意調查是否具有準確預測選情的功能一直是公民和政治人物十分關切的議題。美國當前人口調查(Current Population Survey, CPS)曾於1980年對總統大選所進行的民意調查。CPS訪問民眾在總統選舉中會支持卡特(Jimmy Carter)還是雷根(Ronald Reagan)。民調結果顯示,選前民眾對於卡特的支持率(47%)一直穩定地超越雷根(42%)五個百分點。然而,選後投票結果卻是雷根(46%)超過卡特(43%)三個百分點(Michael Traugott & John Tucker,1984)。這次選舉由於民調結果錯誤預估實際選情,不禁讓人質疑,民意調查是否能有真正預測與反應民眾心中的想法與意識型態。關於這個問題,在美國其實已經有五十年的論戰了。本文將分析美國近五十年來的論戰,主要介紹美國數位知名學者Converse、 Sullien、Achen、Zaller對於該議題的看法與實徵性研究,並分析美國對於民調發展所進行的最新研究趨勢,包括調查研究誤差來源、受試者反應種類、以及兩者交叉作用的影響;最後歸結影響與操作民調的因素為何。

民眾只是胡亂填塞答案?



      Converse(1964)認為受訪者通常隨機給予研究者一個答案,該答案並非是受訪者真正且固定的價值觀或是想法,只是為了回答而回答的一個胡亂敷衍的答案。既然受訪者沒有呈現真正對該議題的答案,那麼民意調查研究出現的結果,代表了什麼呢?Converse認為回答的答案多會是分布於中間值(middle position),例如普通、不錯的回答;或是無意見(zero point)。Converse以Osgood 所研究的認知協調模式(Congruity Model)為例,證明許多受訪者在接受民調時,通常會被現場的訊息或是身邊環境資訊所說服,而鮮少呈現原本自己擁有的立場或是觀點。因此,Converse認為與其說在民意調查中,重視受訪者態度之形成(attitude formation),還不如研究其態度如何轉變(attitude change)來的精確。


      相較於Converse的觀點,Sullivan與 Piereson & Marcus(1978)則有不同的見解,他們主張調查研究良窳取決於調查技術的革新與否。根據他們的研究發現,民眾的政治態度在1956、1958、1960年之間,並沒有太大的變化;然而,在1960~1964年所做的民意調查中,民眾的態度出現巨大的轉變。他們認為主要的原因來自於1960年以降在民意調查研究的技術上有重大的革新。由於調查研究與測量技術有顯著的品質改善,讓受訪者的回應具有效度與信度,因此其回答是可以信賴與準確的。


民調不準是因為調查工具有問題



       針對Converse認為民意是無態度的(non-attitude),Achen(1975)亦有迥然不同的看法。Achen認為每個民眾對於問卷的問題都有穩定且真確的答案,但是測量誤差(measurement errors)始終會存在於每一個調查研究之中,而這些誤差都會造成調查結果出現不能解釋的變異(unexplained variances),也會使得真確的態度或答案無法呈現。這些測量誤差可能來自於錯誤的問卷調查過程,例如受訪者錯誤理解,或是施測者解釋不清楚,問卷設計的題目有問題,施測的方法與答案項目的設計錯誤。此外,受訪者的社經地位、性別、國籍、文化背景、個性、教育程度都可能會影響民眾是否在民意調查研究中呈現真確態度。



民調不準是因為民眾態度善變



       有別於Converse 及Achen的想法,John Zaller and Stanley Feldman在1992年進行了許多研究,產生了第三種不同的看法。他們認為除了少數極端份子與保守主義者在進行民調時,是會呈現非常穩定且不遲疑的答案或態度,其他大多數的人針對特殊議題都會表現很模糊與不確定的答案。


      John Zaller and Stanley Feldman發現每一個受訪者對於每一個問題都有真確的想法與感覺,也會忠於他們的意識型態給予正確的回答。然而,這些回答雖然都是正確真實的代表民眾自己心中的想法及意識型態,但是這些答案卻是朝令夕改的。更精確的來說,民眾經常會針對同一個問題有相反的意見或意識型態。當進行問卷調查的當下,受訪者常常會出現多種不同的想法,其中最突出的想法(saliences)出現時,該壓倒性優勢的考量會成為受訪者最終的回答。在這種自我決定的過程中,這種突出的想法或壓倒性優勢的考量是會隨著不同時間或地點而轉變。多數者對於特定的議題都會有模擬兩可的態度或想法,每次的回答都是充滿變數與不同的反應。


      而這樣研究結果對於政策制定者而言是相當有利的。由於大眾的態度隨時可能改變,在民眾心中紛雜想法中,哪一個中最突出的想法或壓倒性優勢的考量會出現,取決於是否有具有強力說服力的角色來引導,將舊想法取代,以最突出的想法作為民調的答案。由於民意是具有廣泛的反應、多元的考量與政治決策過程互動而形塑,而非人民心中單一、真確的價值觀,這樣的民意塑造過程乃促成民主得以持續進行、並具有平衡、折衝、協調每個議題產生的衝突、對立與角力的功能。


      Zaller (1992)更進一步強調,在民意調查中,民眾對於大多數的議題具有相當模糊的態度,唯有在巨觀的議題上,例如自由、平等、民主等價值觀,才會有穩定且一致的回答。尤其在許多具有專業的議題上,民眾常常不具有相關的專業素養、亦鮮少有背景知識能夠回應調查研究所提問的問題,因此,也實難給予正確且固定的答案。民意是壓倒性優勢的考量常常是在民眾經過一連串的考量(a certain set of considerations)、經過腦中紛雜意見(predisposition)不斷整理後,最突出想法的出現會與最靠近的時間點(recent time)、資訊獲取性(accessibility)有很大的關聯性。亦即最突出的想法會隨著情況與環境而有所改變。而這也代表著政策決策者可以透過說服或是煽動改變多數民眾的最後的決定。


民調誤差來源:調查工具設計與民眾背景



       經歷過數十年的論戰,近年來美國對於調查研究有了更卓越的成果。學者發現有五種誤差可能出現在調查研究中,其中包括抽樣誤差(sampling error)、測量誤差(measurement error)、不回應誤差(nonresponse error)、覆蓋率誤差(coverage error)、後測量誤差(post survey error),其呈現如下圖一所示。受限於篇幅,本文只進一步探究圖一五類誤差值中的測量誤差。


圖一:調查研究誤差來源
huang1














資料來源:Survey Research(Kenneth Wald,2014)

      Yves Van Vaerenbergh & Troy D. Thomas(2013)發現調查研究測量誤差來源有二。首先,調查工具會造成誤差,其類型包括:調查問卷設計的形式(Scale Format)、資料蒐集的模型(Mode of Data Collection)、認知負載(Cognitive Load)、研究人員者的影響(Interviewer Effects)、語言的使用(Survey Language)、主題涉入的程度(Topic of Involvement)。其次,受訪者背景因素也會造成誤差,諸如教育、種族、性別、個性、年齡、智商、收入及受僱歷史、文化與國別等差異都會影響受訪者的反應。


影響民調反應種類的因素


       Yves Van Vaerenbergh & Troy D. Thomas又發現受訪者反應主要可以分成八類:默許式(Acquiescence Response Style,ARS)、非默許式(DISACQUIESCENCE Response Style,DRS)、極端式(Extreme Response Style,ERS)、溫和式(Mild Response Style,MLRS)、中點式(Mid-Point Response Style,MRS)、網絡默許式(Net Acquiescence Response Style,NARS)、回應範圍(Response Range,RR)、非偶然(Non contingent Response Style,NCRS)等(詳見圖二)。


圖二:受式者反應
 

答案分類名稱

圖示(從左到右「非常不同意」、「不同意」、「有點不同意」、「有點同意」、「同意」、及「非常同意」)

定義與說明(舉例:您是否贊成柯文哲擔任台北市長:)

默許式(ARS)


選填程度較高的。如受訪者喜歡選填「有點同意」、「同意」、及「非常同意」者。

非默許式(DARS)


選填程度較低的。如受訪者喜歡選填「非常不同意」、「不同意」、「有點不同意」者。

極端式(ERS)


選填極端值。如受訪者喜歡選填「非常不同意」及「非常同意」。

溫和式(MLRS)


選填中間值。如受訪者喜歡選填「不同意」、「有點不同意」、「有點同意」、「同意」者。

中點式(MRS)


選填中點,不表示意見。如受訪者喜歡選填無意見者。

網絡默許式(NARS)

較多

較少

選填默許式的頻率高於選填非默許式。如受訪者選填「有點同意」、「同意」、及「非常同意」者的機率高於「非常不同意」、「不同意」、「有點不同意」者。

回應範圍(RR)

認為答案程度不符合受示者內心的程度。例如受訪者覺得「非常不同意」及「非常同意」仍無法符合心中想法,他其實想填答「極端同意」。

非偶然(NCRS)

粗心、隨機、非故意的選填錯誤,選多個或是全選。如受訪者同時填選兩個答案「有點不同意」、「有點同意」。

 

資料來源:作者自行整理,取自Vaerenbergh & Troy D. Thomas(2013),"Response Styles in Survey Research: A Literature Review of Antecedents, Consequences, and Remedies." IJPOR 25, 195-217


      受訪者反應會隨著不同的調查工具誤差與受訪者背景誤差等因素交叉影響,而呈現多種不同的反應結果。如圖三所示。


圖三 誤差來源與受訪者反應交互影響

 

調查研究誤差來源

受訪者反應

調查工具

設計

調查問卷設計的形式

(Scale Format)

ARS, ERS

資料蒐集的模型(Mode of Data Collection)

ARS, ERS, MRS

認知負載(Cognitive Load)

NARS

語言的使用(Survey Language)

ARS, ERS, MRS, RR

主題涉入的程度(Topic of Involvement)

ERS

受訪者背景

教育(Education)

ARS, DARS, ERS, MRS

智商(IQ)

ARS, ERS, MRS

年紀(Age)

ARS, ERS

性別(Gender)

ARS, ERS, MRS

收入,受僱歷史(Income, Employment)

ARS, ERS

種族(Race)

ARS, ERS, MRS

國別與文化差異(Culture and Country Level Features)

ARS, ERS


資料來源:作者自行整理,取自Vaerenbergh & Troy D. Thomas(2013),"Response Styles in Survey Research: A Literature Review of Antecedents, Consequences, and Remedies." IJPOR 25, 195-217


      根據上表,已有許多研究如Kieruj & Moors(2012)發現五點到十一點量表,比較不容易出現ARS情況。此外,電話訪談比較容易出現ARS與 ERS,而較少會有MRS情況(Jordan,1980)。Heerwegh(2009)認為混合型的調查方式較容易出現RR的結果。當環境舒適時,認知負載力高,受訪者可以思考周全,NARS就比較容易出現(Cabooter,2010)。Olson & Bilgen(2011)發現有經驗的受訪者就會有較高的ARS頻率回應。使用第二語言回答民調時,就較少出現ARS與 ERS,而會出現較多的MRS。故而,應該盡量讓受訪者以自己本身母語回答問卷內容。如果受訪者本身對於該民調問卷的問題比較有專業的背景知識或較了解與熟悉該主題,就會出現較高的ERS。


      再者,Weijters, Geuens, & Schillewaert(2010)認為ARS, ERS, MRS與受訪者之教育程度有關,而DARS則完全無關。較高智商的老人比起較高智商的年輕人有較少的MRS(Light, Zax, & Gardiner,1965)。Zuckerman & Norton(1961)發現隨著受訪者智商的增加,ARS會降低。Billiet & McClendon(2000)證實年紀增加,ARS也會逐步上升。也有許多研究發現女性有比較高的ARS或MRS(Harzing,2006)。


      一般而言,Vaerenbergh & Troy D. Thomas(2013)發現隨著受訪者社經地位與收入的增加,ARS與ERS的情況會下降;而白人比黑人有較少的ARS與ERS。另外,受僱歷史會與ARS呈現正相關(Johnson et al.,2005)。Kieruj & Moors(2010)認為雖然個性也會影響受訪者反應,但是研究個性是毫無意義的,因為我們無法事先選擇或拒絕不同個性的受訪者作為民調樣本。


      最末,Clarke(2000)發現不同文化背景與國家的受訪者會表現不同程度的ERS,Meisenberg & Williams(2008)也證實處於較專制與腐敗的國家下的國民,會有較多的ARS與ERS。



調查工具設計、施測單位比民眾背景更能左右民調結果



      不過,比起受訪者誤差來源,調查工具誤差來源,如工具本身、施測者、問卷設計者、調查研究題目與答案的設計更容易影響調查結果(Vaerenbergh & Troy D. Thomas,2013)。

  著名的丹佛社區研究(Denver Community Study)即為案例之一:美國政治學者Herbert Hyman曾於1944年發表一文:他們說真話了嗎?("Do They Tell the Truth?"),認為民眾於選前透露心中要選定的候選人,與其真正在大選當天所投票的候選人未必是相同的,而且這些回答的結果並無任何規則可循。亦即,民調結果無法準確預估真正選情結果。


      然而,這個研究結果後來被許多學者推翻了(Stanley Presser,1984)。這些學者將當初的問卷內容與受訪者反應重新拿出來進行統計分析,結果發現,受訪者反應在選前對候選人支持的行為態度問卷中,其呈現結果並非紛亂無章,相反地,他們回答的誤差乃具有一致性。縱然受訪者沒有在民調中真正表現出內心的想法,而是呈現錯誤的結果,但是所有受訪者回答錯誤的結果都具有非常整齊且單一的方向(Parry and Crossley,1950;Stanley Presser,1984)。亦即,受訪者會回答錯誤並非是受訪者本身不想回答真切內心的答案,而是礙於民調中心本身呈現的調查內容,在排列問卷的選項時候,就出現了誘導性的項目誤差(Item-Specific for Questions Incurrences)。


      Cannell, et al.(1965)、 Cahalan(1968)、 Hamilton(1981)、 Stanley Presser (1984)透過許多研究證實受訪者錯誤的回答與正確的答案都有高度關連的且指向同一個方向。例如,即便有受訪者想要把心中正確的答案講出來,可是面對問卷的答案過度模糊呈現,受訪者無法理解,造成不知道哪一個答案才是與心中自己的想法最為一致,這時候測量錯誤就會讓受訪者心中正確的答案無法呈現。此外,雖然受訪者選前回應民調的結果與真實的選舉的結果並不一致,然而受訪者回答的誤差卻與真實的結果在統計上出現高度的相關,而且在問卷答案設計項目與受訪者回答具有高度的關聯性,這在在足以證明,這些誤差是有系統與方向一致的。


結論:



      回顧這場爭論,吾人可從Converse研究了解,民眾是不具有態度的,隨時可以改變民調答案;從Achen觀點,讓吾人更應重視調查工具設計,例如問卷題目需要簡短且明瞭,一題只能有一個重點,句子敘述不可過於模糊亦不可過於具體等(Jiang Yang et al., 2011);而從Zaller與Feldman角度更可知,政策擬定者除了可以妥善利用民調了解民意之外,亦可利用傳媒說服與改變民意,提供辯論平台與教育管道,讓民眾腦中千回百轉的想法中,出現一致性的壓倒性優勢考量。


      綜而言之,民眾的真實態度能否呈現會受到調查工具設計、施測者、施測單位、受訪者本身背景等因素影響。民調的施測單位應該將這些受訪者回答結果與上述種種因素一併考量,才不會將民眾的回答過度報導,以求呈現趨近事情的預測結果。而台灣民眾對於民調結果也應該持以動態性的關注,而非一味相信單次民調結果能完全符合實際選情。


作者黃芳誼為佛羅里達大學社會學博士生

參考書目

Achen C. H.(1975)Mass political attitude and survey response. American Political Science Review, 69: 1218-1223.


Billiet, J. B., & McClendon, M. J. (2000). Modeling acquiescence in measurement models for two balanced sets of items. Structural Equation Modeling, 7, 608 -628.


Cabooter, E. F. K. (2010) The impact of situational and dispositional variables on response styles with respect to attitude measures. Doctoral dissertation, Ghent University, Ghent, Belgium.


Cahalan, Don(1968)"Correlates of respondent inaccuracy in the Denver validity survey." Public Opinion Quarterly 32:607-21.


Cannell, Charles F., Gordon Fisher, and Thomas Bakker (1965). Reporting of Hospitalization in the Health Interview Survey. Washington, D.C.: National Center for Health Statistics, Series 2, Number 6.


Clarke, I. (2000). Extreme response style in cross-cultural research. Journal of Social Behavior and Personality, 15 , 137 -152 .


Hamilton, Lawrence (1981) "Self-Reports of academic performance." Sociological Methods & Research 10: 165-85.


Heerwegh, D. (2009). Mode differences between face-to-face and web surveys: An experimental investigation of data quality and social desirability effects. International Journal of Public Opinion Research, 21, 111 -121.


Jiang Yang, Meredith Ringel Morris, Jaime Teevan, Lada A. Adamic, Mark S. Ackerman, (2011) Culture Matters: A Survey Study of Social Q&A Behavior, Proceedings of the Fifth International Association for the Advancement of Artificial Intelligence Conference on Weblogs and Social Media


John Sullivan et al. (1978). "Ideological Constraint in the Mass Public: A Methodological Critique and Some New Findings," AJPS 22, 233-249.


John Zaller and Stanley Feldman, (1992), "A Simple Theory of the Survey Response," AJPS 36, 579-616


John Katosh and Michael Traugott, "Consequences of Validated and Self-Reported Voting Measures," POQ 45 (1981), 519-35


Johnson, T., Kulesa, P., Cho, Y. I., & Shavitt, S. (2005 ). The relation between culture and response styles: Evidence from 19 countries. Journal of Cross-Cultural Psychology, 36, 264 -277.


Jordan, L. A., Marcus, A. S., & Reeder, L. G. (1980). Response styles in telephone and household interviewing: A field experiment. Public Opinion Quarterly, 44 , 210 -222.


Kieruj, N. D., & Moors, G. (2012) Response style behavior: Question format dependent or personal Style? Quality & Quantity, Advance online publication, Knowles, E. S., & Condon, C. A.


Meisenberg, G., & Williams, A. (2008) Are acquiescent and extreme response styles related to low intelligence and education? Personality and Individual Differences, 44, 1539 -1550.


Michael Traugott & John Tucker, "Strategies for Predicting Whether a Citizen Will Vote & Estimation of Outcomes," POQ 48 (1984), 330-43


Olson, K., & Bilgen, I. (2011) The role of interviewer experience on acquiescence. Public Opinion Quarterly, 75 , 99 -114.


Parry, Hugh J., and Helen M. Crossley 1950 "Validity of responses to survey questions." Public Opinion Quarterly 14:61-80.


Phillip Converse, "Nature of Belief Systems in Mass Publics," Ideology and Discontent, 227-245


Stanley Presser (1984) "Is Inaccuracy on Factual Items Item-Specific or Respondent-Specific?" POQ 48, 344-55


Yves Van Vaerenbergh & Troy D. Thomas (2013) "Response Styles in Survey Research: A Literature Review of Antecedents, Consequences, and Remedies." IJPOR 25, 195-217


Wang, H. Y. (2008). Exploration about potential damage offense. Taiwan Law Review, 159, 235-244.


Weijters, B., Cabooter, E., & Schillewaert, N. (2010 a) The effect of rating scale format on response styles: The number of response categories and response category labels. International Journal of Research in Marketing, 27, 236 -247.


Weijters, B., Geuens, M., & Schillewaert, N.(2010 b) The individual consistency of acquiescence and extreme response style in self-report questionnaires. Applied Psychological Measurement, 34, 105 -121.


Weijters, B., Geuens, M., & Schillewaert, N.(2010 c) The stability of individual response styles. Psychological Methods, 15, 96 -110.


Zuckerman, M., & North, J. (1961) Response set and content factors in the California F-scale and the parental attitude research instrument. Journal of Social Psychology, 53 , 199 -210.
























 

最近更新: 2014-11-10
回上頁