用於統計地確定在線調查結果中的偏差的系統和方法

2023-06-07 05:09:11

用於統計地確定在線調查結果中的偏差的系統和方法
【專利摘要】本發明涉及一種用於統計地確定在線調查結果中的偏差的系統和方法。一種系統、方法、和電腦程式確定在調查結果中由於未響應的調查響應數據和/或錯誤的調查響應數據而引起的偏差、評估通過未響應的調查數據和/或錯誤的調查數據所引入的偏差對調查結果的影響、相應地分析調查結果，以提供對被調查的人群觀看的內容（例如，廣告）的觀看者的印象的更精確的評估。該分析允許廣告主改變廣告以更好地推廣產品或者服務，並且使廣告主能夠提高廣告活動成功的可能性和活動的成本效率。
【專利說明】用於統計地確定在線調查結果中的偏差的系統和方法

【背景技術】
[0001]直到最近，電視和收音機控制將新聞、體育和娛樂提供給公眾。然而，隨著網際網路連接和全球資訊網的出現，信息和娛樂內容的提供已經越來越多地轉移到網絡連接設備，例如臺式計算機和筆記本電腦、平板電腦、行動電話和智慧型手機、以及連接至CTV電視網的設備。
[0002]就這一點而言，通過網際網路，像CNBC這樣的服務提供新聞內容，像ESPN這樣的服務提供體育內容，像網飛公司(Netflix)和葫蘆網(Hulu)這樣的服務提供包括電影和電視節目的娛樂內容。這些服務中的許多服務依靠廣告收入模式，使得伴隨著信息或娛樂內容，廣告主刊登付費廣告。進一步，其他網際網路能夠實現的服務，例如從電子郵件服務到拍賣服務到信息服務，包括廣告來獲得收益。
[0003]由于越來越接受通過網絡提供信息和娛樂內容，以及通過網絡刊登廣告有重大成本，廣告主已經開始更小心地管理他們的廣告內容和相關的廣告活動成本。廣告主對他們的在線廣告的效力很感興趣，例如，特別是視頻廣告，這樣他們可以評估他們投資收益。如果具有投資收益，廣告主很可能會增加在線廣告的開銷總額。因此，廣告主聚焦於基於網絡的廣告活動對消費群中的成員的影響和通過網絡提供廣告是否建立了良好的印象，是否加快建立廣告品牌，關於這個調查是至關重要的。
[0004]全球資訊網通常有利於實施調查，將其與通過網際網路同時提供廣告相關聯，並且快速且低價地收集響應作為調查數據。例如，共同轉讓的共同未決的2009年5月28日遞交的名稱為「SYSTEM AND METHOD FOR AUTOMATED ONLINE SURVEY」的美國專利申請N0.12/455, 314涉及調查網站觀眾群體的具體特徵，例如人口統計和心理統計，這幫助網站所有者和廣告主優化廣告，該美國專利申請的全部內容通過弓I用併入本文。
[0005]通常，廣告出現在網頁上或者結合其他內容(例如新聞、體育、或者娛樂或者其他基於網絡的服務，例如郵件)提供。通過非限制性示例，廣告可以作為圖像、或者沒有聲音的視頻、或者結合音頻內容的視頻提供。廣告可以在非廣告內容前面提供(前置式廣告)、在非廣告內容期間提供(中置式廣告)、或者在非廣告內容後面提供(後置式廣告)。如果廣告在非廣告內容期間提供，則該廣告可以在該非廣告內容的中斷期間提供或者與非廣告內容同時提供。如果廣告與非廣告內容同時提供，則廣告可以作為疊加在非廣告內容上的圖像或者視頻流來提供。
[0006]調查可以與通過網絡提供的內容關聯。在預定的時間，通常在提供非廣告內容和廣告之前，調查被發送給觀看者/調查對象。然而，連同調查過程遇到了多種問題，通常可以歸為:(1)無響應的調查數據；和(2)錯誤的調查數據。無響應的調查數據是其中被調查的人沒能響應調查的調查結果。錯誤的調查數據是其中被調查的人利用一個或多個不真實的答案來響應的調查結果。
[0007]廣告主的挑戰是確定這樣的無響應的調查數據和錯誤的調查數據使從調查中獲得的結果產生偏差的程度。不考慮通過無響應的調查數據和錯誤的調查數據引入調查結果中的偏差，調查數據是不可靠的。因此，需要用於確定是否存在無響應的調查數據和錯誤的調查數據並且適當計算通過無響應的調查數據和錯誤的調查數據引入調查數據中的偏差的系統和方法。
[0008]對於本領域的技術人員而言，通過閱讀下面的說明書和研究附圖，現有技術的這些和其他缺陷將變得清楚。


【發明內容】

[0009]根據示例性實施方式的系統和方法評估在整體調查結果上未響應的調查數據和錯誤的調查數據的偏差，並且其後基於偏差評估統計地校正整體調查。本文公開的實施方式涉及調查、普查等以及執行其的方案，包括使用在線問卷調查。
[0010]通過示例而非限制的方式提出的某些實施方式，涉及調查觀看在網站訪問的媒體流的人群，來得到他們的回應。與其他內容，例如視頻娛樂(例如，電影)、新聞、體育、或者其他信息內容或者商標相關聯的廣告的好的或不好的印象，可以是調查的主題。
[0011]通過舉例的方式，但不是通過限制的方式，一個實施方式提供一種通過校正在調查結果中由於未響應的調查響應數據和/或錯誤的調查響應數據產生的偏差、評估未響應的調查數據或者錯誤的調查數據對調查結果的影響、相應地分析調查結果，來校正在線調查結果。在這個非限制性示例中，通過基於未響應的調查數據和/或錯誤的調查數據統計地校正調查結果，可以獲取內容(例如，廣告)的觀看者的印象的更精確的評估，這評估可以被廣告主採用來測量他們廣告的有效性、廣告成本效益、品牌接受度等。
[0012]通過示例而非限制的方式提出的多種實施方式，利用優於現有技術的重要改進以確定未響應的調查和錯誤的調查數據對整體調查結果的影響，來解決上述難題。描述用於對人們執行調查或者普查的示例性系統和方法，包括用於執行在線調查和普查的方案，徵集人們的響應以將信息提供給調查或者普查的主辦方。例如，調查觀看媒體的人以得到對媒體內容的反應，媒體例如為網站上的一個或者多個頁面或者在網站上訪問的流式傳輸的媒體。結合其他內容提供的廣告的良好的印象和不好的印象可以為調查的示例性主題，該其他內容例如為通過網絡(諸如網際網路)提供的視頻娛樂(例如，電影)、新聞、體育或者其他信息內容。
[0013]通過示例而非限制的方式提出的實施方式提供一種確定關於與多個觀看者所觀看的媒體相關的廣告內容的調查結果中的未響應的調查偏差的系統，包括:採樣引擎，所述採樣引擎包括能夠被計算機系統執行以進行包括一個或多個問題的調查的指令，所述一個或多個問題提供給能夠被多個觀看者訪問的媒體的所述多個觀看者；調查引擎，所述調查引擎包括能夠被計算機系統執行以接收包括觀看者對調查的響應的調查數據的指令；數據存儲器，所述數據存儲器包括能夠被計算機系統執行以將調查響應數據存儲在計算機可讀存儲介質中的指令；以及分析引擎，分析引擎包括指令，該指令在調查完成後能夠被所述計算機系統執行，以分析調查響應數據從而確定調查響應數據的平均值、方差和標準差，並且在響應的觀看者中分析方差和標準差來推斷未響應的調查偏差。
[0014]另一示例性實施方式提供一種用於確定關於與多個觀看者所觀看的媒體相關的廣告內容的調查結果中的未響應的調查偏差的方法，包括:進行包括一個或多個問題的調查，所述一個或多個問題提供給能夠被多個觀看者訪問的媒體的所述多個觀看者；接收包括觀看者對調查的響應的調查數據；將調查響應數據存儲在處理器可讀存儲介質中。在調查完成後，使用處理器來獲取調查響應數據，使用處理器確定調查響應數據的平均值、方差和標準差；並且使用處理器在響應的觀看者中分析方差和標準差來推斷未響應的調查偏差。如果方差和標準差示出響應中的趨勢在正方向上遠離平均值，則未響應的調查偏差確定為正偏差，如果方差和標準差示出響應中的趨勢在負方向上遠離平均值，則未響應調查偏差確定為負偏差。
[0015]另一示例性實施方式提供一種校正關於與多個觀看者所觀看的媒體相關的廣告內容的調查結果中由於錯誤的調查數據所引起的偏差的系統，包括:採樣引擎，所述採樣引擎包括能夠被計算機系統執行以進行包括一個或多個問題的調查的指令，所述一個或多個問題提供給能夠被多個觀看者訪問的媒體的所述多個觀看者，其中，所述問題中的至少一個問題由預計多個觀看者知道答案的問題組成；調查引擎，所述調查引擎包括能夠被計算機系統執行以接收包括觀看者對調查的響應的調查數據的指令；數據存儲器，所述數據存儲器包括能夠被計算機系統執行以將調查響應數據存儲在計算機可讀存儲介質中的指令；以及分析引擎，分析引擎包括指令，該指令在調查完成後能夠被所述計算機系統執行，以分析調查響應數據從而檢查調查數據中的對包括在調查中的答案通常已知的所述至少一個問題的答覆，並且選擇性地捨棄包括錯誤答覆的調查數據。
[0016]另一示例性實施方式提供一種確定關於與多個觀看者所觀看的媒體相關的廣告內容的調查結果中由於錯誤的調查數據所引起的偏差的方法，包括:進行包括一個或多個問題的調查，所述一個或多個問題提供給能夠被多個觀看者訪問的媒體的所述多個觀看者，其中，所述問題中的至少一個問題由預計多個觀看者知道答案的問題組成；接收包括觀看者對調查的響應的調查數據；將調查響應數據存儲在處理器可讀存儲介質中；在調查完成後，使用處理器獲取調查響應數據；以及使用處理器分析調查響應數據從而檢查調查數據中的對包括在調查中的答案通常已知的所述至少一個問題的答覆，並且選擇性地捨棄包括錯誤答覆的調查數據。
[0017]多種示例性實施方式確定在調查結果中由於未響應的調查響應數據和/或錯誤的調查響應數據產生的偏差、評估通過未響應的調查數據和/或錯誤的調查數據所引入的偏差對調查結果的影響、相應地分析調查結果，且基於由於未響應的調查數據和/或錯誤的調查數據所引起的偏差統計地校正調查結果，來提供對被調查的人群觀看的內容(例如，廣告)的觀看者的印象的更精確的評估。優選地，一個示例性實施方式由在至少一個計算機系統上執行的全自動化軟體應用程式和方法來實現。
[0018]有利地，校正的調查結果可以被廣告主利用來測量他們的廣告的有效性、廣告的成本效益、品牌接受度等。校正的調查結果允許廣告主改變廣告以更好地推廣產品或者服務，並且使廣告主能夠提高廣告活動成功的可能性和活動的成本效率，來從根本上改變廣告主分析在線調查結果以調整他們的廣告策略的方式。
[0019]對於本領域的技術人員而言，在閱讀如下的說明書和研究附圖後，上述和其它示例性實施方式、特徵、和優點將變得清楚。

【專利附圖】

【附圖說明】
[0020]現將參照附圖描述多個示例性實施方式，其中，類似的組件提供有類似的附圖標記。這些示例性實施方式旨在說明本發明而非限制本發明。在附圖中:
[0021]圖1為用於實現根據一個示例性實施方式的系統的計算機系統的框圖；
[0022]圖2為用於實現根據另一示例性實施方式的系統的替選計算機系統的框圖；
[0023]圖3是示出根據系統的一個示例性實施方式的用於分析在線調查結果的調查環境的示例性實施方式的框圖；
[0024]圖4示出包括在根據示例性實施方式創建的調查中的代表性問題的示例；
[0025]圖5為示出用於生成一組調查問題的示例性過程的流程圖；
[0026]圖6為示出用於進行調查的示例性過程的流程圖；
[0027]圖7為示出根據本發明的確定在線調查結果中由於未響應的調查數據所引起的偏差的方法的示例性實施方式的流程圖；
[0028]圖8為示出根據本發明的確定在線調查結果中由於錯誤的調查數據所引起的偏差的方法的示例性實施方式的流程圖。

【具體實施方式】
[0029]多種示例性實施方式提供這樣的系統和方法:基於校正在調查結果或普查結果中由於對調查或普查無響應和/或錯誤的數據引起的偏差，統計地校正在線調查結果或者普查結果。例如，這些在幫助廣告主提高廣告活動成功的可能性和廣告的成本效益方面可以是有價值的。
[0030]示例性實施方式提供了用於評估由於無響應的調查數據引起的偏差所影響的在線調查結果的在線調查的方案。其他示例性實施方式提供了用於評估由於錯誤的調查數據引起的偏差所影響的在線調查結果的在線調查的方案。示例性實施方式提供了統計地校正由於人(例如廣告的觀看者)經受調查時對調查無響應和/或錯誤的調查數據而引起的偏差所影響的在線調查。可以通過各種系統、方法和計算機指令來實現各種方面，該計算機指令存儲在計算機可讀介質上或存儲在計算機可讀介質內並且能夠被處理器執行以實現所需的調查以及統計地校正由於無響應的調查數據和/或錯誤調查數據引入的偏差所引起的調查結果。
[0031]多種示例性實施方式尤其適用於計算機實現的基於軟體的系統和方法，來提供統計地校正由於無響應的調查數據和/或錯誤調查數據引入的偏差所造成的調查結果，在該上下文中，多種示例性實施方式將會予以描述。然而，應當理解，根據本發明的用於提供統計地校正由於無響應的調查數據和/或錯誤調查數據引入的偏差造成的調查結果的方法和系統有更大的效用，這是因為它們可以在硬體中或者軟體和硬體的結合中實現，以及也可以包含本文中沒有描述的其他模塊或者功能。
[0032]現在，參考附圖，圖1是示出根據在個人計算機12上實現的一個示例性實施方式的用於統計地校正由於無響應的調查數據和/或錯誤調查數據引入的偏差所造成的調查結果的計算機系統10的示例的框圖。具體的，個人計算機12可以包括顯示單元14、處理單兀16、和一個或者多個輸入/輸出設備18,輸入/輸出設備18允許用戶與個人計算機12執行的軟體應用程式交互。在所說明的示例中，輸入/輸出設備18可以包括鍵盤20和滑鼠22，但是也可以包括其他外圍設備，例如印表機，掃描儀等。處理單元16還可以包括中心處理單元(CPU) 24、持久性存儲設備26 (例如硬碟)、和存儲器28。CPU24可以控制持久性存儲設備26和存儲器28。
[0033]軟體應用程式可以存儲在持久性存儲設備26中，並且當軟體應用程式要被CPU24執行時該軟體應用程式可以被下載到存儲器28。在所示出的示例中，用於統計地校正由於無響應的調查數據和/或錯誤調查數據引入的偏差所造成的調查結果的應用程式30可以下載到存儲器28。用於統計地校正由於無響應的調查數據和/或錯誤調查數據引入的偏差所造成的調查結果的應用程式30可以實現為被CPU24執行的一個或者多個模塊。處理單元16可以與網際網路32連接。
[0034]根據其他各種設想的示例性實施方式，計算機系統10也可以使用硬體來實現，或者可以實現在不同類型的計算機系統上，例如客戶端/伺服器系統、網絡伺服器、大型計算機、工作站等。因此，根據另一個示例性實施方式，各種示例性實施方式可以通過託管網絡伺服器來實現。圖2中示出使用託管網絡伺服器的系統，通常由附圖標記1801表示。優選地,系統1801包括由個人計算機1802訪問的基於網絡的應用程式，如圖2所示。例如，個人計算機1802可以是在微軟、蘋果、Unix或者其他作業系統下運行的且提供有包括網絡瀏覽器的圖形用戶界面的個人計算機。在其他示例性實施方式中，個人計算機1802可以被連接網際網路的設備(例如平板電腦、智慧型手機、或者網際網路電視)代替。
[0035]個人計算機1802可以與網絡1807連接。例如，網絡1807可以使用網際網路連接實現。在系統1801的一個實現方式中，個人計算機1802可以移植到網際網路，並且由網絡伺服器1803代管。優選地，系統1801的圖形用戶界面顯示在連接至個人計算機1802的監控器1804上。滑鼠1806被提供用於包括系統1801的圖形用戶界面的屏幕或窗口之間的滑鼠驅動的導航。優選地，個人計算機1802還連接至鍵盤1808。滑鼠1806和鍵盤1808使用戶能夠利用系統1801來執行用於統計地校正由於無響應的調查數據和/或錯誤調查數據引入的偏差所造成的調查結果的應用程式30，該滑鼠1806和鍵盤1808可以位於網絡伺服器1803上。系統1801也可以包括與個人計算機1802連接的印表機1809來提供調查結果的硬拷件。
[0036]根據該系統的多種示例性實施方式，提供了統計地校正由於無響應的調查數據和/或錯誤調查數據引入的偏差所造成的調查結果。使用在線調查數據確定由於無響應的調查數據和/或錯誤調查數據引入的偏差所造成的調查結果的統計的校正。關於使用支持網絡的設備(例如計算機、平板電腦、PDA、網絡電視、諸如蜂窩電話的行動裝置(例如，智慧型手機)等，通過網絡提供給人們的廣告，將通過示例而非限制的方式描述根據本發明的示例性實施方式。
[0037]圖3是示出調查環境100的框圖。在所示出的示例中，在線調查系統102可以與應用程式30 —體或設置成結合應用程式30，應用程式30用於分析調查數據和用於統計地校正由於無響應的調查數據和/或錯誤調查數據引入的偏差所造成的調查結果。在線調查系統102包括站點管理器110、採樣引擎112和調查引擎114，該調查引擎114連接至包括分析引擎116及分析儀錶板118的應用程式30，該應用程式30用於統計地校正由於無響應的調查數據和/或錯誤調查數據引入的偏差所造成的調查結果。在一個示例性實施方式中，部件110-118實現為電腦程式指令，該電腦程式指令在包括在一個或多個計算機(諸如圖1示出的計算機系統10和/或圖2示出的網絡伺服器1803)中的一個或多個處理器上執行。部件可以實現為同一進程/程序的不同的線程或者實現為不同的進程/程序。在不同的示例性實施方式中，一個或者多個部件可以組合，部件的功能可以混合。在一個示例性實施方式中，部件可以共同提供基於網絡的「軟體即服務」(SaaS)，在線調查系統的用戶可以與該「軟體即服務」交互，該用戶包括各方，例如有興趣調查在某些網站訪問的媒體的觀看者的網站所有者(通常稱為網站所有者)104、帶有支持網絡的設備的觀看者106、及對調查結果感興趣的各方(通常稱為廣告購買者或廣告買家)108。在線調查SaaS生成調查，且處理、分析並呈現調查數據。
[0038]站點管理器110允許網站所有者104註冊或者提供調查服務和提供信息給廣告購買者。在一些示例性實施方式中，網站所有者104可以提供廣告，並且因此也等同於廣告購買者108。在一些示例性實施方式中，網站所有者104提供與待被調查的觀看者106所訪問的任何網站相關聯的URL (全球資源定位器，Universal Resource Locator)。網站可以是頂級網站或者子網站。如下面將更詳細地描述，關於通過網站將介質提供至多個觀看者106生成一個或者多個調查。調查信息存儲在數據存儲器120中。
[0039]多個觀看者106中的所有或者一部分可以被選擇來進行調查。在一些示例性實施方式中，當觀看者在網站上被提供包括廣告的內容或瀏覽頁面時，觀看者106的網絡瀏覽器發送請求給採樣引擎112。在其它示例性實施方式中，在接收到請求時，採樣引擎112控制是否邀請觀看者106參加調查。在一些示例性實施方式中，邀請觀看者106參加調查可以基於一個或者多個因素，包括:例如，網站點擊率、頁面點擊率、之前的參與接受率、到調查結束所剩的時間、完成調查還需要的樣本數量、統計要求等。如果採樣引擎112確定邀請應該提供給觀看者 106，則以橫幅、內容層、彈出窗口等形式向觀看者提供可視化調查，來確定觀看者是否願意加入調查。如果觀看者106做出肯定的響應，則調查引擎114從數據存儲器120中獲取調查，並將該調查通過瀏覽器提供給觀看者，或者可以將觀看者導向至調查引擎創建的調查頁面。
[0040]調查引擎114使調查問題顯示，收集調查結果，並且將調查結果存儲在數據存儲器120中。分析引擎116分析調查結果，如下面更詳細地描述。分析儀錶板118視覺上顯示調查結果，使得調查結果可以被感興趣的各方(例如網站所有者104和廣告購買者108)觀看，來了解從觀看者106獲取的調查結果。
[0041]通常，調查通過網站創建和存儲以用於提供調查。如下面更詳細地描述，在一些示例性實施方式中，調查可以被網站所有者104創建。在其他示例中，調查可以被廣告購買者108創建。在一些示例性實施方式中，網站所有者104和/或廣告購買者108可以包括調查問題，該調查問題來自選自存儲在資料庫中的問題的、數據存儲器120中的待用於調查的問題中的一組預定的問題。可選地，在一些示例性實施方式中，網站所有者104和/或廣告購買者108可以自己添加額外的問題。在一些示例性實施方式中，某些調查問題可以自動包括在調查中。調查提供給選自多個觀看者106的可能的調查參與者。在一些示例性實施方式中，進行隨機選擇以減少所選擇的樣本中的偏差。在一些不例性實施方式中，選擇包括對照組的觀看者106。
[0042]一旦調查生成，則網站所有者104可以指定腳本標籤(例如，〈scriptsrc= 「http://static.domainname, com/start.js?id=23a878527a」 >〈/script),該腳本標籤包括與提供給觀看者的具有待被調查的目標廣告的內容或在網站上的具有待被調查的目標廣告的頁面相關的唯一標識符。網站所有者104隨後可以指示網站準備好開始調查。因此，每當包含廣告的內容或在網站上的包括廣告的頁面被下載到觀看者的瀏覽器中時，腳本標籤使得觀看者的瀏覽器發送請求給採樣引擎112，該採樣引擎112選擇性地招募觀看者來參加調查。系統102重複將調查呈現給可能的調查參與者直到大量的觀看者106的樣本已參與調查。
[0043]圖4是示出調查問題的示例的框圖。在一些示例性實施方式中，調查問題可以用於收集關於觀看者106的人口統計信息(例如，不易改變的性格特徵)和關於觀看者的心理信息(例如，偏好、興趣和嗜好)。在一些示例性實施方式中，一組或多組涉及一般信息(諸如觀看者的人口統計信息和/或心理信息)的默認問題(例如，「核心」問題和「產品購買」問題)也可以包括在調查中。此外，在一些示例性實施方式中，網站所有者104或廣告購買者108可以選擇將某些自定義問題包括在調查中。
[0044]圖5是示出用於對調查問題進行排序的非限制性示例的流程圖500。在這個非限制性示例中，稱為「核心前綴」問題502的問題可以放置在調查的開始。這些問題被認為是基礎的和直接的，涉及例如年齡、性別、地理位置、網際網路使用等。廣告特定問題可以放置在核心前綴問題之後。在廣告特定問題中，較容易的問題504(例如對同一產品類別中的不同產品或同一服務類別中的不同服的偏好)可以放置在更具挑戰性的問題506 (例如產品購買習慣和計劃)之前。可選的自定義問題508可以加在類別特定的問題之後。最難/敏感的問題510 (例如收入和觀看者106所寫的反饋/建議)(在該示例中，稱為「核心後綴」)可以放在調查的最後。答案通常已知的一般問題512也可以包括在調查中，如下面將更詳細地描述。在另一示例中，調查可以僅問一個問題。
[0045]圖6是示出用於執行調查的過程的示例的流程圖。可以在諸如系統100上執行過程600。在這個示例中，過程600開始於601，在601處，創建調查，如上所述。在602，使用統計技術確定關於通過網站提供的廣告的調查目標。調查目標反映實現具有特定的置信區間的特定的誤差範圍所需的調查的數量。例如，為了實現置信區間為95%的誤差範圍±5%，每月提供廣告給一百萬觀看者106的網站將需要來自該月的觀看者中的約400名隨機採樣的調查響應者。在603，網站發起調查。
[0046]在604，來自觀看者106的請求被接收。如前面所述，在一些示例性實施方式中，網站所有者104將腳本標籤嵌入到所提供的內容中或者觀看者106訪問的網頁上。因此，當觀看者的瀏覽器在網站上下載內容或者網頁時，可以發送請求給在線調查系統102。在605,確定是否應當將參加調查的提議提供給觀看者106。在一些示例性實施方式中，參加調查的提議提供給所有觀看者106。在一些示例性實施方式中，參加調查的提議僅提供給多個觀看者中的一部分或者一定的百分比的觀看者。例如，通過將對於觀看者106生成的隨機數在預定的數量範圍內作為提供觀看者參與調查的機會的條件，可以確定觀看者中的該部分。通過進一步舉例的方式，通過相比於預定的數量追蹤自提議最後一次提供以來的訪問次數，以確定是否將提議提供給觀看者106，可以確定該部分。通過另一個示例，百分比可以被計算為完成率，該完成率等於迄今完成的調查的數量與調查提議的數量之比，並且可以包括基於初始的小的完成數量(例如，3-5個完成的調查)和對應的初始的調查提議數量計算的初始完成率。
[0047]如果沒有選擇觀看者106並且沒有提議要提供，則控制返回到605來等待在604的另一個請求；否則，調查提議提供給觀看者106，在606，確定調查提議是否被觀看者接受。如果所選擇的觀看者106沒有接受調查提議，控制返回到604來等待另一調查請求。如果觀看者106接受，則在608，調查問題在觀看者的瀏覽器中按適當排列的順序呈現給觀看者，並且記錄對調查問題的響應。可選地，在610，捕獲額外的響應特徵。
[0048]本文中使用的響應特徵指的是與調查對象而不是對調查響應上下文相關的特徵。響應特徵的示例包括調查的時間、瀏覽器類型、瀏覽器所用的語言、頁面上下文信息(例如觀看者參照的URL，所參照的URL中的關鍵詞)、作業系統、屏幕尺寸、網絡位置、地理位置坐寸ο
[0049]在612，結果(包括調查響應和響應特徵)存儲在數據存儲器120中。在614，確定是否已獲得目標樣本。如果是，在616，過程600結束；否則，控制返回604以等待來自觀看者106的另一請求，直到代表性數量的觀看者已完成調查，以實現目標樣本。
[0050]一旦大量的觀看者106已完成調查，則可以提供對於抽樣人口的累積調查結果。調查結果也可以通過多種方法進行分類和分析。例如，分析儀錶板118可以基於對調查問題的回答將調查響應者的簡介的細目提供給網站所有者104和/或廣告購買者108，該細目例如為基於性別、年齡、種族、職業、收入、地理位置、購買習慣、購買意向或者其他調查響應的細目。此外，分析儀錶板118可以基於響應特徵提供調查信息細目，該響應特徵例如時間、網頁上下文、瀏覽器種類、作業系統、地理位置、或涉及的網站，例如博客或者搜尋引擎或者其他目錄。然而，如果未響應者的比例高或者調查結果包括錯誤的調查數據，則調查結果通常是有偏差的。
[0051]基於經驗數據，對這樣的調查的未響應是高的，約90%到95%，並且可能高達99%。就是說，預計在一百名觀看者中能夠有約一個觀看者響應這樣的調查。因此，至關重要的是，評估對於多個數觀看者106中的作出響應的百分之一的觀察者的調查結果，以確定未響應的調查偏差，因為在調查結果中由於未響應的調查偏差導致的任何偏離會影響調查結果O
[0052]根據一個示例性實施方式，用於確定未響應的調查偏差的方法可以基於初始調查結果執行。如圖7所示的過程流程圖所示，在圖6所示的616完成調查後，在702開始未響應的調查偏差確定方法700。在704，獲取存儲在處理器可讀存儲介質(例如數據存儲器120)的調查響應數據。在706，包括分析引擎116的處理器可執行的樣本分析模塊分析調查響應，以確定響應的數目。通過採樣引擎112追蹤提供有調查的觀看者106的總數並且將該總數存儲在數據存儲器120中。在708，樣本分析模塊通過將對調查響應的數量除以提供有調查的觀看者總數，來確定響應於調查的觀看者106的百分比。
[0053]如上所述，響應的數量需要實現非常準確的調查目標；就是說，如果響應調查的觀看者106的百分比低於預定的閾值百分比，樣本可以被認為是太小而易受統計分析影響。在一個示例性實現方式中，預定的閾值百分比可以基於實現具有特定的置信區間的特定的誤差範圍所需的調查目標。例如，為了實現置信區間為95%的誤差範圍±5%，每月提供廣告給一百萬觀看者的網站將需要來自該月的觀看者中的約400名隨機採樣的調查響應者。並且，響應的百分比確定每個響應在統計分析中的權重；就是說，響應的百分比越低，每個響應在統計分析中所佔的權重越大，且由於無響應的調查數據而使整體調查結果偏差也越多，例如，如果少數響應的觀看者106中的大部分的印象不是良好的，則結論將是在利用未響應的觀看者培養良好的印象方面廣告可能不成功，因為廣告沒有與未響應的觀看者產生共鳴並且他們選擇不去完成調查，這要麼因為他們沒有理解廣告內容並且沒有感到有資格回復調查問題，要麼因為他們不想花費時間回答關於起初沒有吸引他們的廣告的問題。本領域技術人員也熟悉其他確定響應調查的百分比的原因。
[0054]在一個優選實現方式中，多個觀看者106中的一部分組成對照組。對照組中的觀看者106的識別是通過在對照組中的觀看者106所使用的觀看設備上的用戶ID或者「跟蹤記錄標記(cookie)」，相對地，沒有通過用戶ID或者跟蹤cookie識別為對照組中的觀看者的觀看者在下文為了方便將稱為「測試組」。此後，在測試組內的多個觀看者106可以基於他們的觀看設備上的用戶ID或者跟蹤cookie被識別為測試組中的觀看者。在710，樣本分析模塊將來自測試組中的觀看者106的調查結果和來自對照組中的觀看者106的調查結果分類。
[0055]在712，包括分析引擎116的統計分析模塊獲取從兩組中得到的調查數據，以確定對照組的平均響應和測試組的平均響應，並且比較來自測試組中的觀看者106的平均響應和來自對照組中的觀看者的平均響應，從而確定調查數據的一致性。通過非限制性示例的方式，可以比較響應於一般問題「您喜歡廣告嗎？是/否。」的調查數據。如果測試組中的大多數觀看者106和對照組中的大多數觀看者回答「是」，那麼調查結果被認為是一致的，並且平均響應是「良好的」。
[0056]統計分析模塊也可以分析關於某些調查問題的調查結果中的標準差。通過非限制性示例的方式，統計分析模塊可以分析從測試組和對照組中的觀看者106獲取的對問題「下次我購買手機時，我會考慮做廣告的手機？強烈不同意[I]/不同意[2]/不確定[3]/同意[4]/非常同意[5]」的調查數據。可以通過將對應於響應的所有數(例如，「 1」、「2」、…「5」)求和並且除以響應的數量，並且將平均值基於原始結果或者可選地將結果四舍捨入到最接近的整數，來確定平均值。
[0057]然後，統計分析模塊可以根據多個觀看者106響應於調查的調查結果確定該廣告關於幫助未來的購買決策有什麼影響。例如，如果多個觀看者106中大部分響應「同意」(例如，「同意」被確定是平均值)，通過評估除了 「同意」以外的響應，調查結果可以被分析來確定來自多個觀看者的響應的方差，並且統計分析模塊隨後可以基於觀看者的響應的方差，來確定標準差，以評估剩餘的觀看者是趨於「不確定」或趨於「非常同意」。
[0058]在這個非限制性示例中，分析可以基於標準統計分析。在統計和概率論中標準差(由符號σ表示)示出自平均數(平均值或者期望值)存在的變差或者「離差」的程度。低標準偏差表示數據點趨於非常接近於平均值；高標準偏差表示數據點分布在較大的值的範圍內。隨機變量、統計總體、數據集或者概率分布的標準差是其方差的平方根。
[0059]可以在響應的觀看者106中確定方差和標準差，來評估由於對調查未響應所引起的偏差。就是說，標準差可以推斷正偏差或者負偏差。例如，如果方差和標準差不出響應中的趨勢朝向「非常同意」遠離「同意」，則未響應的調查偏差被確定為正偏差。相反，如果方差和標準差示出響應中的趨勢朝向「不確定」遠離「同意」，則未響應的調查偏差被確定為負偏差。
[0060]在716，基於分析的結果，包括分析儀錶板118的數據搜集和匯總模塊可以創建報告，該報告包括測試組中的原始數據和來自多個觀看者106的調查數據的關於平均響應的分析結果、自該平均響應的標準差、和基於觀看者106的響應確定未響應的調查偏差、以及對於對照組中的多個觀看者的原始數據以及分析結果。如果在718沒有發起驗證，過程在720結束。
[0061]在一些示例性實施方式中，統計分析模塊也可以比較測試組的標準差的結果和對照組的標準差的結果，來確定結果是否相似。因此，可以期望重新調查以獲得來自沒有參加初始調查的觀看者106的調查數據，如下面更詳細地描述。
[0062]統計分析模塊也可以分析問題「做廣告的產品的品牌是什麼？蘋果iPhone/摩託羅拉Razor/三星Galaxy/不記得」的結果來驗證來自多個觀看者106的響應,和確定廣告是否產生品牌認知。如果多個觀看者106在其響應中識別出正確的品牌，則這強化了關於他們對考慮購買產品的響應的問題的響應。另一方面，如果多個觀看者106的響應包括「非常同意」和「不記得」，則這會引起對調查數據的質疑。對來自對照組中的多個觀看者106的相應響應的檢查也可以作為對關於測試組的呈現為值得懷疑的調查結果的雙重檢查。然而，如果來自測試組和對照組的結果相似，則統計分析模塊可以確定廣告未能創建品牌認知或未能提聞品牌認知。
[0063]根據另一個示例性實施方式，未響應的調查偏差的確定可以作為兩階段過程執行。第一階段與上面描述的相同。第二階段是通過將控制返回到圖6中所示的603，重新調查多個觀看者106，最初通過網際網路將廣告提供給該多個觀看者106但是該多個觀看者未響應，並且使用來自包括測試組和對照組的多個觀看者的初始響應和新的響應再次進行分析。
[0064]在一個示例性實施方式中，僅重新調查測試組中的沒有響應的多個觀看者106。可以通過跟蹤cookie確定被重新調查的多個觀看者106的身份。兩階段過程具有如下的額外的優勢:使系統分析模塊能夠確定初始調查的調查結果和重新調查的調查結果的一致性。然後，來自重新調查的調查數據和初始調查數據相結合，並且進行如上所述的分析，以評估由於對初始調查未響應而引起的偏差。
[0065]本領域的技術人員應當理解，測試組和對照組中的多個觀看者106的識別需要允許那些觀看者使用用戶ID。此外，本領域的技術人員也明白跟蹤cookie通常維持限定量的時間，例如，30天，使得重新調查必須在刪除跟蹤cookie之前的指定的時段內發生。
[0066]通過示例而非限制的方式提出下列兩階段過程。通過這個非限制性示例，調查問題是「下次我購買手機時，我會考慮做廣告的手機？強烈不同意[I]/不同意[2]/不確定
[3]/同意[4]/非常同意[5]」。例如，如上面所述，如果測試組的大多數響應「同意」且從測試組中的觀看者106中的響應的方差計算出的標準差傾向「非常同意」，而不是傾向「不確定」，則可以通過將控制返回到圖6中所示的603，重新調查測試組的未響應的觀看者，以確定測試組中的沒有響應的觀看者中的傾向是否保持為「非常同意」，或者未響應的調查偏差是否與傾向於「非常同意」不同。在718，也可以進行重複調查以驗證分析結果。
[0067]根據另一個示例性實施方式，可以執行確定調查結果中的錯誤響應以確定由於錯誤的調查數據所引起的偏差。錯誤響應的發生使得對從被調查的觀看者106獲得的調查數據提出質疑，並且能夠使網站所有者104或者廣告購買者108由於有效性值得懷疑而捨棄從這些觀看者獲取的調查結果。在一個示例中，基於經驗數據，確定大約20%的調查響應包括錯誤數據。
[0068]為了確定來自觀看者106的調查數據是否是錯誤的，在調查中包括預計多個觀看者106知道答案的一個或多個問題。如果觀看者106不正確地響應，例如，對通常已知答案的問題響應錯誤的答案，則可以捨棄對於該觀看者的調查數據。
[0069]圖8是用於確定調查結果中由於存在錯誤的數據而引起的偏差的過程800的示例性實施方式的流程圖。在圖6所示的616完成調查之後，在802，開始錯誤的調查偏差確定的方法800。在804，獲取存儲在處理器可讀存儲介質(如數據存儲器120)中的調查響應數據。在806，包括分析引擎116的處理器可執行的樣本分析模塊檢查對調查中包括的答案通常已知的一個或者多個問題的答覆。通過非限制性示例，再次參考圖4，在調查中可以包括一般問題，例如「哪位美國總統出現在5美元鈔票上？華盛頓/傑弗遜/林肯/上述都不是」。如果觀看者106響應「華盛頓」，例如，對通常已知答案「林肯」的問題響應錯誤答覆，則在808，可以捨棄該觀看者的調查數據。然後，在810，樣本分析模塊從總調查結果中減去捨棄的調查結果的數量，並且確定是否保留了統計學上顯著數量的響應。如果沒有，可以通過將控制返回到圖6所示的603來重複調查；否則，在812，基於調查結果的分析結果，包括分析儀錶板118的數據搜集和匯總模塊可以創建包括原始數據和調查數據的分析結果的?艮告。
[0070]儘管已使用具體的術語和設備描述了多種實施方式，但是這樣的描述僅是為了說明性目的。使用的詞語是說明性詞語而不是限制性詞語。應當理解，不脫離本發明的說明書和附圖支持的多種發明的精神或範圍的基礎上，本領域的普通技術人員可以進行改變和變型。此外，應當理解，各種其他實施方式的方面可以全部或者部分互換。例如，通過非限制性示例已描述了統計地校正由於未響應的調查數據和/或錯誤的調查數據所引入的偏差所引起的調查結果。然而，本文公開的多種原理更一般地適用，例如，與進行普查有關。因此，本發明意圖依據本發明的真實精神和範圍，在不存在限制和禁止的情況下解釋權利要求書。
【權利要求】
1.一種校正關於與多個觀看者所觀看的媒體相關的廣告內容的調查結果中由於未響應於調查而引起的偏差的系統，包括: 採樣引擎，所述採樣引擎包括能夠被計算機系統執行以進行包括一個或多個問題的調查的指令，所述一個或多個問題提供給能夠被所述多個觀看者訪問的媒體的所述多個觀看者； 調查引擎，所述調查引擎包括能夠被所述計算機系統執行以接收包括所述多個觀看者對所述調查的響應的調查數據的指令； 數據存儲器，所述數據存儲器包括能夠被所述計算機系統執行以將調查響應數據存儲在計算機可讀存儲介質中的指令；以及 分析引擎，所述分析引擎包括指令，所述指令在調查完成後能夠被所述計算機系統執行，以分析所述調查響應數據從而確定所述調查響應數據的平均值、方差和標準差，並且在響應的觀看者中分析所述方差和所述標準差來推斷未響應的調查偏差。
2.如權利要求1所述的系統，還包括分析儀錶板，所述分析儀錶板包括被所述計算機系統執行以創建包括平均響應、自所述平均響應的標準差、和基於所述多個觀看者的響應確定未響應的調查偏差的報告的指令。
3.一種確定關於與多個觀看者所觀看的媒體相關的廣告內容的調查結果中由於錯誤的調查數據所引起的偏差的系統，包括: 採樣引擎，所述採 樣引擎包括能夠被計算機系統執行以進行包括一個或多個問題的調查的指令，所述一個或多個問題提供給能夠被所述多個觀看者訪問的媒體的所述多個觀看者，其中，所述問題中的至少一個問題由預計所述多個觀看者知道答案的問題組成； 調查引擎，所述調查引擎包括能夠被所述計算機系統執行以接收包括所述多個觀看者對調查的響應的調查數據的指令； 數據存儲器，所述數據存儲器包括能夠被所述計算機系統執行以將調查響應數據存儲在計算機可讀存儲介質中的指令；以及 分析引擎，所述分析引擎包括在調查完成後能夠被所述計算機系統執行以分析所述調查響應數據從而檢查調查數據中的對包括在調查中的答案通常已知的所述至少一個問題的答覆並且選擇性地捨棄包括錯誤答覆的調查數據的指令。
4.如權利要求3所述的系統，其中，包括錯誤答覆的所述調查數據被捨棄，並且其中，所述分析引擎減去包括錯誤答覆的所捨棄的調查響應的數目並且確定是否保留了統計學上顯著數量的響應，並且其中，如果所保留的響應的數量在統計學上是不足的，則所述採樣引擎重複調查。
5.如權利要求3所述的系統，還包括分析儀錶板，所述分析儀錶板包括被所述計算機系統執行以創建包括所述調查數據的報告的指令。
6.一種用於確定關於與被多個觀看者所觀看的媒體相關的的廣告內容的調查結果中的未響應的調查偏差的方法，包括: 進行包括一個或多個問題的調查，所述一個或多個問題提供給能夠被所述多個觀看者訪問的媒體的所述多個觀看者； 接收包括所述多個觀看者對所述調查的響應的調查數據； 將調查響應數據存儲在處理器可讀存儲介質中；在所述調查完成後，使用處理器來獲取所述調查響應數據； 使用所述處理器確定所述調查響應數據的平均值、方差、和標準差；以及 使用所述處理器在響應的觀看者中分析所述方差和所述標準差以推斷所述未響應的調查偏差。
7.如權利要求6所述的方法，還包括: 追蹤提供有所述調查的觀看者的總數，並且將所述總數存儲在所述處理器可讀存儲介質中。
8.如權利要求6所述的方法，還包括: 分析所述調查響應數據以確定響應的數量。
9.如權利要求8所述的方法，還包括: 追蹤提供有所述調查的觀看者的總數，將所述總數存儲在所述處理器可讀存儲介質中，通過將響應於調查的數量除以提供有所述調查的觀看者的總數，來確定響應於所述調查的觀看者的百分比，並且確定所述百分比是否至少等於預定的閾值百分比，使得來自所述多個觀看者的所述調查結果構成能容許可靠的統計分析的足夠的樣本。
10.如權利要求6所述的方法，其中，所述多個觀看者中的第一部分構成對照組，並且所述多個觀看者中的第二部分構成測試組。
11.如權利要求10所述的方法，還包括通過第一部分觀看者中的相應的觀看者所使用的觀看設備上的跟蹤cookie，來識別所述對照組中的觀看者。
12.如權利要求11所述的方法，其中，最初沒有通過用戶ID或者跟蹤cookie識別為所述對照組中的觀看者的觀看者，隨後基於在第二部分觀看者中的相應的觀看者所使用的觀看設備上的用戶ID或者跟蹤cookie識別為所述測試組中的觀看者。
13.如權利要求10所述的方法，還包括將來自所述測試組中的觀看者的調查數據和來自所述對照組中的觀看者的調查數據分類。
14.如權利要求13所述的方法，還包括獲取從兩組中得到的調查數據，以確定所述對照組的平均響應和所述測試組的平均響應，並且比較來自所述測試組中的多個觀看者的平均響應和來自所述對照組中的所述觀看者的平均響應，從而確定調查數據的一致性。
15.如權利要求6所述的方法，還包括創建報告，所述報告包括所述平均響應、自所述平均響應的標準差、和基於所述多個觀看者的響應確定未響應的調查偏差。
16.如權利要求6所述的方法，還包括重新調查未響應的觀看者以獲取調查數據。
17.如權利要求6所述的方法，還包括分析所述調查數據以評估品牌認知度。
18.一種確定關於與多個觀看者所觀看的媒體相關的廣告內容的調查結果中由於錯誤的調查數據所引起的偏差的方法，包括: 進行包括一個或多個問題的調查，所述一個或多個問題提供給能夠被所述多個觀看者訪問的媒體的所述多個觀看者，其中，所述問題中的至少一個問題由預計所述多個觀看者知道答案的問題組成； 接收包括所述多個觀看者對調查的響應的調查數據； 將調查響應數據存儲在處理器可讀存儲介質中； 在調查完成後，使用處理器獲取所述調查響應數據；以及 使用所述處理器分析所述調查響應數據從而檢查調查數據中的對包括在調查中的答案通常已知的所述至少一個問題的答覆，並且選擇性地捨棄包括錯誤答覆的調查數據。
19.如權利要求18所述的方法，其中，包括錯誤答覆的所述調查數據被捨棄，並且所述方法還包括減去包括錯誤答覆的所捨棄的調查響應的數目，確定是否保留了統計學上顯著數量的響應，並且如果所保留的響應的數量在統計學上是不足的，則重複調查。
20.如權 利要求18所述的方法，還包括創建包括調查數據的報告。
【文檔編號】G06Q30/02GK104050228SQ201410096316
【公開日】2014年9月17日 申請日期:2014年3月14日 優先權日:2013年3月14日
【發明者】阿亞潘·撒恩卡然, 哈利姆·達默爾吉, 維傑·考希克 申請人:優米有限公司