此文是惠州包裝設(shè)計(jì)公司關(guān)于設(shè)計(jì)公司如果推廣和營(yíng)銷(xiāo)企業(yè)的分享，惠州包裝設(shè)計(jì)公司旨在想讓更多的設(shè)計(jì)公司提高設(shè)計(jì)業(yè)務(wù)能力！
注：配圖為UCI設(shè)計(jì)公司作品
在大學(xué)里，我上了一堂統(tǒng)計(jì)學(xué)課，我們花了一個(gè)半月的時(shí)間用撲克牌計(jì)算特定結(jié)果的概率。這是迄今為止最有趣的概念之一，我確信它會(huì)成為我余生中難以置信的實(shí)用數(shù)學(xué)工具（坦白說(shuō)，它沒(méi)有)。
在那堂課上，我還背了一次期中考試的統(tǒng)計(jì)顯著性的定義。尋找重要性的計(jì)算對(duì)我正在處理的任何東西來(lái)說(shuō)都太復(fù)雜了，所以我很快就忘記了除了定義以外的任何東西。
畢業(yè)后，我開(kāi)始了我在數(shù)字營(yíng)銷(xiāo)領(lǐng)域的工作，我的目標(biāo)和許多營(yíng)銷(xiāo)人員一樣："盡可能快地測(cè)試一切，并在幾個(gè)月內(nèi)實(shí)現(xiàn)業(yè)務(wù)增長(zhǎng)"。
如果你讀完之后咯咯地笑了，那是因?yàn)槟憧赡芤呀?jīng)在市場(chǎng)營(yíng)銷(xiāo)領(lǐng)域呆了足夠長(zhǎng)的時(shí)間，知道得更多。在這一點(diǎn)上，我也是。好的、數(shù)據(jù)驅(qū)動(dòng)的營(yíng)銷(xiāo)需要時(shí)間、努力，不僅僅是知道統(tǒng)計(jì)學(xué)意義的定義就能成功。
統(tǒng)計(jì)學(xué)意義的學(xué)術(shù)觀點(diǎn)
統(tǒng)計(jì)顯著性的含義簡(jiǎn)單明了，定義為：
"……兩個(gè)統(tǒng)計(jì)數(shù)據(jù)之間的測(cè)量差異是測(cè)試變量中真實(shí)差異的結(jié)果而不是偶然結(jié)果的概率。這意味著一個(gè)測(cè)試的結(jié)果不是隨機(jī)或偶然出現(xiàn)的，而是因?yàn)楸粶y(cè)試的特定變化，所以它可以歸因于特定的原因。"
基本上，你在一個(gè)特定的活動(dòng)或特定的測(cè)試中發(fā)現(xiàn)的令人敬畏的結(jié)果有可能會(huì)隨著時(shí)間的推移而保持不變（或有害)。
有幾種方法可以計(jì)算重要性：
執(zhí)行計(jì)算兩個(gè)樣本的標(biāo)準(zhǔn)差、計(jì)算每個(gè)樣本的方差、查找z指數(shù)并將其與t評(píng)分表進(jìn)行比較的步驟，以確定結(jié)果是否距離中間值足夠遠(yuǎn)，從而確定結(jié)果是否顯著。
使用一個(gè)計(jì)算器來(lái)計(jì)算重要性，就像這個(gè)。
如果您以百分比形式計(jì)算顯著性，您希望它盡可能高（如果您保留真實(shí)形式的p值，目標(biāo)是使它盡可能低)。對(duì)于學(xué)術(shù)研究，一般把90-95%解釋為門(mén)檻。也就是說(shuō)，您的結(jié)果有95%的可能性是由您的變量導(dǎo)致的用戶(hù)行為差異造成的，而觀察到的差異有5%的可能性是由偶然因素造成的。
如果數(shù)據(jù)達(dá)到顯著性水平，那么就有足夠的數(shù)據(jù)來(lái)拒絕零假設(shè)，其中零假設(shè)是我們想要反駁的點(diǎn)（例如：在一個(gè)測(cè)試中，我將一個(gè)按鈕的顏色改變?yōu)閹追N不同的色調(diào)，我的零假設(shè)是按鈕的顏色無(wú)關(guān)緊要。我想證明這個(gè)觀點(diǎn)是錯(cuò)誤的)。
相反，如果在一項(xiàng)徹底的研究中，置信水平低于95%,就可以說(shuō)沒(méi)有足夠的證據(jù)來(lái)拒絕零假設(shè)，研究者應(yīng)該用一組新的變量重新測(cè)試，或者選擇一個(gè)新的零假設(shè)。
營(yíng)銷(xiāo)人員對(duì)統(tǒng)計(jì)重要性的理解
好吧，但這在數(shù)字營(yíng)銷(xiāo)領(lǐng)域意味著什么？
簡(jiǎn)短的回答是：如果測(cè)試一個(gè)特定的變量沒(méi)有產(chǎn)生一個(gè)具有高度統(tǒng)計(jì)學(xué)意義的數(shù)據(jù)集，你的營(yíng)銷(xiāo)費(fèi)用和網(wǎng)站就有風(fēng)險(xiǎn)了。反之亦然。如果你沒(méi)有衡量每個(gè)結(jié)果的重要性，你可能會(huì)錯(cuò)過(guò)一個(gè)寶貴的機(jī)會(huì)。
例如，在我們合作的一個(gè)大型電子商務(wù)網(wǎng)站上，我們的目標(biāo)是提高用戶(hù)訪問(wèn)男裝類(lèi)產(chǎn)品頁(yè)面的速度。我們知道，人們?cè)娇煺业剿麄兿矚g的產(chǎn)品，他們就越有可能在第一次訪問(wèn)時(shí)完成轉(zhuǎn)化過(guò)程。
我們希望有一個(gè)大的改進(jìn)，當(dāng)結(jié)果沒(méi)有顯示出大的變化時(shí)，我們相對(duì)失望。事實(shí)上，在更深入地分析數(shù)據(jù)之前，我們認(rèn)為這根本不是一個(gè)好的方向。
空假設(shè)（當(dāng)前狀態(tài)):過(guò)濾選項(xiàng)的樣式對(duì)搜索和查找所需產(chǎn)品的能力沒(méi)有影響。
替代假設(shè)（我們想要證明的):更強(qiáng)大的過(guò)濾選項(xiàng)將在幫助人們快速找到他們需要的東西并在首次訪問(wèn)時(shí)轉(zhuǎn)換方面發(fā)揮關(guān)鍵作用。
正如你在上面看到的，我們變體體驗(yàn)的轉(zhuǎn)換率提升不是很大。事實(shí)上，轉(zhuǎn)化率僅增加了微不足道的3.31%。
但是，當(dāng)我們通過(guò)顯著性計(jì)算器傳遞這些數(shù)據(jù)時(shí)，我們發(fā)現(xiàn)我們的結(jié)果具有98%的統(tǒng)計(jì)顯著性。這意味著觀察到的差異只有2%的幾率是由誤差引起的。
考慮到這一點(diǎn)，這個(gè)測(cè)試有了全新的意義。雖然結(jié)果不夠大，不足以徹底改變用戶(hù)體驗(yàn)，但通過(guò)計(jì)算數(shù)據(jù)集的重要性，我們可以依靠從測(cè)試中獲得的任何知識(shí)，并通過(guò)一組新的假設(shè)向前推進(jìn)，從而進(jìn)一步推動(dòng)信封。
雖然3.31%并不算大，但對(duì)測(cè)試中顯示的改進(jìn)充滿(mǎn)信心的能力意味著我們可以向前看，并計(jì)劃在未來(lái)6個(gè)月內(nèi)帶來(lái)數(shù)萬(wàn)美元的轉(zhuǎn)換提升。
沒(méi)有看到很高的意義？
在《哈佛商業(yè)評(píng)論》中，湯姆萊德曼回應(yīng)了我們關(guān)于營(yíng)銷(xiāo)中意義的真正價(jià)值的許多觀點(diǎn)。他說(shuō)：
"如果你在尋找希格斯玻色子，你可能想要一個(gè)極低的p值，也許是0.00001。但如果你在測(cè)試你的新?tīng)I(yíng)銷(xiāo)理念是否更好，或者你的工程師設(shè)計(jì)的新鉆頭是否比你現(xiàn)有的鉆頭工作得更快，那么你可能會(huì)愿意接受更高的值，甚至可能高達(dá)0.25。"
所以，在你放棄這個(gè)有80%重要性的實(shí)驗(yàn)之前，考慮以下幾點(diǎn)：
測(cè)試進(jìn)行了多長(zhǎng)時(shí)間？
如果它比普通顧客的購(gòu)買(mǎi)周期短，那就把它放久一點(diǎn)，以后再檢查（就我個(gè)人而言，我從來(lái)不會(huì)在數(shù)據(jù)少于2周的情況下進(jìn)行測(cè)試)
你的樣本有多大？
如果你的樣本少于1,000個(gè)訪問(wèn)者，請(qǐng)仔細(xì)考慮是否要進(jìn)行測(cè)試（每組幾千個(gè)訪問(wèn)者總會(huì)減少樣本中的差異)。樣本越小，數(shù)據(jù)集內(nèi)的方差自然就越大。如果你在處理低流量的頁(yè)面，試試這里的一些方法。
你的趨勢(shì)線是什么樣的？
如果你其中一種經(jīng)歷的轉(zhuǎn)化趨勢(shì)持續(xù)優(yōu)于另一種——特別是如果差距隨著時(shí)間的推移而擴(kuò)大——你可能走對(duì)了路。繼續(xù)調(diào)整和測(cè)試——你可能已經(jīng)找到了真正能提高轉(zhuǎn)化率的東西。
同樣，如果你在等待一組數(shù)據(jù)準(zhǔn)備好解釋?zhuān)?表現(xiàn)更好"的趨勢(shì)線是完全不穩(wěn)定的，那么在繼續(xù)走這條路之前要小心。
考慮你的最終目標(biāo)
如果你在主頁(yè)上運(yùn)行A/B測(cè)試，你可能會(huì)把底線收入作為你需要報(bào)告的指標(biāo)之一。但是，如果整體轉(zhuǎn)換停滯不前或難以解釋?zhuān)敲撮_(kāi)始觀察微觀轉(zhuǎn)換（用戶(hù)進(jìn)入下一步)以及宏觀轉(zhuǎn)換（本例中為購(gòu)買(mǎi))可能是有意義的。
這樣，如果你開(kāi)始發(fā)現(xiàn)較小目標(biāo)的重要性，你可以逐步測(cè)試轉(zhuǎn)化漏斗的不同部分，最終找到對(duì)最終目標(biāo)影響最大的步驟。
結(jié)論
雖然許多測(cè)試會(huì)失敗，但在沒(méi)有進(jìn)行一些基本計(jì)算來(lái)確定結(jié)果是否重要之前，任何分析都不能被認(rèn)為是"完成"的。
在為新的商業(yè)策略、廣告設(shè)置或網(wǎng)站設(shè)計(jì)投入大筆資金之前，試著做一些快速計(jì)算。這是確保你知道自己前進(jìn)的風(fēng)險(xiǎn)有多大的最好方法。因?yàn)椴还芤粋€(gè)變量是否能夠?qū)е乱粋€(gè)足夠大的結(jié)果來(lái)拒絕零假設(shè)，絕大多數(shù)的測(cè)試和變量都應(yīng)該提供可以給你指明正確方向的信息。
而且，盡管在大學(xué)里這肯定不是最有趣的話題，你可能會(huì)發(fā)現(xiàn)計(jì)算重要性真的成為你作為營(yíng)銷(xiāo)人員最實(shí)用的技能。
順便說(shuō)一句，如果你想在設(shè)置自己的網(wǎng)站測(cè)試或評(píng)估結(jié)果方面得到幫助，請(qǐng)?jiān)谶@里或評(píng)論中告訴我。我很樂(lè)意幫忙！
你如何在你的網(wǎng)站測(cè)試中使用統(tǒng)計(jì)顯著性？這篇文章有助于回答你的問(wèn)題嗎？請(qǐng)?jiān)谠u(píng)論中留下你的想法。
特雷弗安德森諾索爾
特雷弗的愛(ài)好包括積累戶(hù)外裝備、長(zhǎng)篇播客和構(gòu)建用戶(hù)行為策略。在他離開(kāi)辦公室的時(shí)候，你很可能會(huì)發(fā)現(xiàn)他在抽肉，和他的愛(ài)犬在一起。
注：配圖為UCI設(shè)計(jì)公司作品
通過(guò)惠州包裝設(shè)計(jì)公司的精彩分享，設(shè)計(jì)師更輕松快捷地掌握惠州包裝設(shè)計(jì)公司分享的營(yíng)銷(xiāo)與設(shè)計(jì)知識(shí)，幫助北京vi設(shè)計(jì)公司更好地服務(wù)好客戶(hù) 。
Copyright 2005-2024 ? UCI All Rights Reserved
聯(lián)合創(chuàng)智北京vi設(shè)計(jì)公司 版權(quán)所有
總監(jiān)微信咨詢(xún) 舒先生
業(yè)務(wù)咨詢(xún) 舒先生
業(yè)務(wù)咨詢(xún) 付小姐