商業(yè)地產(chǎn)數(shù)據(jù)庫(商業(yè)地產(chǎn)大數(shù)據(jù))
系列前言：海鼎科技·專家教程
在滿足了行業(yè)千余家客戶的數(shù)字化需求后，我們發(fā)現(xiàn)商業(yè)地產(chǎn)企業(yè)中不乏充滿激情和干勁的專業(yè)人才。他們要么為商業(yè)團(tuán)體和項目的發(fā)展貢獻(xiàn)了寶貴的智慧，要么在學(xué)術(shù)領(lǐng)域沉積了極其有價值的架構(gòu)體系。
今天，我們邀請他們參加海鼎科技專家系列課程，將他們所學(xué)到的、所理解的、所感受到的“暴露”給更廣泛的行業(yè)受眾，將他們的秘密知識呈現(xiàn)給行業(yè)公眾，造福行業(yè)的加速發(fā)展。
本期專家介紹：劉選草老師
2010年進(jìn)入零售行業(yè)，曾擔(dān)任多個商業(yè)項目的IT部門負(fù)責(zé)人。在經(jīng)歷了百貨、購物中心、商業(yè)街、超市、綜合體等業(yè)態(tài)7個項目（3個在籌）的發(fā)展成熟后，專注于商業(yè)地產(chǎn)數(shù)字化領(lǐng)域。
在數(shù)據(jù)分析專業(yè)領(lǐng)域，2015年深入學(xué)習(xí)統(tǒng)計學(xué)，2019年初通過法國ESSEC商學(xué)院數(shù)據(jù)分析專業(yè)認(rèn)證。2021年獲得聯(lián)合國下屬TRL聯(lián)盟頒發(fā)的獨(dú)立科學(xué)家認(rèn)證、TRL志愿者翻譯資格。同時，作為Unity和Unreal虛擬現(xiàn)實的獨(dú)立開發(fā)者，參與某大學(xué)文理專業(yè)數(shù)據(jù)可視化藝術(shù)作品的討論和制作。
寫在前面·作者序言：
商業(yè)數(shù)據(jù)分析（簡稱BA），結(jié)合前幾年大數(shù)據(jù)、人工智能的流行，受到了甲方、乙方的熱烈追捧。突然間，物聯(lián)網(wǎng)、新BI、新零售等新概念層出不窮?！娂娪楷F(xiàn)。
我在商業(yè)IT部門工作了11年。在這些年的項目經(jīng)歷中，我發(fā)現(xiàn)商業(yè)公司開始越來越重視數(shù)據(jù)。但在實際操作中，需要投入的不僅僅是資金，還需要專業(yè)素質(zhì)、理論基礎(chǔ)以及上層領(lǐng)導(dǎo)的理解和支持。各個方面缺一不可。有時不同項目之間差異巨大，報告很簡單，分析方法也是20年前的標(biāo)準(zhǔn)。BABI進(jìn)展如此緩慢也在情理之中。
在我過去的實際分析經(jīng)驗中，我發(fā)現(xiàn)傳統(tǒng)業(yè)務(wù)分析的結(jié)構(gòu)相當(dāng)簡單，包括同比、環(huán)比分析、漏斗下鉆、分類匯總，結(jié)合多個維度：比如銷售、面積效率、租賃等，由此產(chǎn)生的分析通常無法理解數(shù)據(jù)本身所包含的含義。針對這個問題，我將結(jié)合大量國內(nèi)外文獻(xiàn)和資料，以及借鑒其他行業(yè)的分析方法，用以下四章來粗略地描述一下這些年的分析方法和經(jīng)驗：
第一章：業(yè)務(wù)數(shù)據(jù)處理和描述性分析
第二章：相關(guān)性分析、數(shù)學(xué)模型應(yīng)用
第三章：無監(jiān)督學(xué)習(xí)下的顧客群體統(tǒng)計和門店統(tǒng)計
第4章：數(shù)據(jù)可視化
接下來，讓我們進(jìn)入本課程的第一章：“業(yè)務(wù)數(shù)據(jù)處理與描述性分析”。
分析中使用的軟件和語言僅供參考。
1.商業(yè)數(shù)據(jù)的特點及缺失值的處理
購物中心存在的本質(zhì)是合理控制承租人的運(yùn)營成本。當(dāng)與承租人的履約過程正常時，承租人不會在人員、促銷等費(fèi)用上產(chǎn)生巨大的投入（相對于百貨商場和超市）。
然而，國內(nèi)外商場都有一個核心問題：銷售情況無法及時獲得，這也是數(shù)據(jù)收集和分析困難的巨大問題。我們經(jīng)?？吹揭粋€店鋪的銷售數(shù)據(jù)是這樣的：
某商場在規(guī)定區(qū)間內(nèi)的品牌交易數(shù)據(jù)，缺失值用黃色表示。如圖所示，該品牌的銷售數(shù)據(jù)存在不規(guī)則、不規(guī)則的缺失，因此需要考慮使用插值補(bǔ)全來嘗試補(bǔ)全數(shù)據(jù)。但同時也應(yīng)該看到，補(bǔ)充銷售后，可能會直接影響現(xiàn)有銷售的業(yè)績。因此，需要在插值后進(jìn)行測試。最快的方法是使用ANOVA來檢驗方差。如果方差不大于某個閾值，說明插值結(jié)果是可用的，或者可以使用直觀的圖形來可視化數(shù)據(jù)趨勢來判斷數(shù)據(jù)的可讀性。
在做這一步之前必須明確一件事：插值處理是在沒有原始數(shù)據(jù)的情況下，根據(jù)品牌實際已有的銷售數(shù)據(jù)進(jìn)行數(shù)學(xué)模擬，填補(bǔ)空缺的位置。該方法用于發(fā)現(xiàn)數(shù)據(jù)的趨勢，而不是具體的單日比較或環(huán)比比較。
插值完成的方法有很多種。我習(xí)慣使用KNN、簡單插值和貝葉斯插值方法進(jìn)行比較。下圖列出了三種不同插值的結(jié)果。需要觀察插值范圍內(nèi)數(shù)據(jù)的一致性和周期性，最終確定插值方法。當(dāng)然，由于不同品牌的業(yè)務(wù)方式不同，插值不可能是統(tǒng)一的算法，否則可能會產(chǎn)生基于隨機(jī)數(shù)的數(shù)學(xué)規(guī)則，從而產(chǎn)生不應(yīng)該出現(xiàn)的噪音。
如果是多維度的數(shù)據(jù)，比如對某個客戶的屬性分析，包括年齡、性別、交易次數(shù)、單價等數(shù)據(jù)，缺失值會越來越復(fù)雜。左下圖顯示了同一組數(shù)據(jù)中各列中各個維度的缺失值。紅色是實際缺失值。右圖使用散點圖來標(biāo)記其他有缺失值的屬性的分布以及四分位圖。
多維缺失值處理需要使用主成分分析。首先，確定數(shù)據(jù)各個維度之間的相關(guān)性。如果交易數(shù)量和交易數(shù)量之間存在很強(qiáng)的相關(guān)性，算法可能會提示刪除其中一項。而如果一列數(shù)據(jù)恰好有很多缺失值，就可以剔除?；蛘呷绻摿械臄?shù)據(jù)與其他列的數(shù)據(jù)差異較大，也可以選擇刪除。
2.主成分分析
如何確認(rèn)哪些維度有意義？
有時候我們在分析某個品牌或者某類客戶的時候，可能會有太多的參考維度。對于客戶：年齡、性別、出生地、工作年限、年收入，哪些是最有影響力的客戶？購買產(chǎn)品的關(guān)鍵因素是什么？我們需要用主成分分析來確認(rèn)。
通過主成分分析（PCA），我們可以使用R語言找到主成分，并根據(jù)算法提示獲得對哪一列進(jìn)行數(shù)據(jù)處理的意見。
3.Outlier（異常數(shù)據(jù)）檢測
在某個品牌的銷售活動中，可能會出現(xiàn)高潮和低谷。我們需要利用統(tǒng)計的方法來找出這些異常的銷售天數(shù)并確定造成這種情況的原因。異常值檢測是一種常見的檢測分析方法。
異常值用于檢測數(shù)據(jù)中是否存在數(shù)據(jù)偏移、錯誤數(shù)據(jù)等。如果異常值在95%置信區(qū)間之外，則判斷是數(shù)據(jù)錄入錯誤還是大規(guī)?；顒訉?dǎo)致的短期大數(shù)據(jù)發(fā)生。種類。
在業(yè)務(wù)數(shù)據(jù)分析中，置信區(qū)間用于描述數(shù)據(jù)的可靠性。如果某段時間的數(shù)據(jù)超過置信區(qū)間，則節(jié)點數(shù)據(jù)可能存在數(shù)據(jù)錯誤或特殊情況導(dǎo)致的變化。如果銷售數(shù)據(jù)輸入錯誤，商場或品牌的大型活動可能會導(dǎo)致銷售數(shù)據(jù)出現(xiàn)大規(guī)模變化。當(dāng)然，具體情況還需要針對各個品牌進(jìn)行分析確認(rèn)。
如下圖所示，紅色部分標(biāo)記為異常值。此時就可以根據(jù)這個結(jié)果對數(shù)據(jù)進(jìn)行深入分析了。例如增加的原因，如是否存在銷售數(shù)據(jù)錄入錯誤等。
在這兩幅圖中，使用以下公式來識別異常值：
當(dāng)然，異常值的分配需要根據(jù)數(shù)據(jù)集的實際情況來判斷，比如使用kmeans或者層次聚類來獲得實際的分類閾值，然后進(jìn)行異常值分析。
如果只看門店環(huán)比、同比的銷售曲線，對實際情況沒有參考價值。我們需要使用時間序列模型來分析單個商店的銷售趨勢。我們可以通過這個模型來查看店鋪的銷售趨勢，甚至是它的生命周期。然而，銷售數(shù)據(jù)都是季節(jié)性的，我們稱之為白噪聲，在分析過程中需要將其去除。
該算法的前提是引入經(jīng)濟(jì)時間序列模型來尋找該數(shù)據(jù)的自正則性。例如，門店的銷售能力會增加還是減少，是否存在周期性模式等。采用這種方法的初衷是，在前期分析門店銷售時，有很多參考項目。參考經(jīng)濟(jì)學(xué)相關(guān)模型和算法后，認(rèn)為門店銷售額也存在一定程度的自相關(guān)性。例如，在進(jìn)行時間段分析時，如果想了解某個品牌的銷售是否呈現(xiàn)周期性模式，則必須首先去除季節(jié)性影響，并檢查數(shù)據(jù)本身是否具有自相關(guān)性。因此，需要首先去除以周期性為代表的白噪聲。
以上內(nèi)容是數(shù)據(jù)處理的基本方法和描述性統(tǒng)計方法。下一章我們將繼續(xù)介紹統(tǒng)計模型在業(yè)務(wù)分析中的運(yùn)用。感謝您的持續(xù)關(guān)注。