之前寫過一篇文章盤點了熱門的數據清洗工具，沒想到后臺收到不少私信追問：“工具有了，具體清洗方法怎么操作？” 這讓我意識到，??工具只是手段，理解并熟練運用清洗方法才是提升數據質量的關鍵??。所以今天，我就拆解數據清洗的十大常用方法與實戰技巧，用通俗語言講透從缺失值填補到數據脫敏的關鍵操作，幫你高效解決數據中的缺失、異常、重復、不一致等“臟亂差”問題。
之前寫過一篇文章盤點了熱門的數據清洗工具，沒想到后臺收到不少私信追問：“工具有了，具體清洗方法怎么操作？” 這讓我意識到，??工具只是手段，理解并熟練運用清洗方法才是提升數據質量的關鍵??。所以今天，我就拆解數據清洗的十大常用方法與實戰技巧，用通俗語言講透從缺失值填補到數據脫敏的關鍵操作，幫你高效解決數據中的缺失、異常、重復、不一致等“臟亂差”問題。
一、結構化缺失值填補
缺失(shi)值(zhi)是比較常見(jian)的(de)一個問題，雖然直接刪除含有缺失(shi)值(zhi)的(de)記錄(lu)是一種簡(jian)單的(de)方法，但(dan)這(zhe)可能導致樣(yang)本量大幅減(jian)少(shao)，從而影響分(fen)析結果的(de)可靠(kao)性。因此，我(wo)更推薦根(gen)據具(ju)體場景選擇合適的(de)填補策略：
1. 直接刪除
當數(shu)據列的缺失比例較低（<5%）且缺失值是隨(sui)機分布時，可以(yi)考(kao)慮直接刪除這些記錄，以(yi)避免樣本(ben)量的大幅減(jian)少。
2. 統計量填補
（1）均(jun)值填(tian)補(bu)：適用于(yu)正態分布的(de)數據列。通過計算列的(de)平均(jun)值來填(tian)補(bu)缺失值。
（2）中位(wei)數(shu)填補：對于存(cun)在異(yi)常(chang)值的數(shu)據列(lie)，中位(wei)數(shu)是一個更穩健的選擇。
（3）眾(zhong)數(shu)填(tian)(tian)補(bu)：適用于分類變量。通(tong)過選取出現頻率(lv)最高的(de)值來填(tian)(tian)補(bu)缺失(shi)值。
3. 預測填補
當變量之間存在較強(qiang)的關(guan)聯性(xing)時，可以使用KNN（K近鄰(lin)）或回歸模型基于其他特征預(yu)測缺失值。
需要注意的是在使用均值(zhi)填補時，需要避免盲目操作。如果缺失值(zhi)是非(fei)隨(sui)機(ji)(ji)的，應(ying)先分析其缺失機(ji)(ji)制。以(yi)下是使用Pandas進行(xing)填補的代碼示例：
二、重復值處理
重(zhong)復記錄會導致資源浪費，并可能引入分析偏差。處理重(zhong)復值的方法包括：
1. 完全重復
使用`df.drop_duplicates()`直(zhi)接(jie)刪除完全(quan)相同的行。
2. 關鍵字段重復
根據(ju)業務邏輯，保留(liu)最(zui)新記(ji)錄(lu)(lu)。例(li)如(ru)，在用戶數據(ju)中，保留(liu)`last_login_time`最(zui)大(da)的(de)記(ji)錄(lu)(lu)。
3. 聚合處理
對于部分(fen)重復(fu)的(de)數值(zhi)(zhi)字段，可以通過取均值(zhi)(zhi)等方式進行處理(li)。例如，同一用戶(hu)多次交易(yi)記錄(lu)可以取交易(yi)金額的(de)均值(zhi)(zhi)。
三、異常值檢測
異(yi)常(chang)(chang)值的檢測(ce)和處理是數據清洗中的重要環(huan)節。常(chang)(chang)見的方法包括(kuo)：
1. 統計學方法
（1）Z-score法：適用于(yu)正態分布的數據。當(dang)`|Z| > 3`時，可(ke)視為異常值(zhi)。Z-score的計算公式為：
（2）IQR箱線圖法(fa)：通(tong)過(guo)計算四分(fen)位(wei)數（Q1和(he)Q3），并確定異常值(zhi)范圍為(wei)`[Q1 - 1.5IQR, Q3 + 1.5IQR]`。這種(zhong)方法(fa)更(geng)為(wei)穩健，適用于非正態分(fen)布的數據。
2. 業務規則法
根據(ju)(ju)業務邏輯(ji)設(she)定硬性邊界。例如，年齡大于150的(de)(de)記錄可以視為無(wu)效值。但(dan)在真實場景中(zhong)(zhong)，數據(ju)(ju)情(qing)況往往會(hui)更錯綜復雜，可以使用(yong)工(gong)具(ju)來幫助簡化(hua)數據(ju)(ju)處理(li)(li)流程，我平時(shi)工(gong)作中(zhong)(zhong)用(yong)的(de)(de)比較(jiao)省(sheng)時(shi)省(sheng)力的(de)(de)工(gong)具(ju)是FineDataLink（FDL）。FDL是一(yi)款專門做數據(ju)(ju)集成的(de)(de)低代碼工(gong)具(ju)，可以接入并整(zheng)合各種類型的(de)(de)數據(ju)(ju)，集中(zhong)(zhong)進行管理(li)(li)。它不(bu)僅提供(gong)了數據(ju)(ju)清理(li)(li)和數據(ju)(ju)分析的(de)(de)功能，還能夠將清理(li)(li)后的(de)(de)數據(ju)(ju)快速應(ying)用(yong)到其他應(ying)用(yong)程序中(zhong)(zhong)。
四、數據標準化/歸一化
為了使不同(tong)尺度的特征(zheng)能夠公平比較，使用數據標準化和歸一(yi)化消除量綱是必要的步驟：
1. Min-Max歸一化
將數(shu)據壓縮到[0,1]區間，公式為：
2. Z-score標準化
使數據服從(cong)均值為0、標準差為1的(de)正(zheng)態分布，公式(shi)為：
該(gai)方法適用于聚類(lei)、PCA等算法。
3. 注意事項
隨(sui)機森林等樹模(mo)型通常不(bu)需要歸一化，因為它們對特(te)征的尺度不(bu)敏感(gan)。
五、數據離散化
將連續變量轉(zhuan)化為(wei)分類變量，可以提升(sheng)模(mo)型的(de)魯(lu)棒性。常(chang)見的(de)離(li)散化方法包(bao)括：
六、文本數據清洗
非結構化文本數據需要(yao)特殊(shu)處理，常見(jian)的清洗方法包括：
七、數據類型轉換
數據類(lei)型轉換(huan)是確保(bao)數據能夠(gou)正確用于分析的基礎(chu)。常見(jian)的轉換(huan)方(fang)法包(bao)括：
1. 日期字符串轉datetime對象
日(ri)(ri)(ri)期(qi)數(shu)據通常是以字符(fu)串的(de)(de)(de)形式(shi)存(cun)儲的(de)(de)(de)，比如“2025-01-01”。這種字符(fu)串形式(shi)的(de)(de)(de)日(ri)(ri)(ri)期(qi)數(shu)據在進行日(ri)(ri)(ri)期(qi)相關的(de)(de)(de)計算(suan)時會很(hen)不方便，需要把日(ri)(ri)(ri)期(qi)字符(fu)串轉換成datetime對象，可以使(shi)用pd.to_datetime(df['date_str'])來完成這個轉換。
2. 數值存儲為文本
如果數值(zhi)被錯誤地存(cun)儲(chu)(chu)為(wei)文本(ben)，比如金額(e)字段，可以(yi)通過`astype('float')`將(jiang)存(cun)儲(chu)(chu)為(wei)文本(ben)的(de)數值(zhi)強(qiang)制(zhi)轉換(huan)為(wei)浮點數。
3. 布爾值映射
把“是/否”這樣的文本布爾值映(ying)射(she)為1/0，方便模(mo)型處理。
八、數據一致性處理
數據一致性是確保分析結果(guo)準(zhun)確的關鍵(jian)。常見的處理方(fang)法包(bao)括：
1. 規則引擎
例(li)如，校驗訂單狀態與金額(e)的邏輯一(yi)致(zhi)性：
2. 跨表驗證
驗證不同表之間的邏輯關系(xi)。比如(ru)，用戶注冊日(ri)期應早于首(shou)次購買日(ri)期。
3. 枚舉值檢查
確(que)保字段值符合(he)預定義的枚舉值。例如(ru)，性別只能(neng)是{‘男’，‘女’，‘其(qi)他(ta)’}。
九、特征工程優化
特(te)征(zheng)工程是數據清洗(xi)的高級(ji)形態，清洗(xi)與特(te)征(zheng)創造通常同步(bu)進行：
1. 派生特征
從現(xian)有(you)字(zi)段中提取新特征。比如，通(tong)過日期字(zi)段提取“是否周末(mo)”。
2. 交互特征
計算兩(liang)個(ge)特征(zheng)的(de)組(zu)合關系。比(bi)如，銷售額除以(yi)用戶數，得到人均消費。
3. 維度壓縮
用降維技術（如PCA）將(jiang)多個(ge)相關特征(zheng)(zheng)壓縮為少(shao)(shao)數(shu)幾個(ge)因(yin)子(zi)，減少(shao)(shao)特征(zheng)(zheng)數(shu)量。
十、數據脫敏
數據(ju)脫(tuo)敏是保護(hu)隱私的重要環節，常見的方法包括：
1. 字段脫敏
對敏感字段進行部分隱(yin)藏。比如(ru)，身份證號碼保留前6位，手機號中間4位打碼。
2. 差分隱私
在數據中(zhong)添加可控噪聲(sheng)，保護(hu)個體信息。
3. K-匿名化
確保每條記錄在關(guan)鍵字段上(shang)無法被(bei)唯一識別，防(fang)止(zhi)隱(yin)私(si)泄露(lu)。
十一、總結
在實際(ji)應用(yong)中，選(xuan)擇(ze)合適的數據清洗方法需要綜(zong)合考慮以下三(san)個維度：
1. 數據性質維度
（1）結(jie)構化數據：側重(zhong)重(zhong)復值、異常(chang)值處理。
（2）文本數據：優先處理編碼問題和停用詞。
2. 業務場景維度
（1）風控(kong)模(mo)型：嚴格處理異常值(zhi)和邏(luo)輯矛盾。
（2）用戶畫像：重視(shi)離散(san)化和特征(zheng)工程。
3. 算法需求維度
（1）線性模型：必須進行標準(zhun)化處(chu)理。
（2）深度學習：需(xu)處理缺失值以(yi)防止NaN擴散。
數據清洗是一個復雜且耗時的過程，需要根據數據的具體情況和業務需求選擇合適的清洗方法。同時，數據清洗也是一個反復的過程，需要不斷地檢查和修正數據中的問題。建議從單點突破開始，逐步構建自動化清洗流水線。在實踐中，重點關注清洗前后的指標變化，如缺失率、唯一值占比等。通過持續優化清洗規則，確保數據質量的可控性。
