主頁 > 知識庫 > Python數(shù)據(jù)標準化的實例分析

Python數(shù)據(jù)標準化的實例分析

熱門標簽:外呼并發(fā)線路 湛江智能外呼系統(tǒng)廠家 ai電銷機器人源碼 宿遷星美防封電銷卡 ai電話機器人哪里好 長沙高頻外呼系統(tǒng)原理是什么 西藏房產(chǎn)智能外呼系統(tǒng)要多少錢 百度地圖標注沒有了 地圖標注審核表

說明

1、將原始數(shù)據(jù)轉(zhuǎn)換為均值為0,標準差在1范圍內(nèi)。

2、對標準化而言:如果出現(xiàn)異常點,由于有一定數(shù)據(jù)量,少量異常點對平均值的影響不大,因此方差變化不大。

實例

def stand_demo():
    """
    標準化
    :return:
    """
# 1. 獲取數(shù)據(jù)
    data = pd.read_csv('dating.txt')
    data = data.iloc[:, :3]
    print('data:\n', data)
 
# 2.實例化一個轉(zhuǎn)換器類
    transfer = StandardScaler()

# 3.調(diào)用fit_transform()
    data_new = transfer.fit_transform(data)
    print('data_new:\n', data_new)
    return None

知識點擴充:

幾種標準化方法:

歸一化Max-Min

min-max標準化方法是對原始數(shù)據(jù)進行線性變換。設(shè)minA和maxA分別為屬性A的最小值和最大值,將A的一個原始值x通過min-max標準化映射成在區(qū)間[0,1]中的值x',其公式為:

新數(shù)據(jù)=(原數(shù)據(jù)-最小值)/(最大值-最小值)

這種方法能使數(shù)據(jù)歸一化到一個區(qū)域內(nèi),同時不改變原來的數(shù)據(jù)結(jié)構(gòu)。

實現(xiàn)中心化Z-Score

這種方法基于原始數(shù)據(jù)的均值(mean)和標準差(standard deviation)進行數(shù)據(jù)的標準化。將A的原始值x使用z-score標準化到x'。

z-score標準化方法適用于屬性A的最大值和最小值未知的情況,或有超出取值范圍的離群數(shù)據(jù)的情況。

新數(shù)據(jù)=(原數(shù)據(jù)-均值)/標準差

這種方法適合大多數(shù)類型數(shù)據(jù),也是很多工具的默認標準化方法。標準化之后的數(shù)據(jù)是以0為均值,方差為以的正太分布。但是Z-Score方法是一種中心化方法,會改變原有數(shù)據(jù)的分布結(jié)構(gòu),不適合用于對稀疏數(shù)據(jù)做處理。

很多時候數(shù)據(jù)集會存在稀疏特征,表現(xiàn)為標準差小,很多元素值為0,最常見的稀疏數(shù)據(jù)集是用來做協(xié)同過濾的數(shù)據(jù)集,絕大部分數(shù)據(jù)都是0。對稀疏數(shù)據(jù)做標準化,不能采用中心化的方式,否則會破壞稀疏數(shù)據(jù)的結(jié)構(gòu)。

用于稀疏數(shù)據(jù)的MaxAbs

最大值絕對值標準化(MaxAbs)即根據(jù)最大值的絕對值進行標準化,假設(shè)原轉(zhuǎn)換的數(shù)據(jù)為x,新數(shù)據(jù)為x',那么x'=x/|max|,其中max為x鎖在列的最大值。

該方法的數(shù)據(jù)區(qū)間為[-1, 1],也不破壞原數(shù)據(jù)結(jié)構(gòu)的特點,因此也可以用于稀疏數(shù)據(jù),一些稀疏矩陣。

針對離群點的RobustScaler

有些時候,數(shù)據(jù)集中存在離群點,用Z-Score進行標準化,但是結(jié)果不理想,因為離群點在標準化后喪失了利群特性。

RobustScaler針對離群點做標準化處理,該方法對數(shù)據(jù)中心化的數(shù)據(jù)的縮放健壯性有更強的參數(shù)控制能力。

到此這篇關(guān)于Python數(shù)據(jù)標準化的實例分析的文章就介紹到這了,更多相關(guān)Python數(shù)據(jù)標準化是什么內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

標簽:普洱 海南 寧夏 大同 盤錦 林芝 南平 漯河

巨人網(wǎng)絡(luò)通訊聲明:本文標題《Python數(shù)據(jù)標準化的實例分析》,本文關(guān)鍵詞  Python,數(shù)據(jù),標準化,的,實例分析,;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題,煩請?zhí)峁┫嚓P(guān)信息告之我們,我們將及時溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無關(guān)。
  • 相關(guān)文章
  • 下面列出與本文章《Python數(shù)據(jù)標準化的實例分析》相關(guān)的同類信息!
  • 本頁收集關(guān)于Python數(shù)據(jù)標準化的實例分析的相關(guān)信息資訊供網(wǎng)民參考!
  • 推薦文章