如果數(shù)據(jù)中有很多NaN的值，存儲(chǔ)起來就會(huì)浪費(fèi)空間。為了解決這個(gè)問題，Pandas引入了一種叫做Sparse data的結(jié)構(gòu)，來有效的存儲(chǔ)這些NaN的值。
我們創(chuàng)建一個(gè)數(shù)組，然后將其大部分?jǐn)?shù)據(jù)設(shè)置為NaN，接著使用這個(gè)數(shù)組來創(chuàng)建SparseArray：
In [1]: arr = np.random.randn(10) In [2]: arr[2:-2] = np.nan In [3]: ts = pd.Series(pd.arrays.SparseArray(arr)) In [4]: ts Out[4]: 0 0.469112 1 -0.282863 2 NaN 3 NaN 4 NaN 5 NaN 6 NaN 7 NaN 8 -0.861849 9 -2.104569 dtype: Sparse[float64, nan]
這里的dtype類型是Sparse[float64, nan]，它的意思是數(shù)組中的nan實(shí)際上并沒有存儲(chǔ)，只有非nan的數(shù)據(jù)才被存儲(chǔ)，并且這些數(shù)據(jù)的類型是float64.
arrays.SparseArray 是一個(gè) ExtensionArray ，用來存儲(chǔ)稀疏的數(shù)組類型。
In [13]: arr = np.random.randn(10) In [14]: arr[2:5] = np.nan In [15]: arr[7:8] = np.nan In [16]: sparr = pd.arrays.SparseArray(arr) In [17]: sparr Out[17]: [-1.9556635297215477, -1.6588664275960427, nan, nan, nan, 1.1589328886422277, 0.14529711373305043, nan, 0.6060271905134522, 1.3342113401317768] Fill: nan IntIndex Indices: array([0, 1, 5, 6, 8, 9], dtype=int32)
使用 numpy.asarray() 可以將其轉(zhuǎn)換為普通的數(shù)組：
In [18]: np.asarray(sparr)
Out[18]:
array([-1.9557, -1.6589, nan, nan, nan, 1.1589, 0.1453,
nan, 0.606 , 1.3342])
SparseDtype 表示的是Spare類型。它包含兩種信息，第一種是非NaN值的數(shù)據(jù)類型，第二種是填充時(shí)候的常量值，比如nan：
In [19]: sparr.dtype Out[19]: Sparse[float64, nan]
可以像下面這樣構(gòu)造一個(gè)SparseDtype：
In [20]: pd.SparseDtype(np.dtype('datetime64[ns]'))
Out[20]: Sparse[datetime64[ns], NaT]
可以指定填充的值：
In [21]: pd.SparseDtype(np.dtype('datetime64[ns]'),
....: fill_value=pd.Timestamp('2017-01-01'))
....:
Out[21]: Sparse[datetime64[ns], Timestamp('2017-01-01 00:00:00')]
可以通過 .sparse 來訪問sparse：
In [23]: s = pd.Series([0, 0, 1, 2], dtype="Sparse[int]") In [24]: s.sparse.density Out[24]: 0.5 In [25]: s.sparse.fill_value Out[25]: 0
np的計(jì)算函數(shù)可以直接用在SparseArray中，并且會(huì)返回一個(gè)SparseArray。
In [26]: arr = pd.arrays.SparseArray([1., np.nan, np.nan, -2., np.nan]) In [27]: np.abs(arr) Out[27]: [1.0, nan, nan, 2.0, nan] Fill: nan IntIndex Indices: array([0, 3], dtype=int32)
SparseSeries 和 SparseDataFrame在1.0.0 的版本時(shí)候被刪除了。取代他們的是功能更強(qiáng)的SparseArray。
看下兩者的使用上的區(qū)別：
# Previous way
>>> pd.SparseDataFrame({"A": [0, 1]})
# New way
In [31]: pd.DataFrame({"A": pd.arrays.SparseArray([0, 1])})
Out[31]:
A
0 0
1 1
如果是SciPy 中的sparse 矩陣，那么可以使用 DataFrame.sparse.from_spmatrix() ：
# Previous way >>> from scipy import sparse >>> mat = sparse.eye(3) >>> df = pd.SparseDataFrame(mat, columns=['A', 'B', 'C'])
# New way In [32]: from scipy import sparse In [33]: mat = sparse.eye(3) In [34]: df = pd.DataFrame.sparse.from_spmatrix(mat, columns=['A', 'B', 'C']) In [35]: df.dtypes Out[35]: A Sparse[float64, 0] B Sparse[float64, 0] C Sparse[float64, 0] dtype: object
到此這篇關(guān)于Pandas 稀疏數(shù)據(jù)結(jié)構(gòu)的實(shí)現(xiàn)的文章就介紹到這了,更多相關(guān)Pandas 稀疏數(shù)據(jù)結(jié)構(gòu)內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
標(biāo)簽：潮州 西寧 上饒 宜昌 佳木斯 珠海 盤錦 湖北
巨人網(wǎng)絡(luò)通訊聲明：本文標(biāo)題《Pandas 稀疏數(shù)據(jù)結(jié)構(gòu)的實(shí)現(xiàn)》，本文關(guān)鍵詞 Pandas,稀疏,數(shù)據(jù)結(jié)構(gòu),的,；如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題，煩請(qǐng)?zhí)峁┫嚓P(guān)信息告之我們，我們將及時(shí)溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò)，涉及言論、版權(quán)與本站無關(guān)。
