sklearn Preprocessing 数据预处理

sklearn Preprocessing 模块

对数据进行预处理的优点之一就是能够让模型尽快收敛.

标准化和归一化:

/ |/ ]. {) @, B9 N. z* }: m9 y

归一化是标准化的一种方式,

5 O5 M- O# U% ^* i

归一化是将数据映射到[0,1]这个区间中,

6 w! I [+ \! b1 A

标准化是将数据按照比例缩放,使之放到一个特定区间中,

5 Z- q9 F$ P; e2 W/ V+ ^

标准化后的数据均值为0,标准差等于1,因而标准化的数据可正可负.

如果原始数据不符合高斯分布的话,标准化后的数据效果并不好.(标准化的原因在于如果有些特征的方差过大,则会主导目标函数从而使参数估计器无法正确地去学习其他特征.)

0 S/ |1 E$ c& ^( Z, f; c

导入模块:

; d- ~5 t$ C/ y1 G% c) x3 p

from sklearn.preprocessing import StandardScaler from sklearn.preprocessing import MinMaxScaler 6 C% F/ ?( i8 t7 a from matplotlib improt gridspec 3 K3 V3 t4 H6 U7 n import numpy as np $ ~ q$ c$ E# {% X import matpotlib.pyplot as plt

使用sklearn 进行标准化和标准化还原

M( w2 ]* H6 T4 F* e- G

标准化的过程分为两步:

去均值的中心化(均值变为0);方差的规模化(方差变为1).将每一列特征标准化为标准正太分布，注意，标准化是针对每一列而言的

x_scale = preprocessing.scale(x)

std = StandardScaler() data = std.fit_transform(data[["RSSI0", "RANGES", "weekday", "hour", "RSS_mean", "RANGES_mean", day_label]]) # 将标准化后的数据转换为原始数据。 1 p. A9 I6 u: b1 a" ]% ?$ \ std.inverse_transform()

查看标准化后的数据的均值与方差

$ Y$ r2 ?; d5 w+ y$ o# M* t4 \5 ^

x_scale.mean(axis=0)# 均值

4 N$ _. F7 B- n* t3 R0 ~

# axis=1表示对每一行去做这个操作，axis=0表示对每一列做相同的这个操作

x_scale.mean(axis=1)

: J' G# R" U w/ n w U2 s( n3 L1 |

`

cps = np.random.random_integers(0, 100, (100, 2)) 2 I5 E# u& ~8 @% v7 f( Q; w # 创建StandardScaler 对象,再调用fit_transform 方法,传入一个格式的参数数据作为训练集. ss = StandardScaler() std_cps = ss.fit_transform(cps) 1 d2 d& G4 \7 f& t gs = gridspec.GridSpec(5,5) fig = plt.figure() ax1 = fig.add_subplot(gs[0:2, 1:4]) ax2 = fig.add_subplot(gs[3:5, 1:4]) ax1.scatter(cps[:, 0], cps[:, 1]) , b% W) {2 Z# s; a" R, M ax2.scatter(std_cps[:, 0], std_cps[:, 1]) : Q# Z5 V) q* s plt.show()

4 B7 L' m* {3 [& }% O2 |3 s

`

1 g/ U3 h% p" H3 X8 K& B6 P% u

from sklearn.preprocessing import StandardScaler from sklearn.preprocessing import MinMaxScaler $ e* \& M" z) E0 K) a4 u from matplotlib import gridspec / ^( O5 @, q4 ?1 h import numpy as np import matplotlib.pyplot as plt data = np.random.uniform(0, 100, 10)[:, np.newaxis] ss = StandardScaler() std_data = ss.fit_transform(data) 8 b! v* p! A( E9 `4 k origin_data = ss.inverse_transform(std_data) # 得到标准化之前的数据 print(data is 原始数据,data) ! l2 K1 O* `4 u print(after standard 标准化后的数据,std_data) : K1 ?+ C% Y$ J+ L8 q' D6 e print(after inverse 通过inverse_transform该函数将标准化后的数据转化为原始数据:,origin_data) print(after standard mean and std is 均值mean(均值) 和 标准差std(矩阵标准差),np.mean(std_data), np.std(std_data))

使用sklearn 进行数据的归一化和归一化还原.

data = np.random.uniform(0, 100, 10)[:, np.newaxis] # 创建数据 mm = MinMaxScaler()# 创建MinMaxScaler 对象 : D6 D& l, W' w$ k mm_data = mm.fit_transform(data) # 归一化数据 4 O8 U# y8 H+ H3 r$ @+ O origin_data = mm.inverse_transform(mm_data) # 转换成归一化之前的数据 print(data is ,data) print(after Min Max ,mm_data) print(origin data is ,origin_data)

MinMaxScaler和MaxAbsCaler:

MinMaxScaler:使得特征的分布在一个给定的最小值和最大值的范围内.一般情况下载0`1之间(为了对付哪些标准差相当小的特征并保留下稀疏数据中的0值.)

2 ?% `" [+ l( ]) Q

MaxAbsScaler:或者是特征中的绝对值最大的那个数为1,其他依次为标准分布在-1`1之间

min_max_scaler = preprocessing.MinMaxScaler() 4 B+ L# W8 j8 K) {& v x_minmax = min_max_scaler.fit_transform(x) 5 [- d7 q5 x+ ]7 Y, I8 y9 |& Q x_minmax

- l4 F" P) `2 c, T7 J6 b

对于新进来的数据,采用如下方式进行函数调用:

1 n& t3 v1 ?% I ?7 D

x_test = np.array([[-3., -1., 4.]]) x_test_minmax = min_max_scaler.transform(x_test) x_test_minmax

MaxAbsScaler:数据会被规模化到-1`1之间,就是特征中,所有数据都会除以最大值,该方法对哪些已经中心化均值为0,或者稀疏的数据有意义.

& [( C: B+ q% |7 H

max_abs_scaler = preprocessing.MaxAbsScaler() x_train_maxsbs = max_abs_scaler.fit_transform(x) x_train_maxsbs

# 同理，也可以对新的数据集进行同样的转换

3 A; F7 V- h; c5 U3 N4 s/ \; B

x_test = np.array([[-3., -1., 4.]]) x_test_maxabs = max_abs_scaler.transform(x_test) 0 K, I! n; `$ o; _* G/ P x_test_maxabs

( K6 [6 t: h$ o% g: R

针对规模化稀疏数据

对稀疏数据去均值的中心化会破坏稀疏的数据结构,使用如下两个方法进行处理:

MaxAbsScaler,和maxabs_scale

5 a' \! g, Z4 X- P) g! }) A7 l

针对规模化有异常的数据

. t+ T9 B8 j: j( }2 T

数据集中有很多异常值,就不能使用数据的均值和方差去做标准化了.可以使用robust_scale和RobustScaler ,更具中位数或者四分位数去中心化数据.

- E# o7 N+ w! }# D4 L

正则化Normalization

; ]$ N+ q8 ?& J+ [3 s

正则化是将样本在向量空间模型上的一个转换,常常被使用在分类和聚类中,使用函数normalize实现一个单向量的正则化功能.正则化化有I1,I2等

3 |" f3 V) T7 Q; N' j( o: Y

x_normalized = preprocessing.normalize(x, norm=l2) + O- _# m* @& `) i print x ' z4 q* j& x8 ?) W, X# j* F print x_normalized

# 根据训练数据创建一个正则器 Normalizer(copy=True, norm=l2)

normalizer = preprocessing.Normalizer().fit(x) normalizer

# 对训练数据进行正则

normalizer.transform(x)

8 d+ ~# y; K x# Z, k; U& S

# 对新的测试数据进行正则

normalizer.transform([[-1., 1., 0.]])

二值化

特征的二值化(指将数值型的特征数据转换为布尔类型的值,使用实用类Binarizer),默认是根据0来二值化,大于0的都标记为1,小于等于0的都标记为0.通过设置threshold参数来更改该阈值

from sklearn import preprocessing . |# Z# r, D# I4 g& d import numpy as np 1 F+ b7 p! u0 A # 创建一组特征数据，每一行表示一个样本，每一列表示一个特征 x = np.array([[1., -1., 2.], [2., 0., 0.], [0., 1., -1.]]) binarizer = preprocessing.Binarizer().fit(x) 2 ~# R" c9 j! o; U8 T binarizer.transform(x) , K5 X( o$ q8 r/ V5 I, w binarizer = preprocessing.Binarizer(threshold=1.5) binarizer.transform(x)

为类别特征编码

2 ]3 M5 n% r l! p2 T% h6 P1 Z. ?1 j4 t

(比如性别:male,来自于哪个国家或地区:from US,使用什么浏览器:users Chrome) 可以转换为 013 或者是其他的数值型编码.

: O0 H) \' r, I4 x' V7 \1 m5 S

OneHotEncoder

% G H+ a) I, p0 S" H9 o

弥补缺失数据

- ?2 N; X) A6 z4 E

可以使用均值,中位数,众数等等弥补缺失数据,可以使用Imputer实现.

* u+ W9 ^# G ]0 j

import numpy as np from sklearn.preprocessing import Imputer imp = Imputer(missing_values=NaN, strategy=mean, axis=0) imp.fit domain name is for sale. Inquire now.([[1, 2], [np.nan, 3], [7, 6]]) ! r7 S: F( u6 W& a x = [[np.nan, 2], [6, np.nan], [7, 6]] imp.transform(x)

/ J- c8 x) I S

Imputer类同样也可以支持稀疏矩阵,以下例子将0作为了缺失值，为其补上均值

; o! n2 R1 s: I: F, ]8 {

import scipy.sparse as sp # 创建一个稀疏矩阵 x = sp.csc_matrix([[1, 2], [0, 3], [7, 6]]) imp = Imputer(missing_values=0, strategy=mean, verbose=0) imp.fit domain name is for sale. Inquire now.(x) 1 O" o% F* p' ~$ r x_test = sp.csc_matrix([[0, 2], [6, 0], [7, 6]]) 4 k7 W: O: P8 M9 ^9 U imp.transform(x_test)

当我们拿到一批原始的数据

首先要明确有多少特征，哪些是连续的，哪些是类别的。

检查有没有缺失值，对确实的特征选择恰当方式进行弥补，使数据完整。

" j/ ]7 I6 `' h9 s, s' R

对连续的数值型特征进行标准化，使得均值为0，方差为1。

& Y$ P9 I( I0 p8 P! r( T: l* u: C

对类别型的特征进行one-hot编码。

0 o, a* u! n2 Z

将需要转换成类别型数据的连续型数据进行二值化。

- ^* A/ q1 Z V/ w; t0 j7 N

为防止过拟合或者其他原因，选择是否要将数据进行正则化。

在对数据进行初探之后发现效果不佳，可以尝试使用多项式方法，寻找非线性的关系。

根据实际问题分析是否需要对特征进行相应的函数转换。

$ Y9 x- E) t6 f, a3 u

标准化和归一化的缺点:每当有新的数据进来时,就要重新计算所有的点

因此针对动态的数据可以采用如下几种计算方法:

1.arctan反正切函数标准化.

http://2.in函数标准化

预处理数据的方法总结（使用sklearn-preprocessing）_【人工智能】王小草的博客-CSDN博客

& g" Y$ u! X& w" v , |" O% X% t6 Z" S5 L