关于机器学习数据挖掘中的数据预处理问题？

铁甲将军夜渡关

朝臣带漏五更寒

山寺日高僧未起

看来名利不如闲 啪！（醒木的声音）

一周没有更新了【吃瓜】

f' a: C# t+ C6 B8 t' ]* O

因为了小小的科（摸）研（鱼）任务

: P, i) z6 v6 j+ c# h

忙

* {4 ] B' Q- u# ~

都忙

忙点好啊（主要是早上不起床）

/ z! G! S$ ?& @$ u

我们在进行数据分析时，有一个非常重要的前期操作--数据预处理

在学习机器学习算法时，为了更好的理解算法的基本思想

会用到处理过的很干净的数据集

. M: E2 C/ J3 D) O' c* u( M! R

而真实的数据中，多种多样的数据类型、输入的错误、数据的质量等等原因

( D/ m2 m; V- l1 e8 q9 t

都可能导致无法匹配模型需求

b/ S7 j- H, B( M2 Z5 S' Z" M

这时候就需要进行数据预处理工作

- o6 l2 D0 K- K: t3 @5 m+ J8 P

数据预处理（无量纲化）

g+ a7 c/ y5 d h$ m: ]7 y

把不同规格的数据转为到统一规格就是无量纲化

比如我们判断环境参数对浮游植物的影响

22.9°的温度显然比0.044μmol/L的磷浓度有更大取值范围

2 R9 ?" o N2 J! K( _

这会放大温度的影响效果

* q9 U8 [& s- ^+ `' J& A5 x

数据归一化

y$ E/ O9 F$ j

将数据收敛到[0,1]之间该过程就是数据归一化

可以使用sklearn中preprocessing.MinMaxScaler来实现这个功能

归一化后的数据服从正态分布

from sklearn.preprocessing import MinMaxScaler % n: D# S- S2 \; Q4 o" U def mm(): """ 归一化处理 """ $ h1 }+ T/ \: \1 @% a # 实例化MinMaxScaler函数，不填写feature_range参数默认为0,1 3 W6 z: |5 K2 g+ Q mm = MinMaxScaler(feature_range=(2, 3)) % v2 p* l0 ^! }# c; ?; ^/ t4 K, Y data = mm.fit_transform([[90,2,10,40],[60,4,15,45],[75,3,13,46]]) 3 s6 J. c' w1 o/ O' _ 9 i2 g0 ]& B) r* N print(data) / B9 h% O1 A& h % ?, i1 e2 g; R" V# j& B return None $ p6 _2 J* @1 \! b) m - } n9 Q+ t$ m; \4 |+ D* N if __name__ == "__main__": mm() , d4 _' S' B. Q2 \1 H9 u5 q

数据标准化

标准化后的数据服从均值为0方差为1的正态分布

from sklearn.preprocessing import StandardScaler 2 @/ J9 q, b% e 0 Z. d1 p7 |7 D # x = x-mean/γ mean：平均值 γ：标准差 0 c. b5 u& B/ j% O- \ # 方差 = (x1-mean)²+(x2-mean)²+(xn-mean)² / n 标准差 = 方差开根号 P! B. e9 c2 p+ ]# R9 h7 h # 优点，不易受异常数据印象 3 J/ K' V& |) C # 一个目标变量由多个特征变量影响，当一个特征变量很大时，影响程度更大，所以我们进行标准化，消除这样的影响 def stand(): """ 标准化缩放 """ std = StandardScaler() " l& h: X& E# l5 O7 |! v pre_data = [[ 1000., -1., 3.],[ 2000., 4., 2.],[ 4000., 6., -1.]] & ^: x Y, v2 [* l. e% j& t5 T) ~$ L data = std.fit_transform(pre_data) ! T1 j0 D# e, ^7 v print((1000-2000)) print(pre_data) ' b1 v& C) a5 I0 d4 x+ b print(data) # G" S1 X4 F; k3 s7 n" n& v: t return None , J, o2 O1 ^0 r1 q: l' ~5 A if __name__ == "__main__": / r# p" k) `' J: j M) ?/ t- N stand()

! a- ^9 s! s( Z$ D, u9 c

下一期讲一讲特征工程

, m" I7 C' z, z. k0 t" z0 I

关注我【生物海洋计算机支线】，获得更多生物海洋学，数据处理，作图等相关知识

7 {1 k* b* o |: [* b# [) _ ' M+ P2 f! |& x1 I/ A