关于机器学习数据挖掘中的数据预处理问题？

铁甲将军夜渡关

朝臣带漏五更寒

山寺日高僧未起

' F: x2 ~0 @9 @5 g- X8 [2 U0 V

看来名利不如闲 啪！（醒木的声音）

& r- ^) V, b9 o: I" E2 O

一周没有更新了【吃瓜】

$ X' i. t+ M/ ]) K" B

因为了小小的科（摸）研（鱼）任务

忙

都忙

忙点好啊（主要是早上不起床）

( y8 r) ?7 R V/ u

我们在进行数据分析时，有一个非常重要的前期操作--数据预处理

在学习机器学习算法时，为了更好的理解算法的基本思想

% b3 |3 M& @0 ^# B: N. ]. W

会用到处理过的很干净的数据集

, w$ l- |& ^5 q Z; n$ @# z' ?4 f

而真实的数据中，多种多样的数据类型、输入的错误、数据的质量等等原因

都可能导致无法匹配模型需求

这时候就需要进行数据预处理工作

8 \! Q+ c S" u" [' h/ \

数据预处理（无量纲化）

9 {8 c, ^3 u- r- k* y+ c

把不同规格的数据转为到统一规格就是无量纲化

' i1 @, `& C2 N/ Y- a

比如我们判断环境参数对浮游植物的影响

22.9°的温度显然比0.044μmol/L的磷浓度有更大取值范围

$ \+ l& K1 B% m, _; a

这会放大温度的影响效果

i& p" c1 ?2 P

数据归一化

+ g7 p+ ]- s& r2 A4 |2 T

将数据收敛到[0,1]之间该过程就是数据归一化

0 a; `0 F$ J7 o8 V

可以使用sklearn中preprocessing.MinMaxScaler来实现这个功能

归一化后的数据服从正态分布

from sklearn.preprocessing import MinMaxScaler def mm(): ?$ ]7 u: \3 t7 X """ ; r( I4 W' q' g8 _/ J! @9 H 归一化处理 """ 6 h# R- i% h, U4 K+ W+ X # 实例化MinMaxScaler函数，不填写feature_range参数默认为0,1 mm = MinMaxScaler(feature_range=(2, 3)) data = mm.fit_transform([[90,2,10,40],[60,4,15,45],[75,3,13,46]]) print(data) return None : @( i6 M7 l8 t( f/ \ if __name__ == "__main__": 3 o% I! z; k* k. ]$ t" h mm() 1 O) o# C$ v( k& C: M3 y1 [7 ?6 g$ j7 [2 `

数据标准化

标准化后的数据服从均值为0方差为1的正态分布

from sklearn.preprocessing import StandardScaler / A2 \2 Z# Y' K/ |; A5 n # ~& | q% v5 Q# S' K: l( }) ~# [ # x = x-mean/γ mean：平均值 γ：标准差 # 方差 = (x1-mean)²+(x2-mean)²+(xn-mean)² / n 标准差 = 方差开根号 # 优点，不易受异常数据印象 p6 I; R `9 `" ?$ h7 [# ]1 }1 y # 一个目标变量由多个特征变量影响，当一个特征变量很大时，影响程度更大，所以我们进行标准化，消除这样的影响 5 G7 L& B0 S1 |' z9 i* X def stand(): """ ! q9 ~" v3 b l% A; l; v& [ 标准化缩放 """ $ g# N* J# Z1 l/ a; s" Q std = StandardScaler() * e' X- \, m, q; M pre_data = [[ 1000., -1., 3.],[ 2000., 4., 2.],[ 4000., 6., -1.]] + V" e: i1 X4 U9 \5 W- I 7 U+ M- i- D( L. G9 E& m$ `3 T) { data = std.fit_transform(pre_data) " s, B3 f) \: c0 b* l print((1000-2000)) " ^% ~ `) I2 x$ u print(pre_data) print(data) return None if __name__ == "__main__": 1 X: P' g3 g, k stand() & m" n& x5 W4 c+ m; ~

( Y+ ~! u0 |: l7 L- w+ S4 D F! L

下一期讲一讲特征工程

关注我【生物海洋计算机支线】，获得更多生物海洋学，数据处理，作图等相关知识

2 B. b( g% Q0 T3 ]/ V

3 o( v! [. ]0 F5 t, n2 M% F, {" L , l- c# O M) ]; t9 I9 a7 k" \# d