|
8 G O- |* }+ v; L/ |6 N 最近一段时间，工作上花了不少时间用MATLAB处理工厂下线的数据，数据庞大不说，复杂度也高，各种推算和统计 8 ~8 t5 S1 O2 d' H1 Z) F0 x
所以今天我打算总结一下，平时我在用MATLAB做数据分析时常用的几个小技巧
/ c: Z3 |( Q; x) `6 I# Z 正好全国大学生数学建模竞赛下周就要开始了，希望今天的分享对参赛的朋友有所帮助 @' A# d2 @# O: s& J
虽然不知道到时候会有哪些选题，但是能肯定的是，不管是什么题目，都离不开数据分析，这是唯一比赛前能好好准备的 & Z% M7 a- G! q6 u; S
1. 数据类型的转换 " ]5 a# N+ Y, l
有一类问题，不论你MATLAB水平如何，平时写代码的时候多少总会遇到，就是数据类型不一致，需要转换
5 J5 D& }9 E# C% g. g G 至于什么是数据类型，这个问题我就不科普了，大家可以直接在MATLAB命令栏“doc 数据类型”
+ C. M4 ^$ Y* J' E! d# `; o' b
7 r b0 j2 c/ p1 ^7 Z 通常在数据转换这个问题上，涉及到的比较常见几种的数据类型有double，char，cell，struct
! n- x: E- O+ f. O' X 我给大家准备了一张数据类型转换的关系图，用class判断一下转换前的两种数据类型，然后按照下面这张图处理就完事了
( b, o' Q- i6 h, a# e6 ~ z8 v0 `% v' m
8 y3 e& W l: r/ R* X- m 2. 字符串的对比
6 D0 X7 A" i! M3 d4 ] 第二个经常需要处理的问题是，字符串的对比
( v1 f! A1 `: y% G 这里不单单指的是字符串，还包括cell元胞里面的字符串定位 / h8 b$ _* F2 {$ y$ r
如果单纯只是字符串的话，要判断两个字符串是否相同，strcmp函数可以实现对比 : r& x, R# L4 E) H. S- x
strcmp(abc,abc)
1 F, n3 L- e5 B' F0 l 判断字符串中是否包含某种字符串，可以使用contains函数 9 o3 ]/ r0 z& r9 {) P5 T* h/ [0 @
contains(abc,ab)
8 l3 c b& A" z. B) R! e! t7 i 判断字符串中在哪几位出现某种字符串，可以使用regexp函数
) J: [( d5 Q! N" J) S2 A" S regexp(abac,a) : [+ [2 G" \* l4 G
更常碰到的场景是，在cell元胞里面判断字符串，比如维度1x1000的cell中，定位哪几个cell里面的字符串是‘abc’，还是通过strcmp实现对比，再通过find定位 5 e7 |& d+ B' T/ K
a = strcmp(Cell_variable,abc);* L. _. |1 ?1 T+ m8 p+ y* ~
b = find(a == 1)
! @2 |- q7 G4 m, Q) t1 _ 同样，要判断这1x1000的cell中，定位哪几个cell中的字符串，带有‘ab’，可以使用contains函数，再用find定位 9 |& z( F0 r J2 ]. D0 D( U
a = contains (Cell_variable,ab);8 @5 R, G5 @% W& j. R7 T: f
b = find(a == 1)
. ^% B/ A$ Q/ } 掌握上面这两点，在平时处理cell的字符串，基本上就够用了
: |; x1 U3 g* X1 U: b( E* ~ 3. 文件的读取写入 & ?9 k/ ^, u' _# A T0 [# d( I% b
文件的读取写入同样非常重要，在数据分析过程中，对应着信息的获取和数据处理结果的输出 ! V& r8 U- U. v, T ~ r
mat, txt, excel是平时最常碰到的文件类型
# J0 |7 t5 ^# `( R mat就不用多说了，MATLAB中的一种文件类型，用于存储workspace中的变量，在数据分析过程中，可以经常把运算结果或中间阶段的数据，作为mat进行保存 6 c1 C" W L# {. M0 B) q
加载mat文件，用的是“load 文件名”命令，也可以双击mat文件，保存mat文件，用的是“save 文件名”命令，也可以workspace右键保存
, V4 T. `' T v' F. g txt的读取方式有非常多，网上也有各种各样的介绍，我就介绍两种最常用，也是目前我一直在用的两种方法
1 H% l; x. }4 n- I+ _' W 第一种是通过importdata(‘test.txt’)命令，读取的结果是一个多行一列的cell元胞，后续的数据处理也就方便了，cell里面的字符串定位处理在前面也已经介绍过
4 s2 Q, Q, o% r+ L 另一种方法是，通过MATLAB工具条里的“导入数据”按钮，这种方法的一个好处是，导入过程中有很多非常人性化的设置，比如数据的分隔，范围定义，数据的输出类型等等
* [1 m3 B1 O1 i- [" D6 A 导出的选择也有不少，可以选择直接导出到workspace，也可以选择生成脚本或者是function，方便同类型文本的重复使用，对于不太喜欢写脚本导入数据的朋友，我比较推荐这种方式
& {. j. }! T& v7 ` * a" s! p6 X6 N! p
. V: B' ]3 ]( a, Y, z }
+ b. K/ |: a2 j) j, d% A" W txt的写入，可以通过fopen，fprintf，fclose实现，基本上我所有GUI中关于代码生成的功能，都是通过这个方式将代码写入m脚本的，给大家举一个简单的txt写入的例子代码 , t" d# i1 I! s! C; b/ r
fid = fopen(test.txt,wt);/ v% z, n; g; r- n, v
fprintf(fid,test1\n);+ t8 T, X( O% Q% [+ [& i& u& z& s
fprintf(fid,test2\n);
, x! i/ k" P6 [8 |1 }3 I3 M fclose(fid); 7 a- D1 [2 Z+ s8 S& K; s
关于txt的读取写入，我再多介绍一点，txt是文本文件中的一种，就是那种右键打开能读得懂的文件。类似的文本文件还有很多，像m文件，mdl模型文件，dcm文件，c代码等等，只要是文本文件，都可以用txt处理的方式，对目标文件进行读取写入。
8 M1 R6 m5 P$ d- x 最后讲一下Excel读取写入的问题，常写MATLAB脚本的朋友，对xlsread和xlswrite肯定不陌生，对应的是Excel的读取和写入
% p* J3 Z( q; u1 x9 d0 E# J' @ [num,txt,raw] = xlsread(filename,sheet,xlRange)
8 t6 @! F7 q* [. A- C, t9 L( @6 | r xlswrite(filename,A,sheet,xlRange) " ]- [! M% _' |- U) p0 e
但是目前MATLAB官方已经不推荐使用这两种方式了，替代的函数是readtable和writetable
6 d5 C* j0 a4 I( n! V5 l1 T T = readtable(filename)
) _. R _0 d6 l# }* e writetable(T,filename)
3 b2 [% \) W! ?: U. s) e1 D% x 9 ?8 |' m% M* o
如果数据是cell元胞的话，替代的函数是readcell和writecell
4 n3 x& q/ `: f T = readcell(filename)3 j4 p# Z6 m) Z; p# b( z0 }
writecell(T,filename) # a" Z, j5 V3 e* ]7 G" ?
大家根据自己的个人习惯选择其中一种方式，两种方式在功能实现上目前并没有太大区别
1 J/ D7 e! k$ N! \$ B; P& {% @ 4. 数据可视化
# `3 x" {- g; k1 g 数据可视化，结果的呈现，也是数据分析过程中至关重要的一环
9 ~( c2 n3 m4 R0 {1 w6 G 像大家非常熟悉的函数plot，就可以用来画曲线图，但是有时候仅仅曲线图并不足以来呈现结果，还需要用到比如像三维图，柱状图，饼状图，蜡烛图等等 - y; B: u8 T/ y5 Y' |) v3 X
这部分我并不打算给大家罗列各种图形对应代码命令，大家也没必要刻意地去死记这些代码，安利一个非常通用的方法 . v+ s2 h9 o& M& i
在选择需要可视化的数据之后，在MATLAB工具条的绘图窗口，选取你喜欢的图形，就能生成你需要的结果图了 9 @" o! p1 h! w" E1 J, F+ r
: G. Q, b& g1 o. c) `+ h/ g 不过，至于图片的细节，像title，legend，网格，还是需要自己微调，但这都不是事，再安利大家一个简单的方法，完全不用上网去搜 $ i1 e/ P7 W% S% A2 o; H/ A
在生成窗口中，点击属性检查器，然后根据自己的需要完善图片的细节，最后通过生成代码，就能看到这部分作图操作的原始代码了，大家也能在代码的基础上再微调，或者复用
0 R, S3 ~9 u: h4 L9 I* k
' w {4 ?5 P# `+ F0 f" p2 o
( M l4 n7 w! }8 `) K 4 J$ f b7 e# S% x, j
5. 数据处理的常用函数
1 T3 G5 ` `9 r. o5 G 关于数据处理的函数，像max，min，mean，std这些函数都是比较常用的函数，分别是最大值，最小值，平均值，标准差
* Y; u/ ]: N. Y& \$ Y% q z. E 再安利大家几个平时我在处理数据时最常用的几个函数 4 ?' C1 A5 {0 a
第一个是unique函数，可以把数据中重复的数据删去，保留唯一值。unique这个函数不仅仅对数值矩阵有效，在cell中同样起作用 0 V. i# n8 t, v4 i; L
C = unique(A) 1 f |: t4 b7 }8 j& E2 m; G
unique还有一些拓展的语法和功能，有兴趣的朋友可以在MATLAB文档中查看，不过光这个基本功能，就已经非常够用了 1 |/ s# q; q: ]: k+ U
第二个要推荐的函数是排序，sort和sortrows，两种函数都有排序的功能，但是使用场景不太一样 - t x. v5 P; m4 C6 {8 C6 g
sort的功能是，将矩阵或者cell中的每行或者每列进行升序或降序排列，其中A代表待处理的矩阵或cell数据，dim的选择有1和2，分别代表对每列和每行进行排序，direction的选择有ascend或 descend，分别代表升序和降序 - E' u- }; m! M% @" V! B8 m& \
B = sort(A,dim,direction) 3 N5 D6 d1 }. X
sortrows的功能是，将矩阵或者cell根据某一列进行升序或降序排列，其中A代表待处理的矩阵或cell数据，column代表根据第几列进行排序，direction的选择有ascend或 descend，分别代表升序和降序 5 y1 i* a5 K8 z0 |7 t" o- H
B = sortrows(A,column ,direction)
) n3 t8 d/ C2 O6 k( e7 a 最后推荐的一个函数是tabulate，非常强的一个命令，可以实现对数据的统计分析，输出的结果有三列，分别是去重后的数据，出现的次数，已经对应的百分比
2 V$ Z; v" H! T7 M1 Q 再结合sortrows对tabulate生成的结果进行排序，就很容易获得各个数据根据频率进行排序的结果
# N1 u) g" R1 x1 s " |! Q9 x, @1 |7 u" ?
除了上面提到的几个日常比较常用的函数，还有一些我非常推荐的函数，平时我用的不太多，但是如果用到的时候找不到会很抓狂的那种
, y4 l8 s' r) f 比如reshape，可以根据自己的需求对数组进行重构 ( E$ K% u5 R4 p5 C" Q
isequal，可以用来确定两个数组是否相等
2 C3 T' e6 U+ a; }7 X datenum，datestr相信大家比较熟悉，可以将日期转换成序列值和字符，平时在处理时间相关数据的时候，还可以考虑用years，days，hours，minutes，seconds等等来计算持续时间 ' ]2 E0 t: a( n! r+ h
常用函数这部分内容就介绍到这，其实还有很多非常赞的函数，欢迎大家把自己喜欢的函数发到评论区 ! C8 D5 B7 R7 w7 k! M5 b
/ N5 F( Q5 m. a7 q( V* J
6. 数据爬取 : y$ ?6 {! }4 L6 R- q/ m5 n
数据爬取部分，其实我想讲的是爬虫，不过也不能算数据分析的技巧，我讲这部分内容，更多的是出于建模竞赛的原因 ' [' u2 r+ {$ h7 n6 \+ ^
建模、仿真和验证，其实是需要数据的支持的。脱离实际意义的建模，靠拍脑门做出来的结果，都是不提倡的 ! B) y2 V: b' U7 h# \
最简单的情况，如果有现成的数据文件，可以根据今天聊到的第三部分，读取数据文件之后进行分析
3 N* H; m. B; |( n 如果没有这些数据，我推荐大家使用MATLAB读取网页的函数webread进行数据爬取 2 P8 v: n5 w e! @4 ?9 z, t2 w
data = webread(url) ! P! k9 e% S+ Y1 t o
爬取到数据之后，再通过regexp函数正则法处理网页数据
* @. B( V( ~$ f3 z* _' A/ k: j; p 这部分聊的比较浅，但也很难三两句话把爬虫讲完，推荐大家一个相关的MATLAB爬虫视频，讲的是我之前用MATLAB爬取B站，视频很短，一共7分钟，大家一边看一边跟着做练习，基本上半个小时也就全整明白了(知乎不给放二维码，有需要的朋友，直接上B站搜打浦桥程序员吧) 4 K7 z( Z. @% s
7. 薅系列工具 0 `/ l N; q8 D, u$ z' w
最后一部分要安利给大家的是，由我自己开发的薅系列工具 " |/ e* d/ [ l! R% r
目前反响最好的是薅曲线(HaoCurve)，从图片中提取曲线的原始数据。之前不少参加过建模竞赛的朋友经常私信说，拿薅曲线来做结果验证特别管用 $ [; e8 k4 ]+ a2 b$ m. v1 d
虽然这个工具我平时用到的不太多，不过就冲8000多的下载量来说，我还是很推荐的。需要的朋友，戳下方的文章链接获取工具下载方式
% A$ F/ `$ T6 x/ E( X 2 m; n8 T+ |' N& J4 J: K
B: X2 T" y3 u3 r" o
; @9 T1 z' h6 F& E& y6 N 5 d9 m4 ?% ?! O4 n# V
我个人用的比较多的是另外两款工具，一个是薅文件(HaoFile)，里面的历史代码检索功能很强大，可以大大减少找代码写脚本的时间，在数据分析过程中，很多脚本和功能都是可以复用的，有需要的朋友，戳下方的文章链接获取工具下载方式
2 `1 X. R. H5 X3 T/ p - O. j- O* _, C8 d7 C
打浦桥程序员：背几段MATLAB代码就那么难吗？ & R |" p, g6 M! x& q$ @/ D! t5 z
: }3 e3 q; i- l( P! o4 K/ S6 J
2 _0 H! m; ?2 Q( @ h0 i
- e( x) J; K! k2 _! C$ M, V / ?! B) s6 }6 b: L
另一款工具是薅模版(HaoTemplate)，如果最终数据分析的交付文档有格式上的要求，薅模版能就发挥它的作用，可以生成特定格式的Excel或Word模版代码，这可比自己手动去调格式方便很多，有需要的朋友，戳下方的文章链接获取工具下载方式 - y0 V H, n q
# n ~) V2 h% ]
/ e! q+ p/ @8 @
! f% O/ ~( K' v2 m- k9 v6 s; ^& E 7 r2 C; W' H& e1 _
薅系列工具还有很多，不过在数据分析这部分，我最推荐的是这三款工具 - Q) T7 V" D) g6 g( W
# t+ ^1 u* c/ f% O
不知觉间，写了这么多字 / Q1 f0 S. ]1 K6 f
今天总结的小技巧，未必是最适合大家的方法，但确实是我这些年养成的一些处理习惯 9 A( D! N7 N/ U% c A
希望今天总结的方法，对大家平时的工作学习有所帮助，当然大家如果有更推荐的小技巧，欢迎在评论区补充 4 j; W6 e% O- g! q( P/ k( {4 `
如果你也对MATLAB感兴趣的话，欢迎关注我的微信公众号“打浦桥程序员”
. I, }2 O. b- l N9 {$ A2 D8 F
. H _# [3 V: y; F- z" m3 j
* a$ B# K# g- C! K
/ F. ~) t5 G7 O6 `5 T, `- I# G
| 
