|
$ w) b& c; F/ n9 q* J; P 最近一段时间，工作上花了不少时间用MATLAB处理工厂下线的数据，数据庞大不说，复杂度也高，各种推算和统计 2 c: W5 |: |9 Y4 E4 E
所以今天我打算总结一下，平时我在用MATLAB做数据分析时常用的几个小技巧 0 O, D2 X7 M8 T. u! e$ t
正好全国大学生数学建模竞赛下周就要开始了，希望今天的分享对参赛的朋友有所帮助
. Q: H' M& C6 E' } 虽然不知道到时候会有哪些选题，但是能肯定的是，不管是什么题目，都离不开数据分析，这是唯一比赛前能好好准备的
; z. N- V2 | e3 |/ d 1. 数据类型的转换
& v* P& v6 A) D0 J, S, h7 D 有一类问题，不论你MATLAB水平如何，平时写代码的时候多少总会遇到，就是数据类型不一致，需要转换
+ g! f! T' m$ c$ v; e4 j b 至于什么是数据类型，这个问题我就不科普了，大家可以直接在MATLAB命令栏“doc 数据类型”
* S" ~" |/ o% F2 T$ ? , }& `. k7 n. K4 A# z* A
通常在数据转换这个问题上，涉及到的比较常见几种的数据类型有double，char，cell，struct 1 L5 k+ A: Q8 V* Y
我给大家准备了一张数据类型转换的关系图，用class判断一下转换前的两种数据类型，然后按照下面这张图处理就完事了 : N# x* ^# n4 R5 m' `# j
3 }; {/ ]" I- o4 b8 h# r2 a4 r4 y H 2. 字符串的对比 0 k& I6 [& P: \9 N, |$ v9 R
第二个经常需要处理的问题是，字符串的对比
6 l$ J5 V0 v; a6 X. f* v! p 这里不单单指的是字符串，还包括cell元胞里面的字符串定位 " @8 S/ [" b6 t% I7 p
如果单纯只是字符串的话，要判断两个字符串是否相同，strcmp函数可以实现对比
% `, V" a6 d: k) l+ @$ i7 [% v strcmp(abc,abc) & r4 u: B6 l9 i8 i
判断字符串中是否包含某种字符串，可以使用contains函数 ' e$ T7 B( x5 w' K' m) [+ `
contains(abc,ab) $ f, ]7 p/ u; B4 q( J3 V$ b9 s
判断字符串中在哪几位出现某种字符串，可以使用regexp函数
2 g7 z' B7 _ J4 e- u regexp(abac,a)
+ Y1 j: K/ B' O J 更常碰到的场景是，在cell元胞里面判断字符串，比如维度1x1000的cell中，定位哪几个cell里面的字符串是‘abc’，还是通过strcmp实现对比，再通过find定位 : v. l$ h( b& U5 F8 t6 A+ v
a = strcmp(Cell_variable,abc);2 Z( z2 |$ F4 e/ x: H% n: s# @
b = find(a == 1) 4 ]: [0 n' m3 x. `! ^7 e
同样，要判断这1x1000的cell中，定位哪几个cell中的字符串，带有‘ab’，可以使用contains函数，再用find定位
^. U) e. k: U4 f+ @ a = contains (Cell_variable,ab);
' S: A3 U/ u" Z( C, g" b b = find(a == 1)
+ l: o' w. k3 z; l S( A4 H% N 掌握上面这两点，在平时处理cell的字符串，基本上就够用了
1 k4 P0 b" |$ ~3 s% | 3. 文件的读取写入 ! b6 o4 e9 X0 T- {
文件的读取写入同样非常重要，在数据分析过程中，对应着信息的获取和数据处理结果的输出 ! n% x3 p, N9 ^8 w6 Z7 n- v+ @
mat, txt, excel是平时最常碰到的文件类型
8 B2 A% H$ Z4 W0 k/ g2 F mat就不用多说了，MATLAB中的一种文件类型，用于存储workspace中的变量，在数据分析过程中，可以经常把运算结果或中间阶段的数据，作为mat进行保存 % e* a+ e( M$ e# w# q
加载mat文件，用的是“load 文件名”命令，也可以双击mat文件，保存mat文件，用的是“save 文件名”命令，也可以workspace右键保存 - F- M$ J3 _. `: t% h
txt的读取方式有非常多，网上也有各种各样的介绍，我就介绍两种最常用，也是目前我一直在用的两种方法
9 v( x X' {: _ 第一种是通过importdata(‘test.txt’)命令，读取的结果是一个多行一列的cell元胞，后续的数据处理也就方便了，cell里面的字符串定位处理在前面也已经介绍过 1 t h7 X* Q3 b8 V% L# R. H8 y
另一种方法是，通过MATLAB工具条里的“导入数据”按钮，这种方法的一个好处是，导入过程中有很多非常人性化的设置，比如数据的分隔，范围定义，数据的输出类型等等 0 l( k( Y" U4 E# W# P
导出的选择也有不少，可以选择直接导出到workspace，也可以选择生成脚本或者是function，方便同类型文本的重复使用，对于不太喜欢写脚本导入数据的朋友，我比较推荐这种方式
) k& }( |; M9 a7 C# E# c- M
+ T( c4 r3 J8 g) e" j* j4 w
v' f" W& {; a. m 6 ?. g) @7 T! ^) |* }
txt的写入，可以通过fopen，fprintf，fclose实现，基本上我所有GUI中关于代码生成的功能，都是通过这个方式将代码写入m脚本的，给大家举一个简单的txt写入的例子代码
6 g, R5 V6 k l6 O fid = fopen(test.txt,wt);) _0 K: M8 @3 w* ]; m
fprintf(fid,test1\n);
/ g* h: [" m. U" k2 m fprintf(fid,test2\n);
! u0 e( l) e9 x' L( M# L3 i5 k fclose(fid); $ b" M) h1 B% D
关于txt的读取写入，我再多介绍一点，txt是文本文件中的一种，就是那种右键打开能读得懂的文件。类似的文本文件还有很多，像m文件，mdl模型文件，dcm文件，c代码等等，只要是文本文件，都可以用txt处理的方式，对目标文件进行读取写入。
3 n; i! X( Q" f# o 最后讲一下Excel读取写入的问题，常写MATLAB脚本的朋友，对xlsread和xlswrite肯定不陌生，对应的是Excel的读取和写入
6 Z6 k+ {: X$ m [num,txt,raw] = xlsread(filename,sheet,xlRange)
) `, V" d% k, r& H7 r* [' N xlswrite(filename,A,sheet,xlRange)
% f7 o# [+ d) t3 Z! z S: c 但是目前MATLAB官方已经不推荐使用这两种方式了，替代的函数是readtable和writetable
$ w! g* @7 l, y q- D: ~ T = readtable(filename)
: j) {0 e" N" `1 n& _' u9 \4 k writetable(T,filename)
. f( O" m. S' a: R' f3 W9 F 4 y2 Z$ c* ^- E% m! c. U. r
如果数据是cell元胞的话，替代的函数是readcell和writecell " s, }' o- N0 A' a
T = readcell(filename)5 T5 e$ a% m \( m
writecell(T,filename)
* H/ v! s6 W4 @: \7 n 大家根据自己的个人习惯选择其中一种方式，两种方式在功能实现上目前并没有太大区别
) Z' d5 P) N0 q9 J 4. 数据可视化
& V: u. c9 q/ O0 q0 N% w. O) U/ _ 数据可视化，结果的呈现，也是数据分析过程中至关重要的一环 / ^/ W' U9 | Y- r+ ~7 ?: B
像大家非常熟悉的函数plot，就可以用来画曲线图，但是有时候仅仅曲线图并不足以来呈现结果，还需要用到比如像三维图，柱状图，饼状图，蜡烛图等等 5 q% ~2 d8 ]' n% L. F
这部分我并不打算给大家罗列各种图形对应代码命令，大家也没必要刻意地去死记这些代码，安利一个非常通用的方法 ' i% m0 c7 g( N6 u0 E0 i- }2 Q
在选择需要可视化的数据之后，在MATLAB工具条的绘图窗口，选取你喜欢的图形，就能生成你需要的结果图了 8 x, a: s( L& x0 X
# x4 y: q, M+ O1 T) ]/ \
不过，至于图片的细节，像title，legend，网格，还是需要自己微调，但这都不是事，再安利大家一个简单的方法，完全不用上网去搜
9 m. ?: X% m, q( L2 K 在生成窗口中，点击属性检查器，然后根据自己的需要完善图片的细节，最后通过生成代码，就能看到这部分作图操作的原始代码了，大家也能在代码的基础上再微调，或者复用 7 t) p. q6 o( ~+ T$ S
c5 `& `- A# S5 z5 F, j1 R' {
6 p: w! Y" [1 |& V
: {$ z/ d! z' [- ]1 m. f% w 5. 数据处理的常用函数 2 r7 N' s6 r4 y. \3 G1 z0 r# C
关于数据处理的函数，像max，min，mean，std这些函数都是比较常用的函数，分别是最大值，最小值，平均值，标准差 1 W) e- h. s' v5 Z
再安利大家几个平时我在处理数据时最常用的几个函数 - V* D: h+ Q6 D" A' d4 i$ @& V
第一个是unique函数，可以把数据中重复的数据删去，保留唯一值。unique这个函数不仅仅对数值矩阵有效，在cell中同样起作用
( Y; }5 w, E% l( U: f% g C = unique(A) 0 E) ^2 O; p+ \: x9 g7 t# |( _' l
unique还有一些拓展的语法和功能，有兴趣的朋友可以在MATLAB文档中查看，不过光这个基本功能，就已经非常够用了
3 L- A6 D: f- g3 G/ S2 J 第二个要推荐的函数是排序，sort和sortrows，两种函数都有排序的功能，但是使用场景不太一样 ' w: J: B: }: B( I
sort的功能是，将矩阵或者cell中的每行或者每列进行升序或降序排列，其中A代表待处理的矩阵或cell数据，dim的选择有1和2，分别代表对每列和每行进行排序，direction的选择有ascend或 descend，分别代表升序和降序 / o# m( l( @* F# y9 F0 Y& U
B = sort(A,dim,direction)
) W7 w$ z( J% ? sortrows的功能是，将矩阵或者cell根据某一列进行升序或降序排列，其中A代表待处理的矩阵或cell数据，column代表根据第几列进行排序，direction的选择有ascend或 descend，分别代表升序和降序
- C7 G" \( s. O B = sortrows(A,column ,direction)
. k) [: y6 S. @: g1 R" T 最后推荐的一个函数是tabulate，非常强的一个命令，可以实现对数据的统计分析，输出的结果有三列，分别是去重后的数据，出现的次数，已经对应的百分比 ; G* h7 U$ z! R4 E
再结合sortrows对tabulate生成的结果进行排序，就很容易获得各个数据根据频率进行排序的结果 : _1 P, y: c6 Z/ y: P
! N! p" R6 n: P% W9 r
除了上面提到的几个日常比较常用的函数，还有一些我非常推荐的函数，平时我用的不太多，但是如果用到的时候找不到会很抓狂的那种
2 r1 Z: Y- N: t- P2 M9 } 比如reshape，可以根据自己的需求对数组进行重构 & l+ Z/ i3 ]! `" u* ]) h0 m
isequal，可以用来确定两个数组是否相等
; S; l( `# P8 e, u+ ? datenum，datestr相信大家比较熟悉，可以将日期转换成序列值和字符，平时在处理时间相关数据的时候，还可以考虑用years，days，hours，minutes，seconds等等来计算持续时间 ( X$ y0 B% X- O, f; B6 g! e
常用函数这部分内容就介绍到这，其实还有很多非常赞的函数，欢迎大家把自己喜欢的函数发到评论区 7 W% _0 F7 R" A7 g& U
1 \7 V: m- J$ F8 T- T1 P/ H n- `
6. 数据爬取
3 Y! x1 L2 g" J; c% r 数据爬取部分，其实我想讲的是爬虫，不过也不能算数据分析的技巧，我讲这部分内容，更多的是出于建模竞赛的原因
- ~! X1 m; R% o! K; O* D0 k 建模、仿真和验证，其实是需要数据的支持的。脱离实际意义的建模，靠拍脑门做出来的结果，都是不提倡的 * O! z) @" d# X; r$ }: R
最简单的情况，如果有现成的数据文件，可以根据今天聊到的第三部分，读取数据文件之后进行分析
0 Y" l! D7 y( [# ?# Q5 E. N3 \ 如果没有这些数据，我推荐大家使用MATLAB读取网页的函数webread进行数据爬取 8 j, u) G: N% f, _9 o7 d1 A1 \1 s3 X
data = webread(url)
& r. F& P2 F L \ 爬取到数据之后，再通过regexp函数正则法处理网页数据
8 Q6 N% n, j$ g. O+ \% v8 B# D0 [ a 这部分聊的比较浅，但也很难三两句话把爬虫讲完，推荐大家一个相关的MATLAB爬虫视频，讲的是我之前用MATLAB爬取B站，视频很短，一共7分钟，大家一边看一边跟着做练习，基本上半个小时也就全整明白了(知乎不给放二维码，有需要的朋友，直接上B站搜打浦桥程序员吧) g# G$ X* h/ k c% E# [: g6 |
7. 薅系列工具 " U; k- A2 K& \* ]5 N% r# {
最后一部分要安利给大家的是，由我自己开发的薅系列工具
; @3 @0 m- k, G$ | 目前反响最好的是薅曲线(HaoCurve)，从图片中提取曲线的原始数据。之前不少参加过建模竞赛的朋友经常私信说，拿薅曲线来做结果验证特别管用
3 ?0 P: K4 Q* s9 y! j" C$ \6 S 虽然这个工具我平时用到的不太多，不过就冲8000多的下载量来说，我还是很推荐的。需要的朋友，戳下方的文章链接获取工具下载方式
; I7 d* G. m+ y: }9 c+ p
( w( a4 K1 D0 P9 F/ J9 t % ~5 P" L4 C1 w- j" O' V" L! z5 r
# Z' M$ r% }4 A: `1 t 6 y; g8 `4 i# F v# X0 Q: q( d
我个人用的比较多的是另外两款工具，一个是薅文件(HaoFile)，里面的历史代码检索功能很强大，可以大大减少找代码写脚本的时间，在数据分析过程中，很多脚本和功能都是可以复用的，有需要的朋友，戳下方的文章链接获取工具下载方式 ) G* W% i* `; z4 }
1 `9 r: t0 D) W: |% M
打浦桥程序员：背几段MATLAB代码就那么难吗？
- n/ j, U! U+ p8 ^5 g ~ ' z/ w: w) T( `& z4 o$ h
. O g, b# x+ O; E
7 _. x( R- f8 I! x3 H8 _
- |7 L, v6 f" m1 C! ~$ K, E 另一款工具是薅模版(HaoTemplate)，如果最终数据分析的交付文档有格式上的要求，薅模版能就发挥它的作用，可以生成特定格式的Excel或Word模版代码，这可比自己手动去调格式方便很多，有需要的朋友，戳下方的文章链接获取工具下载方式
# x" ]1 Z3 P4 l. C, y* x 8 g- }/ }/ @: N& G. H1 G# j' o
4 s- V3 T: h0 G# T" t, G
) B! T$ Z, P) [% ?4 y
* F6 k" e; b. A9 k7 I 薅系列工具还有很多，不过在数据分析这部分，我最推荐的是这三款工具 3 a2 I) d7 s* r
+ @/ C0 f' T* ~. C& @, i 不知觉间，写了这么多字
* F: w* ]" b) x 今天总结的小技巧，未必是最适合大家的方法，但确实是我这些年养成的一些处理习惯 ' z* p/ t* M# i- ]9 H7 U% u
希望今天总结的方法，对大家平时的工作学习有所帮助，当然大家如果有更推荐的小技巧，欢迎在评论区补充 3 Q% p8 l ~& C; D' b
如果你也对MATLAB感兴趣的话，欢迎关注我的微信公众号“打浦桥程序员” , Q8 [# X! a1 R, `. N# X
' U6 j/ X S- k3 X
1 [7 @ i# E/ C* U4 B8 m/ r8 s1 P: c' f. ~( Y
! n; ]; w9 W2 r4 m3 ] | 
