- t, j- n# _' _5 b- y
随着云计算、人工智能等技术的不断深入发展,以及底层芯片和内存端的变化还有视频应用的普及,都给大数据带来新的发展要求。
5 @; d- ?! h! B; c5 l 未来大数据技术会沿着异构计算,批流融合,云化,兼容AI,内存计算等方向持续更迭,即将到来的5G时代让4G时代积累的指数级用户数据拥有了更多可能性,以“万物互联”为特征的物联网拓宽了数据源头与数据类型,智能算法挖掘出数据的多元应用形态。
* P' |6 t0 y. g ~! s* r% M5 C
5G和物联网应用的成熟,又将带来海量视频和物联网数据,支持这些数据的处理也会是大数据技术未来发展的方向。
* G( Q6 u$ |2 ^' ]
% e5 E2 H- k. O8 R! s0 }! V
+ p4 j& j5 L `0 l0 b3 f% o
打开凤凰新闻,查看更多高清图片
/ I. @$ s3 |/ ?# | 3 s- Z# @/ q2 l1 h
" k; k) S+ j# D1 q! I+ w. l# | 1、大数据人才需求及现状
. X: Z/ d5 b" r- K1 P1 J
据统计,2019年新增设2072个本科专业,其中数据科学与大数据技术专业备受欢迎,共有196所高校新增该专业。
% C0 u1 W# U3 {; k9 J
根据根据清华大学经管学院2017年11月发布的《中国经济的数字化转型:人才与就业》报告中显示,当前我国大数据领域人才缺口高达150万,到2025年将达到200万。
2 h: S1 ^* A t% W
就目前的技术发展速度及大数据的前景来看,未来大数据相关人才的需求量相当大,正是学习转型的好机会。
, @3 v6 e: Z$ X5 v% }! ~
2、大数据与信息的关系
4 ? |) y( A2 t+ Y9 S; F
大数据有5V特点,即Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)、Veracity(真实性)。
/ O( G4 w9 ~" \6 v4 v" n9 d, b
但从信息论的角度,大数据通常是具备三个主要特征,数据量大,多样性和完备性。
: y- E* F9 H3 `6 i; S9 E
(1)大数据的体量足够大
! G8 L; O; ?8 E$ Z$ X- z4 a+ B 我国仅北京的国家超级大数据中心占地面积就达8万平方米,包含9栋数据机房和1栋感知体验中心。但过去数据支持量不足,数据能够传达的信息相对有限,很多人低估了它的价值。像语音识别领域就是因为早期积累大量的音频数据,后来才能捷足先登第一批尝到数据驱动方法的甜头。
3 L4 ]& n6 _" a( P (2)大数据的多维度足够多
; d: `; @! g! R 目前谷歌的人工智能走在前沿,AlpahaGo、无人驾驶、IT医疗公司Calico,都是建立在多维度的大数据基础之上的。例如谷歌会根据用户的搜索词,多维度为用户展现更多的信息内容,包括主要搜索词内容以及边缘内容。大数据的多维度,统计学中称为相关性,信息论中称为互信息。互信息,它在信息论中,实现了对信息相关性的度量。
% K0 O6 a/ M# h+ g* H! l0 p, A3 Q
(3)大数据的完备性
- k6 m; G5 F1 X, Q5 O6 A) D. k% `- G
所有数据驱动的方法,建立模型使用的数据和使用模型的数据需要有一致性。当数据具备完备性之后,就相当于训练模型的数据集合和使用这个模型的测试集合是同一个集合,或者是高度重复的。这样的数据驱动方法才是有效的。
) [/ Q/ n$ A0 @0 F4 {4 A 3、大数据专业就业方向
+ O$ y9 \% ~% V0 t0 n, |5 Q 大数据作为一门基础科学,无论在数据开发及分析、物联网和人工智能算法训练领域,都有着核心技术和职位诉求,主要来说的话,当下,大数据方面的就业主要有三大方向:1.数据分析类大数据人才、2.系统研发类大数据人才、3.应用开发类大数据人才。相关岗位包括Hadoop开发、可视化工具开发、信息架构开发、数据仓库研究、数据科学研究、数据预测分析、企业数据管理、数据安全研究。
" H' }5 h8 T+ d! s0 o7 q8 o$ Q! h) U