大数据关键技术

大数据技术，就是从各种类型的数据中快速获得有价值信息的技术。大数据领域已经涌现出了大量新的技术，它们成为大数据采集、存储、处理和展现的

有力武器。

一、大数据接入

1、大数据接入

已有数据接入、实时数据接入、文件数据接入、消息记录数据接入、文字数据接入、图片数据接入、视屏数据接入

2、大数据接入技术

Kafka、ActiveMQ、ZeroMQ、Flume、Sqoop、Socket(Mina、Netty)、ftp/sftp

二、大数据存储

1、大数据存储

结构化数据存储、半结构化数据存储、非结构化数据存储

2、大数据存储技术

Hdfs、Hbase、Hive、S3、Kudu、MongoDB、Neo4J 、Redis、Alluxio(Tachyon)、Lucene、Solr、ElasticSearch

三、数据分析挖掘

1、大数据分析与挖掘

离线分析、准实时分析、实时分析、图片识别、语音识别、机器学习

2、大数据分析与挖掘技术

MapReduce、Hive、Pig、Spark、Flink、Impala、Kylin、Tez、Akka、Storm、S4、Mahout、MLlib

四、大数据共享交换

1、大数据共享交换

数据接入、数据清洗、转换、脱敏、脱密、数据资产管理、数据导出

2、大数据共享交换技术

Kafka、ActiveMQ、ZeroMQ、Dubbo、Socket(Mina、Netty)、ftp/sftp、RestFul、Web Service

五、大数据展现

1、大数据展现

图化展示（散点图、折线图、柱状图、地图、饼图、雷达图、K线图、箱线图、热力图、关系图、矩形树图、平行坐标、桑基图、漏斗图、仪表盘）大数据新技术，文字展示；

2、大数据展现技术

Echarts、Tableau

国家规划大数据产业发展战略，各行各业需要大数据技术支撑指数级的数据增量服务，越来越多的企业逐渐转型于大数据，大数据方面市场需求呈爆发式增长。

（编辑：南京站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!