什么是大数据技术？

什么是大数据武艺？

大数据武艺的目标就是为了应对业务情况(生存或消费)中第一时间产生的多量或海量数据，约莫是一天几个亿乃至几十亿的数据，要对这些数据举行布局化处理，既能大吞吐量的写入存储，还能快速的查询到存储的布局，既要均衡的分布这些数据，还能对显现问妨碍的节点，快速举行规复，既能确保体系在分布式情况下具有精良的可用性，在某些情况下还要确保数据的一律性(接近)，既要能快速的调用业务端正，完成数据驱动下的及时处理，还能对成百上千台存储了N多个PT数据集的并行分析，提供算力最大化的数据处理架构。

那大数据开发呢，实践上分两种：第一类是编写一些Hadoop、Spark的使用步骤，第二类是对大数据处理体系本身举行开发。第二类事情的话通常才大公司里才有，寻常他们都市搞本人的体系大概再对开源的做些二次开发。这种事情的话对实际和实践要求的都更深一些，也更有武艺含量。接下去来开头拆分大数据开发，这些都是基本要把握的内容

• 01 Python基本：语法· Python数据处理· 函数· 文件读写· 特别处理· 模块和包
• 02 Python进阶：面向目标· 网络编程· 多职责编程· 高等语法· Python编程综合项目
• 03 SQL基本： MySQL与SQL· Kettle与BI东西· Pymysql
• 04 ETL基本： ETL看法与东西· Python ETL实战· BI
• 05 Hadoop武艺栈 :Linux· 大数据基本和硬件先容· Zookeeper· HDFS· MapReduce· YARN· Hive基本· Hive高阶
• 06 Spark武艺栈 : Pandas基本· Pandas数据处理实战· Spark基本· Spark Core· Spark SQL· SparkSQL案例· Kafka· Elasticsearch
• 07 Flink武艺栈 : Flink Core· Flink DataStream· Flink SQL· Flink Runtime· Flink高等· Flink电商案例实战

学习资源：2022年黑马python大数据开发学习路途

一、网站

1. 网易公开课
https://http://open.163.com/

2. 腾讯讲堂 https://http://ke.qq.com/

3. 中国大学慕课
https://www.http://icourse163.org/

4. B站
https://www.http://bilibili.com/

学习资源十分多，内容体系且全盘，重点眷注一些专业培训机构上传的学习视频

5. Statista https://www.http://statista.com/

6. CEIC https://www.http://ceicdata.com/en

7. InfoQ-大数据
https://www.http://infoq.cn/

二、册本

1. 《为数据而生》

这是一部大数据在伶俐都市、医疗、教导、金融、商业等范畴的实践条记；更是一部为将来大数据的提高提供有可行性的途径指南！

2. 《R言语猜测实战》

R言语具有上手快、听从高的特点，它超过金融、生物、医学、互联网等多个范畴，主要用于统计、建模及可视化。猜测是数据发掘的主要作用之一，也是大数据年代的中心代价地点。

3. 《Hadoop威望指南》

本书是Hadoop威望参考，步骤员可从中探究怎样分析海量数据集，办理员可以从中了解怎样安装与运转Hadoop集群。