大数据技术原理与应用 【笔记】

环境

看视频:
http://study.163.com/course/courseMain.htm?courseId=1002887002

前言

个人笔记 视频笔记

正文

大数据 思路的转变:

全样而非抽样
效率而非精确
相关而非因果

核心技术

分布式存储 和 分布式处理

云计算

解决了:分布式存储 、 分布式处理、虚拟化和多租户;

Hadoop

YARN 简称“样” 作用是起到 调度作用;因为在版本1时 MapReduce 即处理 又负责调度;版本2进行拆分;
(集群资源管理)

HDFS

解决海量数据分布式存储问题
几个重要的概念:1、块(block)2、name node 和 data node

数据节点会定期发送自己存储的块的列表给主节点(名称节点)。

Fsimage

FsImage文件记录:文件的复制等级、修改和访问时间、访问权限,块大小以及组成文件的块。对于目录,则存储修改时间、权限和配额元数据。

Nosql

1、频繁的读写 使用键值数据库更好些

MapReduce

其实就是分布式并行编程

Hadoop MapReduce 是其具体实现。

设计理念

计算向数据靠拢

主要组成部分

1、Client

2、JobTracker

3、TaskTracker

4、Task

工作流程概述

1、不同的Map任务之间不会进行通信
2、不同的Reduce任务之间也不会进行通信

Shuffle 洗牌

分区、排序、合并、归并

之后再分发给Reduce

合并(Combine)和归并(Merge)的区别: 两个键值对

相关文章
相关标签/搜索