大数据存储

图书介绍

本书特色： 1、本书是“十四五”广东省职业教育规划教材，本书定位于大数据存储与应用的实践型入门教程，通过理论结合案例带领初学者快速掌握大数据存储工具的基础操作能力和综合运用能力。2、全书以项目任务式为导向，每一个项目由项目背景、项目目标、目标分析、项目实施、项目总结构成，让读者对实际项目的流程有一个初步的认识，内容讲解由浅入深，从案例背景介绍到需求分析，再从知识点介绍到案例任务实现，让读者明确如何利用所学知识解决问题，实现海量数据集的存储和分析。3、每个项目融入了知识、技能目标，让读者对该项目可以学习到的知识和技能有一个初步的了解，同时也融入了思政目标，帮助读者在学习大数据存储内容的过程中树立正确的观念，提升各方面的素养和能力。4、此外，每个项目中结合了项目具体内容，增加了相关的拓展阅读与思考题，从而引导教育读者在学习过程中遵纪守法，树立正确的人生观、职业道德观，养成爱岗敬业、求真务实、追求突破的工匠精神。全书大部分项目中通过实训和课后习题巩固所学知识，帮助读者真正理解并能够应用所学知识。

 本书适用对象 1.开设有大数据存储课程的高校的学生。 2.具有海量数据存储需求的技术人员。 3.基于数据库应用的开发人员。 4.进行大数据存储应用研究的科研人员。

图书目录

项目1    绪论    1

【教学目标】    1
【项目描述】    1
【项目实施】    2
任务1.1    大数据简介    2
1.1.1    大数据的概念    2
1.1.2    数据的特征    3
1.1.3    大数据的应用领域    7
1.1.4    大数据技术体系    9
任务1.2    大数据存储技术    13
1.2.1    数据存储简介    13
1.2.2    分布式数据库简介    17
【项目总结】    20
【课后习题】    21
【拓展阅读】    22

项目2    结构化数据仓库——Hive    21

【教学目标】    21
【项目描述】    22
【项目实施】    23
任务2.1    了解Hive的架构原理    23
2.1.1    认识Hive    24
2.1.2    了解Hive的架构    25
任务2.2    安装配置Hive    26
2.2.1    搭建Hadoop集群    26
2.2.2    配置MySQL数据库    27
2.2.3    配置Hive数据仓库    28
任务2.3    创建航空客户信息表    32
2.3.1    掌握Hive基础数据类型    32
2.3.2    创建表    32
2.3.3    删除表与表数据    35
2.3.4    修改表结构    35
2.3.5    任务实现    36
任务2.4    导入航空客户数据到航空客户信息表    37
2.4.1    导入数据    37
2.4.2    导出数据    41
2.4.3    任务实现    43
任务2.5    查询航空客户信息表空值记录数    44
2.5.1    认识SELECT语句结构    44
2.5.2    了解运算符的使用    46
2.5.3    使用WHERE语句进行条件查询    46
2.5.4    任务实现    47
任务2.6    查询航空客户信息表字段数据的最大值和最小值    47
2.6.1    认识HiveQL内置函数    47
2.6.2    任务实现    50
任务2.7    统计会员数最多的会员级别    51
2.7.1    认识HiveQL子查询    52
2.7.2    任务实现    53
任务2.8    编写UDF统计用户入会时长    53
2.8.1    编写Hive中的UDF    53
2.8.2    任务实现    55
任务2.9    构建航空客户价值分析的特征数据    57
2.9.1    过滤无效、异常数据    57
2.9.2    选取有效字段    58
2.9.3    构建模型指标    59
【项目总结】    60
【实训】    60
实训1 统计学生成绩的总分、平均分    60
实训2 合并文件数据并进行条件查询    62
【课后习题】    63
【拓展阅读】    65

项目3    列存储数据库——HBase    64

【教学目标】    64
【项目描述】    65
【项目实施】    66
任务3.1    认识HBase    66
3.1.1    了解HBase    66
3.1.2    掌握HBase核心功能模块    69
3.1.3    了解HBase的数据模型    71
任务3.2    安装HBase集群    72
3.2.1    安装前的准备工作    73
3.2.2    安装配置Zookeeper    74
3.2.3    安装配置HBase    76
任务3.3    设计与新建钞票交易数据表    78
3.3.1    设计表结构的原则    78
3.3.2    创建与删除表    80
3.3.3    任务实现    82
任务3.4    新增与删除钞票表表数据    83
3.4.1    插入数据    84
3.4.2    查询数据    84
3.4.3    删除数据    85
3.4.4    扫描全表    86
3.4.5    任务实现    87
任务3.5    查询指定时间版本的钞票数据    88
3.5.1    按时间版本查询记录    88
3.5.2    任务实现    89
任务3.6    使用Java API创建钞票表    90
3.6.1    搭建HBase开发环境    90
3.6.2    创建表与删除表的方法    98
3.6.3    任务实现    99
任务3.7    通过Java API插入数据到钞票表并查询    100
3.7.1    调用表对象的put()方法插入数据    101
3.7.2    调用表对象的get()方法进行查询    102
3.7.3    调用表对象的scan()方法进行全表查询    104
3.7.4    任务实现    105
任务3.8    通过MapReduce导入数据到钞票表    108
3.8.1    编写MapReduce实现数据交互    109
3.8.2    任务实现    110
【项目总结】    114
【实训】    114
实训1 查询学生成绩信息    115
实训2 用户访问网站日志分析    116
【课后习题】    117
【拓展阅读】    119

项目4    文档存储数据库——MongoDB    117

【教学目标】    117
【项目描述】    118
【项目实施】    119
任务4.1    认识MongoDB    119
4.1.1    了解MongoDB    119
4.1.2    了解MongoDB数据模型    121
任务4.2    安装分布式MongoDB    123
4.2.1    安装配置MongoDB    123
4.2.2    访问MongoDB HTTP接口    125
任务4.3    创建存储用户日志数据的数据库    126
4.3.1    创建与删除数据库    126
4.3.2    任务实现    129
任务4.4    存储用户日志数据到MongoDB    129
4.4.1    插入文档数据    130
4.4.2    删除文档数据    131
4.4.3    更新文档数据    132
4.4.4    任务实现    134
任务4.5    查询MongoDB中用户访问HTML页面记录数    134
4.5.1    查询文档数据    134
4.5.2    索引    135
4.5.3    聚合    137
4.5.4    任务实现    138
任务4.6    使用MongoDB Java API创建电子商务日志数据存储系统    138
4.6.1    搭建MongoDB的开发环境    138
4.6.2    创建电子商务日志数据存储数据库    140
4.6.3    任务实现    144
【项目总结】    147
【实训】    147
实训1 学生信息存储和查询    147
实训2 电影评分查询    148
【课后习题】    149
【拓展阅读】    150

项目5    文档存储数据库——ElasticSearch    152

【教学目标】    152
【项目描述】    152
【项目实施】    154
任务5.1    认识ElasticSearch    154
5.1.1    了解ElasticSearch    154
5.1.2    安装分布式ElasticSearch    158
任务5.2    使用Head扩展插件存储用户和电影信息数据    163
5.2.1    配置head插件    164
5.2.2    创建与修改索引    166
5.2.3    增加、删除与修改数据    170
5.2.4    查询数据    172
5.2.5    任务实现    177
任务5.3    通过Java存储用户对电影的评分数据    179
5.3.1    搭建ElascticSearch开发环境    179
5.3.2    创建与修改索引    184
5.3.3    增加、删除与修改数据    186
5.3.4    批量操作    188
5.3.5    任务实现    189
任务5.4    通过Java查询插入的数据记录    192
5.4.1    调用Get API查询    192
5.4.2    调用Search API查询    193
5.4.3    输出设置    199
5.4.4    任务实现    200
任务5.5    查询评价电影超过50的用户    202
5.5.1    度量聚合    202
5.5.2    分组聚合    205
5.5.3    任务实现    208
【项目总结】    210
【实训】    210
实训1 查询手机信息    211
实训2 学生成绩信息查询    212
【课后习题】    212
【拓展阅读】    214

项目6    数据传输工具——Sqoop    212

【教学目标】    212
【项目描述】    212
任务6.1    认识Sqoop    214
6.1.1    了解Sqoop    214
6.1.2    安装配置Sqoop    214
6.1.3    了解Sqoop基本传输命令    216
任务6.2    查询MySQL用户日志数据表记录数    217
6.2.1    掌握Sqoop eval基本操作    217
6.2.2    任务实现    219
任务6.3    增量导入MySQL中的用户日志数据至Hive    219
6.3.1    掌握Sqoop import基本操作    220
6.3.2    掌握Sqoop job基本操作    222
6.3.3    使用Sqoop从MySQL导入数据至Hive    224
6.3.4    任务实现    225
任务6.4    导出Hive中的筛选结果至MySQL    226
6.4.1    掌握Sqoop export基本操作    226
6.4.2    使用Sqoop从Hive传输数据到MySQL    228
6.4.3    任务实现    228
【项目总结】    229
【实训】    229
实训 传输用户登陆数据    230
【课后习题】    230
【拓展阅读】    232

项目7    广电用户数据存储与分析    236

【教学目标】    236
【项目描述】    237
【项目实施】    238
任务7.1    分析需求与架构    238
7.1.1    业务需求分析    238
7.1.2    选择存储与分析技术    239
7.1.3    设计存储与分析架构    240
任务7.2    导入CSV格式数据到ElasticSearch    241
7.2.1    了解数据    241
7.2.2    导入数据到ElasticSearch    244
任务7.3    转移ElasticSearch数据至Hive    248
7.3.1    在Hive中建立数据管理表    248
7.3.2    查看Hive中的表数据    251
任务7.4    统计各表宣传和政企用户记录数    252
7.4.1    统计各表宣传数据记录数    253
7.4.2    统计各表政企用户记录数    253
任务7.5    统计无效收视数据    253
7.5.1    统计用户收视时长分布    254
7.5.2    统计机顶盒待机记录数    254
任务7.6    处理各表无效数据    254
7.6.1    处理无效用户信息    254
7.6.2    处理无效收视数据    255
7.6.3    处理无效账单数据    255
7.6.4    处理无效订单数据    256
任务7.7    计算用户电视消费水平和宽带消费水平    256
7.7.1    计算电视消费水平和宽带消费水平    256
7.7.2    将数据保存至其他数据库    258
【项目总结】    259
【拓展阅读】    260