大数据搜索与挖掘及可视化管理方案2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载

大数据搜索与挖掘及可视化管理方案PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 概述1

1.1 Elasticsearch概述3

1.1.1 Elasticsearch的安装与简单配置4

1.1.2 Elasticsearch API的简单使用方式7

1.2 Logstash7

1.3 Kibana8

1.4 其他8

1.5 扩展知识与阅读9

1.6 本章小结10

第2章 文档索引及管理11

2.1 文档索引概述11

2.2 Head：Elasticsearch的数据管理工具13

2.3 建立索引16

2.4 通过映像mappings配置索引20

2.4.1 在索引中使用映像21

2.4.2 管理／配置映像22

2.4.3 获取映像信息22

2.4.4 删除映像24

2.5 管理索引文件24

2.5.1 打开、关闭、检测、删除索引文件24

2.5.2 清空索引缓存25

2.5.3 刷新索引数据25

2.5.4 优化索引数据26

2.5.5 Flush操作26

2.6 设置中文分析器26

2.7 对文档的其他操作29

2.7.1 获取指定的文档信息29

2.7.2 删除文档中的信息31

2.7.3 数据更新31

2.7.4 基于POST方式批量获取文档34

2.8 实例36

2.9 扩展知识与阅读40

2.10 本章小结41

第3章 信息检索与聚合42

3.1 实验数据集描述43

3.2 基本检索44

3.2.1 检索方式44

3.2.2 query查询45

3.2.3 from/size查询45

3.2.4 查询结果排序46

3.2.5 高亮搜索词48

3.2.6 查询模板50

3.3 检索进阶50

3.3.1 全文检索51

3.3.2 词项检索54

3.3.3 复合查询58

3.3.4 跨度查询60

3.3.5 特殊查询63

3.3.6 脚本script64

3.4 聚合67

3.4.1 metrics aggregations68

3.4.2 bucket aggregations72

3.4.3 pipeline aggregations81

3.4.4 matrix aggregations85

3.5 实例87

3.6 扩展知识与阅读92

3.7 本章小结93

第4章 面向Java的Elasticsearch Client部分功能实现94

4.1 Elasticsearch节点实例化94

4.1.1 通过Maven添加Elasticsearch依赖94

4.1.2 初始化TransportClient96

4.2 索引数据98

4.2.1 准备JSON数据98

4.2.2 索引JSON数据100

4.3 对索引文档的操作101

4.3.1 获取索引文档数据101

4.3.2 删除索引文档104

4.3.3 更新索引文档105

4.3.4 批量操作索引文件105

4.4 信息检索107

4.4.1 概述107

4.4.2 MultiSearch109

4.4.3 Search template110

4.4.4 Query DSL概述110

4.4.5 matchAllQuery111

4.4.6 全文检索的部分方法112

4.4.7 词项检索的部分方法115

4.4.8 复合查询的部分方法119

4.4.9 跨度查询的部分方法121

4.4.10 特殊查询124

4.5 聚合126

4.5.1 Metrics聚合126

4.5.2 Bucket聚合130

4.6 对检索结果的进一步处理134

4.6.1 控制每页的显示数量及显示排序依据134

4.6.2 基于scroll的检索结果及其分页135

4.7 实例137

4.7.1 在Elasticsearch中建立索引137

4.7.2 连接Elasticsearch138

4.7.3 信息采集与索引构建139

4.7.4 搜索模块的实现141

4.7.5 推荐模块的实现142

4.7.6 聚合模块的实现143

4.8 扩展知识与阅读145

4.9 本章小结145

第5章 Elasticsearch配置与集群管理146

5.1 Elasticsearch部分基本配置及其说明146

5.2 索引和查询效率的优化149

5.3 监控集群状态150

5.4 控制索引分片与副本分配152

5.5 集群管理154

5.6 扩展知识与阅读155

5.7 本章小结156

第6章 基于Logstash的日志处理157

6.1 概述158

6.2 Input：处理输入的日志数据160

6.2.1 处理基于file方式输入的日志信息161

6.2.2 处理基于generator产生的日志信息162

6.2.3 处理基于log4j的日志信息163

6.2.4 处理基于redis的日志信息165

6.2.5 处理基于stdin方式输入的信息168

6.2.6 处理基于TCP传输的日志数据169

6.2.7 处理基于UDP传输的日志数据173

6.3 codecs：格式化日志数据174

6.3.1 JSON格式175

6.3.2 rubydebug格式177

6.3.3 plain格式177

6.4 基于filter的日志处理与转换178

6.4.1 JSON filter178

6.4.2 grok filter180

6.4.3 kv filter182

6.5 output：输出日志数据184

6.5.1 将处理后的日志输出到Elasticsearch中185

6.5.2 将处理后的日志输出至文件中186

6.5.3 将处理后的部分日志输出到csv格式的文件中187

6.5.4 将处理后的日志输出到redis中189

6.5.5 将处理后的部分日志通过UDP协议输出190

6.5.6 将处理后的部分日志通过TCP协议输出192

6.5.7 将收集到的日志信息传输到自定义的HTTP接口中195

6.6 扩展知识与阅读196

6.7 本章小结197

第7章 基于Kibana的数据分析可视化198

7.1 Kibana概述199

7.2 安装Kibana199

7.3 使用Management管理配置200

7.3.1 添加index pattern200

7.3.2 高级设置202

7.3.3 管理已保存的检索、可视化和仪表板205

7.4 使用Discover执行查询206

7.4.1 设置时间过滤器206

7.4.2 在index pattern中执行搜索207

7.4.3 字段过滤208

7.4.4 查看文档数据210

7.5 使用Visualize创建统计图表211

7.6 使用Dashboard创建动态仪表板214

7.6.1 创建新的动态仪表板215

7.6.2 打开已保存的动态仪表板215

7.6.3 分享动态仪表板216

7.7 使用Timelion创建时间线216

7.8 使用Dev Tools执行命令行218

7.8.1 在Console中执行命令218

7.8.2 Console的快捷键220

7.8.3 Console的配置221

7.9 网站性能监控可视化应用的设计与实现221

7.9.1 概述222

7.9.2 使用Visualize实现可视化222

7.9.3 使用Dashboard整合可视化结果225

7.10 扩展知识与阅读227

7.11 本章小结227

第8章 基于X-Pack的系统运行监控229

8.1 X-Pack概述229

8.2 安装X-Pack230

8.3 Security插件与安全性231

8.3.1 身份验证机制与用户管理231

8.3.2 匿名访问233

8.3.3 基于域的用户认证234

8.3.4 基于角色的访问权限配置236

8.3.5 IP过滤238

8.3.6 带有身份认证的TransportClient240

8.3.7 带有身份认证的RESTful命令243

8.4 使用Monitoring监控系统运行状态243

8.4.1 系统运行状态监控243

8.4.2 配置Monitoring247

8.4.3 搭建独立的Monitoring集群248

8.5 Alerting插件与异常事件警报250

8.5.1 通过RESTful方式设置监视器250

8.5.2 通过Java程序设置监视器254

8.6 Reporting与报告生成256

8.6.1 在程序中生成报告256

8.6.2 通过监视器自动生成报告257

8.7 使用Graph探索数据关联259

8.8 扩展知识与阅读261

8.9 本章小结261

第9章 基于Beats的数据解析传输262

9.1 基于Packetbeat的网络数据包传输263

9.1.1 概述263

9.1.2 安装263

9.1.3 配置264

9.1.4 加载索引模板266

9.1.5 启动和关闭267

9.1.6 使用Kibana进行展示268

9.2 基于Filebeat的日志传输269

9.2.1 概述269

9.2.2 安装和配置269

9.2.3 启动和关闭272

9.2.4 使用Kibana进行展示272

9.3 基于Metricbeat的系统指标数据传输273

9.3.1 概述273

9.3.2 安装和配置274

9.3.3 启动和关闭275

9.3.4 使用Kibana进行展示276

9.4 基于Winlogbeat的Windows事件日志数据传输277

9.4.1 概述277

9.4.2 安装278

9.4.3 配置279

9.4.4 启动和关闭282

9.4.5 使用Kibana进行展示283

9.5 扩展知识与阅读284

9.6 本章小结285

第10章 网络信息检索与分析实践1286

10.1 信息采集286

10.2 基于Python的信息检索及Web端设计291

10.2.1 安装Python及Django291

10.2.2 安装Elasticsearch的Python插件292

10.2.3 Web页面设计293

10.3 基于Logstash的日志处理296

10.3.1 安装和配置Nginx297

10.3.2 设计面向日志文件的pattern297

10.3.3 在Logstash中进行相关配置298

10.4 基于Kibana的日志分析结果可视化设计与实现299

10.4.1 图表1：状态码走势分析300

10.4.2 图表2：查询词分析302

10.4.3 图表3：分析各状态码随时间的变迁302

10.4.4 集成图表304

10.5 扩展知识与阅读304

10.6 本章小结305

第11章 网络信息检索与分析实践2306

11.1 面向动态网站的信息采集307

11.1.1 软件准备307

11.1.2 浏览器驱动程序准备307

11.1.3 创建索引和映像308

11.1.4 导入依赖309

11.1.5 数据采集310

11.2 基于Spring MVC的信息检索及Web程序设计317

11.2.1 创建和配置Spring MVC项目317

11.2.2 前端页面设计319

11.2.3 后端控制器类324

11.3 基于Logstash的日志处理329

11.4 基于Beats的数据传输330

11.5 基于Kibana的数据可视化331

11.5.1 可视化索引文件中的信息331

11.5.2 对Logstash、Beats的可视化展示333

11.6 基于X-Pack的系统监控335

11.7 扩展知识与阅读337

11.8 本章小结337

参考文献339