SQL在云计算中的新角色：重新定义数据分析

本文介绍: SQL数据分析实战（第2版）》详细阐述了与SQL数据分析相关的基本解决方案，主要包括SQL数据分析导论、SQL和数据准备、聚合和窗口函数、导入和导出数据、使用复合数据类型进行分析、高性能SQL、科学方法和应用问题求解等内容。此外，本书还提供了相应的示例、代码，以帮助读者进一步理解相关方案的实现过程。现代企业每天都在运营，并快速生成大量数据。隐藏在这些数据中的是关键模式和行为，它们可以帮助企业从根本上深入了解自己的客户。作为一名数据分析师，最令人兴奋的莫过于像淘金一样，从海量数据分析中获取有用的见解。

随着云计算技术的飞速发展，数据分析已经成为了许多企业和组织不可或缺的核心能力。在这个转变过程中，SQL（结构化查询语言）作为数据处理和查询的标准工具，正在云计算环境中展现出全新的活力和角色。本文将探讨SQL在云计算中的新定位，以及它如何重新定义现代数据分析的边界和可能性。

云计算提供了弹性可扩展的计算资源、存储能力和高效的数据处理能力，使得数据分析变得更加容易和高效。通过将数据存储在云端，分析师可以随时随地访问和分析数据，无需担心硬件资源的限制。这种融合为SQL带来了新的应用场景和性能优化。

在云计算环境中，SQL不再仅仅是数据库查询语言，而是成为了数据分析的核心工具。云计算平台提供了丰富的SQL服务，如分布式SQL查询引擎、SQL-on-Hadoop解决方案等，使得分析师可以通过SQL处理和分析大规模数据集。此外，云计算还使得SQL与其他数据分析工具和平台无缝集成，进一步提升了数据分析的效率和灵活性。

分布式SQL查询引擎是云计算环境中SQL应用的重要代表。它通过并行处理和分布式计算，使得SQL查询能够在大型数据集上高效执行。这种引擎通常与分布式存储系统相结合，如Hadoop、Spark等，使得分析师可以通过SQL查询这些分布式存储系统中的数据，实现快速的数据分析和处理。

Hadoop作为大数据领域的代表性技术，与SQL的结合为数据分析带来了革命性的变化。SQL-on-Hadoop解决方案允许分析师使用熟悉的SQL语法来查询和分析存储在Hadoop中的大规模数据集。这种解决方案通过将SQL查询转换为MapReduce作业或其他计算模型，在Hadoop集群上执行，从而实现了对大数据的高效处理和分析。

第1章 SQL数据分析导论 1

1.1 本章主题简介 1

1.2 数据世界 2

1.2.1 数据类型 2

1.2.2 数据分析和统计 3

1.2.3 统计类型 3

1.2.4 作业1.01：分类新数据集 4

1.3 描述性统计方法 5

1.3.1 单变量分析 5

1.3.2 数据频率分布 6

1.3.3 练习1.01：创建直方图 6

1.3.4 分位数 11

1.3.5 练习1.02：计算附加销售额的四分位数 12

1.3.6 集中趋势的度量 15

1.3.7 练习1.03：计算附加销售额的集中趋势 16

1.3.8 数据散布的度量 17

1.3.9 练习1.04：附加销售额的散布程度 19

1.3.10 双变量分析 20

1.3.11 散点图 20

1.3.12 皮尔逊相关系数 24

1.3.13 练习1.05：计算两个变量的Pearson相关系数 25

1.3.14 解释和分析相关系数 28

1.3.15 时间序列数据 30

1.3.16 作业1.02：探索经销商销售数据 31

1.3.17 处理缺失数据 32

1.4 统计显著性检验 32

1.4.1 统计显著性检验的组成 32

1.4.2 常见的统计显著性检验 34

1.5 关系数据库和SQL 34

1.5.1 关系数据库的基础概念 34

1.5.2 SQL数据库的优缺点 35

1.6 SQL的基本数据类型 36

1.6.1 数值 36

1.6.2 字符 37

1.6.3 布尔值 37

1.6.4 日期时间值 38

1.6.5 数据结构：JSON和数组 38

1.7 读取表：SELECT查询 38

1.7.1 SELECT查询的工作原理 39

1.7.2 SELECT查询中的基本关键字 40

1.7.3 SELECT和FROM语句 40

1.7.4 WHERE 子句 41

1.7.5 AND/OR子句 41

1.7.6 IN/NOT IN子句 42

1.7.7 ORDER BY子句 43

1.7.8 LIMIT子句 45

1.7.9 IS NULL/IS NOT NULL子句 46

1.7.10 练习1.06：在SELECT查询中使用基本关键字 47

1.7.11 作业1.03：在SELECT查询中使用基本关键字查询客户表 49

1.8 创建表 49

1.8.1 创建空白表 49

1.8.2 列约束 50

1.8.3 练习1.07：在SQL中创建表 50

1.8.4 使用SELECT创建表 51

1.9 更新表 52

1.9.1 添加和删除列 52

1.9.2 添加新数据 53

1.9.3 更新现有行 55

1.9.4 练习1.08：更新表格以提高车辆的价格 56

1.10 删除数据和表 57

1.10.1 从行中删除值 57

1.10.2 从表中删除行 58

1.10.3 删除表 59

1.10.4 练习1.09：删除不必要的表 59

1.10.5 作业1.04：为营销活动创建和修改表 60

1.11 SQL和分析 61

1.12 小结 61

第2章 SQL和数据准备 63

2.1 本章主题简介 63

2.2 组合数据 63

2.2.1 使用JOIN连接表 64

2.2.2 连接类型 66

2.2.3 内连接 67

2.2.4 外连接 70

2.2.5 交叉连接 75

2.2.6 练习2.01：使用JOIN进行分析 76

2.2.7 子查询 77

2.2.8 UNION 78

2.2.9 练习2.02：使用UNION生成来宾名单 80

2.2.10 公用表表达式 82

2.3 转换数据 83

2.3.1 CASE WHEN函数 84

2.3.2 练习2.03：使用CASE WHEN函数获取区域列表 85

2.3.3 COALESCE函数 86

2.3.4 NULLIF函数 87

2.3.5 LEAST和GREATEST函数 89

2.3.6 转换函数 90

2.3.7 DISTINCT和DISTINCT ON函数 91

2.3.8 作业2.01：使用SQL技术构建销售模型 93

2.4 小结 94

第3章 聚合和窗口函数 95

3.1 本章主题简介 95

3.2 聚合函数 95

3.2.1 常见聚合函数简介 96

3.2.2 练习3.01：使用聚合函数分析数据 98

3.3 使用GROUP BY聚合函数 99

3.3.1 GROUP BY子句 100

3.3.2 多列GROUP BY 104

3.3.3 练习3.02：使用GROUP BY按产品类型计算成本 105

3.3.4 分组集 106

3.3.5 有序集合聚合 107

3.4 HAVING子句 109

3.4.1 HAVING子句的语法 109

3.4.2 练习3.03：使用HAVING子句计算并显示数据 110

3.5 使用聚合函数清洗数据和检查数据质量 111

3.5.1 使用GROUP BY查找缺失值 111

3.5.2 使用聚合函数衡量数据质量 113

3.5.3 作业3.01：使用聚合函数分析销售数据 114

3.6 窗口函数 115

3.6.1 窗口函数基础知识 116

3.6.2 练习3.04：分析一段时间内的客户数据填充率 121

3.6.3 WINDOW关键字 123

3.7 窗口函数统计 124

3.7.1 练习3.05：雇佣日期的排名顺序 125

3.7.2 窗口frame子句 126

3.7.3 练习3.06：团队午餐激励 129

3.7.4 作业3.02：使用窗口帧和窗口函数分析销售数据 130

3.8 小结 131

第4章 导入和导出数据 133

4.1 本章主题简介 133

4.2 COPY命令 134

4.2.1 使用psql复制数据 135

4.2.2 配置COPY和 copy 137

4.2.3 使用COPY和copy将数据批量上传到数据库 138

4.2.4 练习4.01：将数据导出到文件以在Excel中进一步处理 139

4.3 使用R分析数据 143

4.3.1 使用R的原因 143

4.3.2 开始使用R 143

4.4 使用Python分析数据 146

4.4.1 使用Python的原因 146

4.4.2 开始使用Python 146

4.4.3 使用SQLAlchemy和Pandas改进Python中的Postgres访问 149

4.4.4 关于SQLAlchemy 150

4.4.5 结合使用Python和Jupyter Notebook 151

4.4.6 使用Pandas读写数据库 153

4.4.7 练习4.02：在Python中读取和可视化数据 154

4.4.8 使用Python将数据写入数据库 156

4.4.9 使用COPY提高Python写入速度 157

4.4.10 用Python读写CSV文件 158

4.5 导入和导出数据的最佳实践 160

4.5.1 跳过密码 160

4.5.2 作业4.01：使用外部数据集发现销售趋势 161

4.6 小结 162

第5章 使用复合数据类型进行分析 163

5.1 本章主题简介 163

5.2 用于分析的日期和时间数据类型 164

5.2.1 关于DATE类型 164

5.2.2 转换日期类型 167

5.2.3 关于INTERVAL类型 169

5.2.4 练习5.01：时间序列数据分析 170

5.3 在PostgreSQL中执行地理空间分析 172

5.3.1 纬度和经度 172

5.3.2 在PostgreSQL中表示纬度和经度 172

5.3.3 练习5.02：地理空间分析 174

5.4 在PostgreSQL中使用数组数据类型 176

5.4.1 关于ARRAY类型 176

5.4.2 练习5.03：使用数组分析序列 179

5.5 在PostgreSQL中使用JSON数据类型 181

5.5.1 JSONB：预解析的JSON 183

5.5.2 从JSON或JSONB字段访问数据 184

5.5.3 使用JSON路径语言 186

5.5.4 在JSONB字段中创建和修改数据 188

5.5.5 练习5.04：通过JSONB搜索 189

5.6 使用PostgreSQL的文本分析 191

5.6.1 标记文本 191

5.6.2 练习5.05：执行文本分析 193

5.6.3 执行文本搜索 196

5.6.4 优化PostgreSQL上的文本搜索 198

5.6.5 作业5.01：销售搜索和分析 200

5.7 小结 202

第6章 高性能SQL 203

6.1 本章主题简介 203

6.2 数据库扫描方法 204

6.2.1 查询计划 205

6.2.2 顺序扫描 205

6.2.3 练习6.01：解释查询计划器 206

6.2.4 作业6.01：查询计划 210

6.2.5 索引扫描 211

6.2.6 B树索引 212

6.2.7 练习6.02：创建索引扫描 213

6.2.8 作业6.02：实现索引扫描 218

6.2.9 哈希索引 219

6.2.10 练习6.03：生成若干个哈希索引来比较性能 220

6.2.11 作业6.03：实现哈希索引 223

6.2.12 有效的索引使用 224

6.3 高性能JOIN 226

6.3.1 练习6.04：使用INNER JOIN 227

6.3.2 作业6.04：实现高性能连接 233

6.4 函数和触发器 234

6.4.1 函数定义 235

6.4.2 练习6.05：创建没有参数的函数 236

6.4.3 作业6.05：定义最大销售额函数 239

6.4.4 练习6.06：创建带参数的函数 240

6.4.5 关于df和sf命令 241

6.4.6 作业6.06：创建带参数的函数 242

6.4.7 触发器 243

6.4.8 练习6.07：创建触发器来更新字段 245

6.4.9 作业6.07：创建触发器以跟踪平均购买量 250

6.4.10 终止查询 251

6.4.11 练习6.08：取消长时间运行的查询 252

6.4.12 作业6.08：终止长时间运行的查询 253

6.5 小结 254

第7章 科学方法和应用问题求解 255

7.1 本章主题简介 255

7.2 案例分析 255

7.2.1 科学方法 256

7.2.2 练习7.01：使用SQL技术进行初步数据收集 256

7.2.3 练习7.02：提取销售信息 259

7.2.4 作业7.01：量化销量下降的情况 263

7.2.5 练习7.03：启动时序分析 265

7.2.6 作业7.02：分析销售价格假设的差异 272

7.2.7 练习7.04：通过电子邮件打开率分析销量增长情况 274

7.2.8 练习7.05：分析电子邮件营销活动的效果 282

7.2.9 得出结论 286

7.2.10 现场测试 286

7.3 小结 287

附录 289