程序员的数学基础课程目录
01讲二进制:不了解计算机的源头，你学什么编程.mp3
01讲二进制:不了解计算机的源头，你学什么编程.pdf
02讲余数:原来取余操作本身就是个哈希函数.mp3
02讲余数:原来取余操作本身就是个哈希函数.pdf
03讲迭代法:不用编程语言的自带函数，你会如何计算平方根.mp3
03讲迭代法:不用编程语言的自带函数，你会如何计算平方根.pdf
04讲数学归纳法:如何用数学归纳提升代码的运行效率.mp3
04讲数学归纳法:如何用数学归纳提升代码的运行效率.pdf
05讲递归(上):泛化数学归纳，如何将复杂问题简单化.mp3
05讲递归(上):泛化数学归纳，如何将复杂问题简单化.pdf
06讲递归(下):分而治之，从归并排序到MapReduce.mp3
06讲递归(下):分而治之，从归并排序到MapReduce.pdf
07讲排列:如何让计算机学会“田忌赛马”.mp3
07讲排列:如何让计算机学会“田忌赛马” .pdf
08讲组合:如何让计算机安排世界杯的赛程.mp3
08讲组合:如何让计算机安排世界杯的赛程.pdf
09讲动态规划(上):如何实现基于编辑距离的查询推荐.mp3
09讲动态规划(上):如何实现基于编辑距离的查询推荐.pdf
10讲动态规划(下):如何求得状态转移方程并进行编程实现.mp3
10讲动态规划(下):如何求得状态转移方程并进行编程实现.pdf
11讲树的深度优先搜索(上):如何才能高效率地查字典.mp3
11讲树的深度优先搜索(上):如何才能高效率地查字典.pdf
12讲树的深度优先搜索（下):如何才能高效率地查字典.mp3
12讲树的深度优先搜索（下):如何才能高效率地查字典.pdf
13讲树的广度优先搜索(上):人际关系的六度理论是真的吗.mp3
13讲树的广度优先搜索(上):人际关系的六度理论是真的吗.pdf
14讲树的广度优先搜索（下):为什么双向广度优先搜索的效率更高.mp3
14讲树的广度优先搜索（下):为什么双向广度优先搜索的效率更高.pdf
15讲从树到图:如何让计算机学会看地图.mp3
15讲从树到图:如何让计算机学会看地图.pdf
16讲时间和空间复杂度(上):优化性能是否只是“纸上谈兵”.mp3
16讲时间和空间复杂度(上):优化性能是否只是“纸上谈兵”.pdf
17讲时间和空间复杂度（下):如何使用六个法则进行复杂度分析.mp3
17讲时间和空间复杂度（下):如何使用六个法则进行复杂度分析.pdf
18讲总结课:数据结构、编程语句和基础算法体现了哪些数学思想.mp3
18讲总结课:数据结构、编程语句和基础算法体现了哪些数学思想.pdf
19讲概率和统计:编程为什么需要概率和统计.mp3
19讲概率和统计:编程为什么需要概率和统计.pdf
20讲概率基础(上):一篇文章帮你理解随机变量、概率分布和期望值.mp3
20讲概率基础(上):一篇文章帮你理解随机变量、概率分布和期望值.pdf
21讲概率基础（下):联合概率、条件概率和贝叶斯法则，这些概率公式究竟能做什么mp3
21讲概率基础(下）:联合概率、条件概率和贝叶斯法则，这些概率公式究竟能做什么.pdf
22讲朴素贝叶斯:如何让计算机学会自动分类.mp3
22讲朴素贝叶斯:如何让计算机学会自动分类.pdf
23讲文本分类:如何区分特定类型的新闻.mp3
23讲文本分类:如何区分特定类型的新j闻.pdf
24讲语言模型:如何使用链式法则和马尔科夫假设简化概率模型.mp3
24讲语言模型:如何使用链式法则和马尔科夫假设简化概率模型.pdf
25讲马尔科夫模型:从PageRank到语音识别，背后是什么模型在支撑.mp3
25讲马尔科夫模型:从PageRank到语音识别，背后是什么模型在支撑.pdf
26讲信息嫡:如何通过几个问题，测出你对应的武侠人物.mp3
26讲信息嫡:如何通过几个问题，测出你对应的武侠人物.pdf
27讲决策树:信息增益、增益比率和基尼指数的运用.mp3
27讲决策树:信息增益、增益比率和基尼指数的运用.pdf
28讲嫡、信息增益和卡方:如何寻找关键特征.mp3
28讲嫡、信息增益和卡方:如何寻找关键特征.pdf
29讲归—化和标准化:各种特征如何综合才是最合理的.mp3
29讲归—化和标准化:各种特征如何综合才是最合理的.pdf
30讲统计意义(上):如何通过显著性检验，判断你的AB测试结果是不是巧合.mp3
30讲统计意义(上):如何通过显著性检验，判断你的AB测试结果是不是巧合.pdf
31讲统计意义(下):如何通过显著性检验，判断你的AB测试结果是不是巧合.mp3
31讲统计意义(下):如何通过显著性检验，判断你的AB测试结果是不是巧合.pdf
32讲概率统计篇答疑和总结:为什么会有欠拟合和过拟合.mp3
32讲概率统计筒答疑和总结:为什么会有欠拟合和过拟合.pdf
33讲线性代数:线性代数到底都讲了些什么.mp3
33讲线性代数:线性代数到底都讲了些什么.pdf
34讲向量空间模型:如何让计算机理解现实事物之间的关系.mp3
34讲向量空间模型:如何让计算机理解现实事物之间的关系.pdf
35讲文本检索:如何让计算机处理自然语言.mp3
35讲文本检索:如何让计算机处理自然语言.pdf
36讲文本聚类:如何过滤冗余的新闻.mp3
36讲文本聚类:如何过滤冗余的新闻.pdf
37讲矩阵(上):如何使用矩阵操作进行PageRank计算.mp3
37讲矩阵(上) :如何使用矩阵操作进行PageRank计算.pdf
38讲矩阵(下):如何使用矩阵操作进行协同过滤推荐.mp3
38讲矩阵(下):如何使用矩阵操作进行协同过漉推荐.pdf
39讲线性回归(上):如何使用高斯消元求解线性方程组.mp3
39讲线性回归(上):如何使用高斯消元求解线性方程组.pdf
40讲线性回归(中):如何使用最小二乘法进行直线拟合.mp3
40讲线性回归（中):如何使用最小二乘法进行直线拟合.pdf
41讲线性回归(下):如何使用最小二乘法进行效果验证.mp3
41讲线性回归（下):如何使用最小二乘法进行效果验证.pdf
42讲PCA主成分分析(上):如何利用协方差矩阵来降维.mp3
42讲PCA主成分分析(上):如何利用协方差矩阵来降维.pdf
43PCA主成分分析（下) :为什么要计算协方差矩阵的特征值和特征向量? .mp3
43PCA主成分分析（(下):为什么要计算协方差矩阵的特征值和特征向量? .pdf
44奇异值分解:如何挖掘潜在的语义关系?.mp3
44奇异值分解:如何挖掘潜在的语义关系?.pdf
45线性代数筒答疑和总结:矩阵乘法的几何意义是什么? .mp3
45线性代数篇答疑和总结:矩阵乘法的几何意义是什么? .pdf
46_缓存系统:如何通过哈希表和队列实现高效访问? .pdf
46缓存系统:如何通过哈希表和队列实现高效访问?.mp3
47搜索引擎(上)︰如何通过倒排索引和向量空间模型，打造一个简单的搜索引擎? .pdf
48搜索引擎（下):如何通过查询的分类，让电商平台的搜索结果更相关? .mp3
48搜索引擎（下):如何通过查询的分类，让电商平台的搜索结果更相关? .pdf
49推荐系统(上):如何实现基于相似度的协同过滤? .mp3
49推荐系统(上):如何实现基于相似度的协同过滤? .pdf
50推荐系统（下):如何通过SVD分析用户和物品的矩阵? .mp3
50推荐系统（下):如何通过SVD分析用户和物品的矩阵.pdf
51综合应用篇答疑和总结:如何进行个性化用户画像的设计? .mp3
51_综合应用篇答疑和总结:如何进行个性化用户画像的设计.pdf
导读:程序员应该怎么学数学.mp3
导读:程序员应该怎么学数学.pdf
结束语从数学到编程，本身就是一个很长的链条.mp3
结束语_从数学到编程，本身就是一个很长的链.pdf
数学专栏课外加餐(二)讲位操作的三个应用实例.mp3
数学专栏课外加餐（(二)讲位操作的三个应用实例.pdf
数学专栏课外加餐（三):程序员需要读哪些数学书.mp3
数学专栏课外加餐（三):程序员需要读哪些数学书.pdf
数学专栏课外加餐(一）讲我们为什么需要反码和补码.mp3
数学专栏课外加餐(—)讲我们为什么需要反码和补码.pdf
课程内容讲解
你好，我是黄申。
上一节，我们充分利用了哈希表时间复杂度低的特点，设计了一个简单的缓存系统。在实际项目中，
哈希表或者类似的哈希数据结构，有着更为广泛的运用。比如，搜索引擎中的倒排索引，
也是基于哈希表结构来设计的。这种倒排索引可以大大提升数据对象的检索效率。
除了搜索的效率，搜索引擎另一个需要考虑的问题是相关性，也就是说，我们需要保证检索出来的信息是满足用户需求的。
最简单的基于倒排索引的实现，属于一种布尔排序模型，它只考虑了单词是不是出现在文档之中，
如果出现了就返回相应的文档，否则就不返回，对应于布尔模型中的真假值。在这种实现中，
只要出现了相关搜索词的文档都会被检索出来，因此相关性比较差。对于这点，我们可以利用向量空间模型，
来衡量文档和用户查询之间的相似程度，确保两者是相关的。不过，向量空间模型需要涉及两两之间的比较，时间复杂度比较高。
考虑到上述两点，今天，我们就以文档检索为例，参照倒排索引加向量空间模型的设计思路，设计一个简单的搜索引擎。
搜索引擎的设计框架
之前在讲解向量空间模型的时候，我们介绍了信息检索的基础知识，而我们平时经常使用的搜索引擎，
就是一种典型的信息检索系统。在讲解如何结合倒排索引和向量空间模型之前，我们先来看，常见的文本搜索引擎都由哪些模块组成。
文本搜索系统的框架通常包括2个重要模块:离线的预处理和在线的查询。离线预处理也就是我们通常所说的“索引”阶段，
包括数据获取、文本预处理、词典和倒排索引的构建、相关性模型的数据统计等。数据的获取和相关性模型的数据统计这两步，
根据不同的应用场景，必要性和处理方式有所不同。可是，文本预处理和倒排索引构建这两个步骤，无论在何种应用场景之中都是必不可少的，
所以它们是离线阶段的核心。之前我们讲过，常规的文本预处理是指针对文本进行分词、移除停用词、取词干、归一化、扩充同义词和近义词等操作。
在第17讲里，我讲解了如何使用倒排索引，把文档集转换为从关键词到文档的这种查找关系。有了这种“倒排”的关系，
我们可以很高效地根据给定的单词，找到出现过这个单词的文档集合。
倒排索引是典型的牺牲空间来换取时间的方法。我们假设文章总数是k，每篇文章的单词数量是m，查询中平均的关键词数量是I，
那么倒排索引可以把时间复杂度从O(k×logm)降到O()。但是，如果使用倒排索引，就意味着除了原始数据，我们还需要额外的存储空间来放置倒排索引。
因此，如果我们的字典里，不同的词条总数为n1，每个单词所对应的文章平均数为ng，那么空间复杂度就是O(nxn2).
在文本的离线处理完毕后，我们来看在线的文本查询。这个过程相对简单。
查询一般都会使用和离线模块一样的预处理，词典也是沿用离线处理的结果。当然，也可能会出现离线处理中未曾出现过的新词，
我们一般会忽略或给予非常小的权重。在此基础上，系统根据用户输入的查询条件，在倒排索引中快速检出文档，并进行相关性的计算。
不同的相关性模型，有不同的计算方式。最简单的布尔模型只需要计算若干匹配条件的交集，向量空间模型VSM，
则需要计算查询向量和待查文档向量的余弦夹角，而语言模型需要计算匹配条件的贝叶斯概率等等。
程序员的数学基础课教程截图
| | 程序员的数学基础课程 百度网盘 课程大小：0.00字节 |
提取码：**** （购买后可见） |
下载 |
