logo资料库

这就是搜索引擎-核心技术详解.pdf

发布时间：2022-06-13 发布人：admin 分类：说明书 资料大小：34.75M 资料格式：pdf 举报 版权申诉
第1页 / 共318页
第2页 / 共318页
第3页 / 共318页
第4页 / 共318页
第5页 / 共318页
第6页 / 共318页
第7页 / 共318页
第8页 / 共318页
资料共318页，剩余部分请下载后查看
    封面
    书名
    版权
    前言
    目录
    第1章 搜索引擎及其技术架构
    1.1 搜索引擎为何重要
    1.1.1 互联网的发展
    1.1.2 商业搜索引擎公司的发展
    1.1.3 搜索引擎的重要地位
    1.2 搜索引擎技术发展史
    1.2.1 史前时代：分类目录的一代
    1.2.2 第一代：文本检索的一代
    1.2.3 第二代：链接分析的一代
    1.2.4 第三代：用户中心的一代
    1.3 搜索引擎的3个目标
    1.4 搜索引擎的3个核心问题
    1.4.1 3个核心问题
    1.4.2 与技术发展的关系
    1.5 搜索引擎的技术架构
    第2章 网络爬虫
    2.1 通用爬虫框架
    2.2 优秀爬虫的特性
    2.3 爬虫质量的评价标准
    2.4 抓取策略
    2.4.1 宽度优先遍历策略（Breath First）
    2.4.2 非完全PageRank策略（Partial PageRank）
    2.4.3 OCIP策略（Online Page Importance Computation）
    2.4.4 大站优先策略（Larger Sites First）
    2.5 网页更新策略
    2.5.1 历史参考策略
    2.5.2 用户体验策略
    2.5.3 聚类抽样策略
    2.6 暗网抓取（Deep Web Crawling）
    2.6.1 查询组合问题
    2.6.2 文本框填写问题
    2.7 分布式爬虫
    2.7.1 主从式分布爬虫（Master-Slave）
    2.7.2 对等式分布爬虫（Peer to Peer）
    本章提要
    本章参考文献
    第3章 搜索引擎索引
    3.1 索引基础
    3.1.1 单词—文档矩阵
    3.1.2 倒排索引基本概念
    3.1.3 倒排索引简单实例
    3.2 单词词典
    3.2.1 哈希加链表
    3.2.2 树形结构
    3.3 倒排列表（Posting List）
    3.4 建立索引
    3.4.1 两遍文档遍历法（2-Pass In-Memory Inversion）
    3.4.2 排序法（Sort-based Inversion）
    3.4.3 归并法（Merge-based Inversion）
    3.5 动态索引
    3.6 索引更新策略
    3.6.1 完全重建策略（Complete Re-Build）
    3.6.2 再合并策略（Re-Merge）
    3.6.3 原地更新策略（In-Place）
    3.6.4 混合策略（Hybrid）
    3.7 查询处理
    3.7.1 一次一文档（Doc at a Time）
    3.7.2一次一单词（Term at a Time）
    3.7.3 跳跃指针（Skip Pointers）
    3.8 多字段索引
    3.8.1 多索引方式
    3.8.2 倒排列表方式
    3.8.3 扩展列表方式（Extent List）
    3.9 短语查询
    3.9.1 位置信息索引（Position Index）
    3.9.2 双词索引（Nextword Index）
    3.9.3 短语索引（Phrase Index）
    3.9.4 混合方法
    3.10 分布式索引（Parallel Indexing）
    3.10.1 按文档划分（Document Partitioning）
    3.10.2 按单词划分（Term Partitioning）
    3.10.3 两种方案的比较
    本章提要
    本章参考文献
    第4章 索引压缩
    4.1 词典压缩
    4.2 倒排列表压缩算法
    4.2.1 评价索引压缩算法的指标
    4.2.2 一元编码与二进制编码
    4.2.3 Elias Gamma算法与Elias Delta算法
    4.2.4 Golomb算法与Rice算法
    4.2.5 变长字节算法（Variable Byte）
    4.2.6 SimpleX系列算法
    4.2.7 PForDelta算法
    4.3 文档编号重排序（DocID Reordering）
    4.4 静态索引裁剪（Static Index Pruning）
    4.4.1 以单词为中心的索引裁剪
    4.4.2 以文档为中心的索引裁剪
    本章提要
    本章参考文献
    第5章 检索模型与搜索排序
    5.1 布尔模型（Boolean Model）
    5.2 向量空间模型（Vector Space Model）
    5.2.1 文档表示
    5.2.2 相似性计算
    5.2.3 特征权重计算
    5.3 概率检索模型
    5.3.1 概率排序原理
    5.3.2 二元独立模型（Binary Independent Model）
    5.3.3 BM25模型
    5.3.4 BM25F模型
    5.4 语言模型方法
    5.5 机器学习排序（Leaming to Rank）
    5.5.1 机器学习排序的基本思路
    5.5.2 单文档方法（PointWise Approach）
    5.5.3 文档对方法（PairWise Approach）
    5.5.4 文档列表方法（ListWise Approach）
    5.6 检索质量评价标准
    5.6.1 精确率与召回率
    5.6.2 P@10指标
    5.6.3 MAP指标（Mean Average Precision）
    本章提要
    本章参考文献
    第6章 链接分析
    6.1 Web图
    6.2 两个概念模型及算法之间的关系
    6.2.1 随机游走模型（Random Surfer Model）
    6.2.2 子集传播模型
    6.2.3 链接分析算法之间的关系
    6.3 PageRank算法
    6.3.1 从入链数量到PageRank
    6.3.2 PageRank计算
    6.3.3 链接陷阱（Link Sink）与远程跳转（Teleporting）
    6.4 HITS算法（Hypertext Induced Topic Selection）
    6.4.1 Hub页面与Authority页面
    6.4.2 相互增强关系
    6.4.3 HITS算法
    6.4.4 HITS算法存在的问题
    6.4.5 HITS算法与PageRank算法比较
    6.5 SALSA算法
    6.5.1 确定计算对象集合
    6.5.2 链接关系传播
    6.5.3 Authority权值计算
    6.6 主题敏感PageRank（Topic Sensitive PageRank）
    6.6.1 主题敏感PageRank与PageRank的差异
    6.6.2 主题敏感PageRank计算流程
    6.6.3 利用主题敏感PageRank构造个性化搜索
    6.7 Hilltop算法
    6.7.1 Hilltop算法的一些基本定义
    6.7.2 Hilltop算法
    6.8 其他改进算法
    6.8.1 智能游走模型（Intelligent Surfer Model）
    6.8.2 偏置游走模型（Biased Surfer Model）
    6.8.3 PHITS算法（Probability Analogy ofHITS）
    6.8.4 BFS算法（Backward Forward Step）
    本章提要
    本章参考文献
    第7章 云存储与云计算
    7.1 云存储与云计算概述
    7.1.1 基本假设
    7.1.2 理论基础
    7.1.3 数据模型
    7.1.4 基本问题
    7.1.5 Google的云存储与云计算架构
    7.2 Google文件系统（GFS）
    7.2.1 GFS设计原则
    7.2.2 GFS整体架构
    7.2.3 GFS主控服务器
    7.2.4 系统交互行为
    7.3 Chubby锁服务
    7.4 BigTable
    7.4.1 BigTable的数据模型
    7.4.2 BigTable整体结构
    7.4.3 BigTable的管理数据
    7.4.4 主控服务器（Master Server）
    7.4.5 子表服务器（Tablet Server）
    7.5 Megastore系统
    7.5.1 实体群组切分
    7.5.2 数据模型
    7.5.3 数据读／写与备份
    7.6 Map/Reduce云计算模型
    7.6.1 计算模型
    7.6.2 整体逻辑流程
    7.6.3 应用示例
    7.7 咖啡因系统——Percolator
    7.7.1 事务支持
    7.7.2 观察／通知体系结构
    7.8 Pregel图计算模型
    7.9 Dynomo云存储系统
    7.9.1 数据划分算法（Partitioning Algorithm）
    7.9.2 数据备份（Replication）
    7.9.3 数据读／写
    7.9.4 数据版本控制
    7.10 PNUTS云存储系统
    7.10.1 PNUTS整体架构
    7.10.2 存储单元
    7.10.3 子表控制器与数据路由器
    7.10.4 雅虎消息代理
    7.10.5 数据一致性
    7.11 HayStack存储系统
    7.11.1 HayStack整体架构
    7.11.2 目录服务
    7.11.3 HayStack缓存
    7.11.4 HayStack存储系统
    本章提要
    本章参考文献
    第8章 网页反作弊
    8.1 内容作弊
    8.1.1 常见内容作弊手段
    8.1.2 内容农场（Content Farm）
    8.2 链接作弊
    8.3 页面隐藏作弊
    8.4 Web 2.0作弊方法
    8.5 反作弊技术的整体思路
    8.5.1 信任传播模型
    8.5.2 不信任传播模型
    8.5.3 异常发现模型
    8.6 通用链接反作弊方法
    8.6.1 TrustRank算法
    8.6.2 BadRank算法
    8.6.3 SpamRank
    8.7 专用链接反作弊技术
    8.7.1 识别链接农场
    8.7.2 识别Google轰炸
    8.8 识别内容作弊
    8.9 反隐藏作弊
    8.9.1 识别页面隐藏
    8.9.2 识别网页重定向
    8.10 搜索引擎反作弊综合框架
    本章提要
    本章参考文献
    第9章 用户查询意图分析
    9.1 搜索行为及其意图
    9.1.1 用户搜索行为
    9.1.2 用户搜索意图分类
    9.2 搜索日志挖掘
    9.2.1 查询会话（Query Session）
    9.2.2 点击图（Click Graph）
    9.2.3 查询图（Query Graph）
    9.3 相关搜索
    9.3.1 基于查询会话的方法
    9.3.2 基于点击图的方法
    9.4 查询纠错
    9.4.1 编辑距离（Edit Distance）
    9.4.2 噪声信道模型（Noise Channel Model）
    本章提要
    本章参考文献
    第10章 网页去重
    10.1 通用去重算法框架
    10.2 Shingling算法
    10.3 I-Match算法
    10.4 SimHash算法
    10.4.1 文档指纹计算
    10.4.2 相似文档查找
    10.5 SpotSig算法
    10.5.1 特征抽取
    10.5.2 相似文档查找
    本章提要
    本章参考文献
    第11章 搜索引擎缓存机制
    11.1 搜索引擎缓存系统架构
    11.2 缓存对象
    11.3 缓存结构
    11.4 缓存淘汰策略（Evict Policy）
    11.4.1 动态策略
    11.4.2 混合策略
    11.5 缓存更新策略（Refresh Policy）
    本章提要
    本章参考文献
    第12章 搜索引擎发展趋势
    12.1 个性化搜索
    12.2 社会化搜索
    12.3 实时搜索
    12.4 移动搜索
    12.5 地理位置感知搜索
    12.6 跨语言搜索
    12.7 多媒体搜索
    12.8 情境搜索
    分享到：
    赞 收藏

    相关推荐

    资料库

    课程资源

    共收录17145份资料，累计13个分类，关注成员有19位，主要包括：PHP,网络管理,网页制作,Java,.Net,数据库,3G/移动开发,C/C++,游戏开发,嵌入式,讲义,软件测试,专业指导

    热门标签

    PHP 网络管理 网页制作 Java .Net 数据库 3G/移动开发 C/C++ 游戏开发 嵌入式 讲义 软件测试 专业指导

    最新资料