比較務(wù)實的一本書，也是我2014年推薦的第一本書《這就是搜索引擎：核心技術(shù)詳解》，這本書陸陸續(xù)續(xù)看了大半年，受益匪淺。雖說是核心技術(shù)詳解，實際上這并不是給專業(yè)人員看的書，站長朋友看了后會對搜索引擎多了一份理性，少一分謾罵。本書看起來很輕松。

全書通俗易懂，內(nèi)容廣而不深，對搜索引擎的技術(shù)做了很全面的介紹，包括搜索引擎整體框架、爬蟲、抓取策略、暗網(wǎng)爬取、分布式爬蟲等內(nèi)容。

搜索引擎作為互聯(lián)網(wǎng)用戶的上網(wǎng)入口，對流量的引導與分流至關(guān)重要，甚至可以說起了決定性的作用。1991年，Tim Berners-Lee將超文本的概念引入互聯(lián)網(wǎng)，同時推出了WWW雛形、配套的HTTP傳輸協(xié)議及相應(yīng)的Web服務(wù)器技術(shù)。1993年，第一個圖形瀏覽器mosaic誕生，網(wǎng)頁瀏覽客戶端趨于成熟，這些技術(shù)與產(chǎn)品為互聯(lián)網(wǎng)的快速普及和發(fā)展做好了技術(shù)準備，互聯(lián)網(wǎng)用戶開始從最初的軍隊和高校等科研機構(gòu)普及到普通的個人用戶，為接下來互聯(lián)網(wǎng)的商業(yè)化大規(guī)模發(fā)展奠定了基礎(chǔ)。

互聯(lián)網(wǎng)信息量在過去15年獲得了爆炸性增長，信息過載的問題目前來說非常嚴重，隨著互聯(lián)網(wǎng)個性化的發(fā)展趨勢逐步展現(xiàn)，普通用戶發(fā)布信息的成本越來越低，這個問題將會更加嚴重。這是搜索引擎相關(guān)引用越來越重要的一個基礎(chǔ)背景。搜索是目前解決信息過載的相對有效的方式，在沒有有效的替代解決方式出來之前，搜索引擎作為互聯(lián)網(wǎng)網(wǎng)站和應(yīng)用的入口及處于行業(yè)制高點的重要地位只會逐步加強。

搜索引擎發(fā)展史：分類目錄(網(wǎng)址導航)是史前時代、文本檢索是第一代、鏈接分析是第二代、以用戶中心是第三代，

搜索引擎的3個目標：更全、更快、更準。

搜索引擎的3個核心問題：1.用戶真正的需求是什么，2.哪些信息是和用戶需求是真正相關(guān)的，3.哪些信息是用戶可以信賴的。

搜索引擎的架構(gòu)，一張圖可以說明情況：

除了上述的子功能模塊，“反作弊”模塊也日益重要。

互聯(lián)網(wǎng)頁面劃分為五個部分：1.已下載網(wǎng)頁集合、2.已過期網(wǎng)頁集合、3.待下載網(wǎng)頁集合、4.可知網(wǎng)頁集合、5.不可知網(wǎng)頁集合。

網(wǎng)絡(luò)爬蟲分為：批量性爬蟲、增量型爬蟲、垂直型爬蟲。

爬蟲抓取的策略：1.寬度優(yōu)先遍歷、2.非完全PageRank、3.OPIC(Online Page Importantance Computation)、4.大站優(yōu)先。

網(wǎng)頁更新策略：1.歷史參考策略、2.用戶體驗策略、3.聚類抽樣策略。

寫在最后：

結(jié)合上面的信息我們就能大致明白了：爬蟲分很多種，爬蟲來了不一定抓取的原因就是這里。另外爬蟲是否抓取(重新抓取)你的網(wǎng)頁也有很多種參考因素，我們通常所以的保證網(wǎng)站持續(xù)更新就是歷史參考策略了。本文我把網(wǎng)頁和爬蟲的部分都羅列了出來，有興趣的朋友可以買書來看。

很多時候，你問的答案就在這里，如果你不細讀的話!

書名：《這就是搜索引擎:核心技術(shù)詳解》

作者：張俊林

出版社：電子工業(yè)出版社

出版日期: 2012年1月1日

平裝: 300頁