搜索引擎優(yōu)化對(duì)爬蟲軟件會(huì)產(chǎn)生哪些影響？首先就是使用既定的規(guī)則來進(jìn)行編碼和解碼。企業(yè)為了保持互聯(lián)網(wǎng)跨平臺(tái)共享信息的優(yōu)點(diǎn)則需要采用一種互聯(lián)網(wǎng)通用的語言，可以讓各種不同操作系統(tǒng)或者平臺(tái)的軟件都能夠較好地去解釋網(wǎng)頁(yè)。因此就會(huì)出現(xiàn)了HTML語言，事實(shí)上這種語言是一種標(biāo)準(zhǔn)化的對(duì)象語言。其特點(diǎn)就是與XML數(shù)據(jù)庫(kù)相類似，實(shí)際上HTML語言的核心思想就是將網(wǎng)頁(yè)中所有的元素都轉(zhuǎn)換成一個(gè)個(gè)不同的對(duì)象，因此工作人員在對(duì)網(wǎng)頁(yè)進(jìn)行解釋和編碼的過程中，則可以非常明確的去指導(dǎo)不同元素所代表的一些內(nèi)容或者在網(wǎng)頁(yè)中的位置。一般從目前的網(wǎng)頁(yè)組成來說，基本都會(huì)存在幾個(gè)比較主要的部分。

　　第一是title, 意思就是整個(gè)網(wǎng)頁(yè)的標(biāo)題。第二就是body, 就是我們整個(gè)網(wǎng)頁(yè)的主要部分，這個(gè)部分就包含了網(wǎng)頁(yè)中的主要內(nèi)容，還包含了文字的敘述內(nèi)容，或者是對(duì)圖像化的圖片內(nèi)容等等。通常來講，我們的爬蟲軟件在對(duì)網(wǎng)站中的網(wǎng)頁(yè)進(jìn)行分析時(shí)，提取其關(guān)鍵字主要就是依靠?jī)蓚€(gè)方面來進(jìn)行關(guān)鍵詞的判斷，第一部分就是根據(jù)網(wǎng)站title中的內(nèi)容來分析該網(wǎng)站網(wǎng)頁(yè)的主體，第二部分則是根據(jù)網(wǎng)站網(wǎng)頁(yè)中的body里含有的文字?jǐn)⑹鰜磉M(jìn)行分析。另外，爬蟲軟件在對(duì)網(wǎng)站的網(wǎng)頁(yè)進(jìn)行分析時(shí)，除了對(duì)于網(wǎng)站的title分析以外，還會(huì)對(duì)于網(wǎng)站中的文字?jǐn)⑹鲞M(jìn)行分析。

　　通過不同網(wǎng)頁(yè)中關(guān)鍵詞出現(xiàn)頻率的對(duì)比，來提取最能表現(xiàn)網(wǎng)站主體的關(guān)鍵詞，并將其作為其特征向量的“維度”。因此從這一方面來講影響網(wǎng)站與關(guān)于通過提高頻率來改變網(wǎng)頁(yè)排序的方式較為常用，因此也出現(xiàn)了針對(duì)這種辦法的懲罰措施。一般而言 ，通過提高頻率來改變網(wǎng)站的網(wǎng)頁(yè)排序主要是依靠關(guān)鍵詞的不斷堆砌，而懲罰措施則是針對(duì)這種關(guān)鍵詞的堆砌進(jìn)行的一種懲罰。但是在合理的范圍內(nèi)增加關(guān)鍵詞在網(wǎng)頁(yè)中出現(xiàn)的頻率依然可以改變?cè)摼W(wǎng)站在對(duì)應(yīng)關(guān)鍵詞下搜索時(shí)的排序結(jié)果。