首先產(chǎn)生重復(fù)內(nèi)容的主要原因

1、網(wǎng)址規(guī)范化問題。

網(wǎng)址規(guī)范化問題包括主域名的規(guī)范化和頁面URL地址規(guī)范化兩個(gè)方面，主域名的規(guī)范化需要規(guī)范化。另外是內(nèi)頁URL的規(guī)范化，通常為了讓搜索引擎能夠更好的抓取網(wǎng)站內(nèi)容，我們會(huì)將URL進(jìn)行偽靜態(tài)處理，而一般的網(wǎng)站偽靜態(tài)之后，原始的動(dòng)態(tài)URL依然存在并能夠訪問，這樣就造成了多個(gè)URL訪問相同網(wǎng)址。

2、內(nèi)容的其他版本

很多網(wǎng)站除了提供正常的版本之外還提供一些其它的瀏覽版本，比如打印版本或者簡版，卻并沒有禁止搜索引擎去抓取這些頁面，而這些頁面也因此變成了重復(fù)內(nèi)容頁面。

3、網(wǎng)站結(jié)構(gòu)

很多網(wǎng)站在結(jié)構(gòu)設(shè)計(jì)之初并沒考慮SEO方面的因素，結(jié)果是導(dǎo)致造成各種頁面版本，比如產(chǎn)品按價(jià)格，評(píng)論，時(shí)間排序等，特別是一些電子商務(wù)網(wǎng)站，這種頁面重復(fù)現(xiàn)象尤為嚴(yán)重。

4、URL任意加字符還是返回200狀態(tài)碼。

一些網(wǎng)站是因?yàn)榫W(wǎng)站程序和技術(shù)的原因，用戶在URL參數(shù)后面隨意加上一些字符都能夠正常訪問，并且頁面是和沒加之前的完全重復(fù)。

檢查頁面是否有重復(fù)版本有一個(gè)比較簡單的方法，就是將內(nèi)容隨機(jī)選擇一句話加雙引號(hào)后進(jìn)行搜索，從結(jié)果中就可以看到有多少個(gè)重復(fù)的頁面。因?yàn)橥ǔ碚f隨機(jī)選一句話進(jìn)行搜索完全生命的機(jī)率是比較小的。

其次重復(fù)內(nèi)容的危害

很多做SEO的存在一個(gè)誤區(qū)，那就是認(rèn)為如果網(wǎng)站上有重復(fù)內(nèi)容就會(huì)被搜索引擎懲罰，其實(shí)倒沒有這么嚴(yán)重，搜索引擎會(huì)在所有的重復(fù)頁面中選擇一個(gè)認(rèn)為**的版本去參與排名，其它相似的內(nèi)容不會(huì)同時(shí)擁有排名。

那么問題也就來了，*一，搜索引擎如何去判斷哪個(gè)頁面是*正版的，是否和網(wǎng)站管理員想推薦的頁面一致，如果搜索引擎判斷失誤，把原創(chuàng)的頁面當(dāng)成了復(fù)制內(nèi)容，復(fù)制頁面當(dāng)成了原創(chuàng)頁面，而你在進(jìn)行推廣的過程中卻是原版，那就是做了無用功。另外同一個(gè)網(wǎng)站內(nèi)的頁面存在多個(gè)復(fù)制內(nèi)容會(huì)分散頁面權(quán)重，既然頁面在網(wǎng)站上出現(xiàn)了，就必然會(huì)有鏈接鏈向這個(gè)頁面，而如果鏈接是統(tǒng)一的，那以全部的權(quán)重都可以進(jìn)行集中，同時(shí)相同頁面的收錄在一定程度上也占用了搜索引擎蜘蛛的抓取精力，減少了原本真正需要進(jìn)行抓取頁面的收錄機(jī)率。

*三消除復(fù)制內(nèi)容的方法

網(wǎng)址規(guī)范化問題*好的方法是一個(gè)頁面只對(duì)應(yīng)一個(gè)URL，不要出現(xiàn)多個(gè)不同的版本，網(wǎng)站所有鏈接都指向這個(gè)URL。當(dāng)然有些時(shí)候因?yàn)槌潭仍瓉砘蛘咂渌?，無法完全統(tǒng)一為一個(gè)URL，那么我們可以采用以下三種方式進(jìn)行集中權(quán)重。

1、301重定向

301能夠傳遞頁面的權(quán)重，目前來說主流搜索引擎都支持301重定向，可以將復(fù)制內(nèi)容的頁面全部通過301**重定向的方式跳轉(zhuǎn)到原版頁面。

2、robots文件禁止

通過在robots.txt文件中禁止復(fù)制內(nèi)容被搜索引擎抓取，也能有效的解決網(wǎng)址重復(fù)問題。

3、canonical標(biāo)簽

canonical標(biāo)簽是由谷歌，雅虎在2009年共同發(fā)布的一個(gè)新的標(biāo)簽，目前百度也表示支持canonical標(biāo)簽，這個(gè)標(biāo)簽也可以用于解決網(wǎng)址重復(fù)的問題。

添加了以上標(biāo)簽后，也就相當(dāng)于告訴搜索引擎哪個(gè)網(wǎng)址是*規(guī)范原創(chuàng)的版本，其它復(fù)制內(nèi)容都是指向這一個(gè)*一的網(wǎng)址，有一點(diǎn)頁面301傳遞權(quán)重的意思，但是301是頁面直接跳轉(zhuǎn)了，而加這個(gè)標(biāo)簽后，頁面還是停留在原始地址