百度/谷歌蜘蛛程序爬行網站過于頻繁的解決辦法

知道91 | 站長推薦 | 2014-09-09 | 閱讀:4200

不知道各位站長有沒有遇到這樣的情況,發現你的網站訪問日志迅速增大,用網站日志分析工具查看有很多相同的IP段訪問或者短時間內相同IP的訪問次數很多,你就要引起注意了,你會疑問是不是網站遭受 DDOS 攻擊了呢?

DDOS 攻擊

答案是不一定,你可以搜索一下HTTP請求的IP是不是百度的蜘蛛IP,如果是百度蜘蛛的IP我們又不能禁止訪問,但是不禁止就會造成網站服務器的資源占用會被耗盡,這個時候怎么辦呢?答案是使用CDN 技術

CDN技術

內容分發網絡(CDN)其基本思路是盡可能避開互聯網上有可能影響數據傳輸速度和穩定性的瓶頸和環節,使內容傳輸的更快、更穩定。通過在網絡各處放置節點服務器所構成的在現有的互聯網基礎之上的一層智能虛擬網絡,CDN系統能夠實時地根據網絡流量和各節點的連接、負載狀況以及到用戶的距離和響應時間等綜合信息將用戶的請求重新導向離用戶最近的服務節點上。

因此只要網站使用CDN技術那么就會環節網站服務器的壓力。目前國內免費的CDN主要有下面五種:

  1. 360網站寶
  2. 安全寶
  3. 加速樂
  4. WDCDN
  5. CDNZZ

你可以選擇使用,具體使用方法官方都有介紹的,這里就不做詳細的介紹了。

福彩3d开机号 棒球比分规则 球探网足球即时手机版 好盈彩票苹果 比格披萨赚钱吗 007即时比分 山东时时彩 派派最赚钱的种子 东方头条怎么玩赚钱 街机捕鱼攻略技巧 卖烧烤的来说赚钱了吗 足球直播网 广东时时彩 vps挂机赚钱 linux 梦幻新区挖土赚钱 踢球者190即时指数 赚钱的方法没人愿意分享