在這儿交流一下网站被搜索引擎收錄的情況,然后和大家交流交流,作為一個菜鳥,我是從菜鳥的角度觀察的,有啥幼稚可笑的地方希望大家盡管笑,博朋友們一樂足矣。
非主流大女子网于2007年8月5日正式上線,其實就是把初步改好的网站挂上去。不過注意一下,我所謂的上線并不是把非主流大女子网能正常訪問開始算,而是把非主流大女子网和其他baidu收錄的网站挂好鏈接,這算是正式上線,如果沒有外鏈,搜索引擎不知道有這個非主流网的存在,那放一年又有什么意義,談不上上線。
由于我所挂鏈接的网站是一個非常活躍的网站,通過對网站日志的觀察,几乎是每小時百度和谷歌的爬虫都會來訪問,所以,挂上后,應該很快有他們的爬虫到非主流大女子网的。
果然很快,在一個小時內,首先來的爬虫是雅虎的,小弟發現,雅虎的爬虫最近非常的活躍,不過我對他不是很感興趣,因為雅虎帶來的流量是非常有限的,甚至不如搜狗有時候。
在一個小時以后,谷歌的爬虫也來了,而且我每隔一個小時就觀察,谷歌的爬虫很活躍,几乎每個小時都在爬啊爬的,最近對谷歌還是比較喜歡的,雖然流量帶來的不多,但是每天來兩百、三百的ip很容易的,只要做到位,半個月偶就能從谷歌搞來三百以上ip。
最盼望的百度的爬虫這次竟然太弱了,等了3天,谷歌和雅虎收錄都体現出來了,百度竟然還沒有動靜。急。
終于,在2007年8月7日,百度的爬虫終于出現了,果不其然,百度的虫子首先檢查的非主流大女子网目錄下的robot.txt文件,這個是不存在的,那就是說俺的网站是允許百度的爬虫來的,不過也是廢話,在國內,誰會主動的躲開百度呢?除非他精神有問題吧。
2007-08-07 08:53:12 GET /robots.txt - 80 - 222.222.126.113 Baiduspider+(+http://www.baidu.com/search/spider.htm) - - 404 0 64
在接下來的一個小時內,百度的爬虫掃描了几乎所有的頁面(本身也不多,就添加了30多篇),而且百度的爬虫几乎把所有的圖片,包括文章內上傳的和网頁上的小圖片,它都爬了一遍。
我現在有個感覺,保持百度爬虫的活躍度,要從這個時刻開始:發現百度的爬虫來了以后,每次新來過以后你要添加几篇文章,讓爬虫每次來都有新東西可吃,這樣子他會非常勤快的。我相信,他每小時都回來的。
不知道非主流大女子网能否實現我的預期效果,我要測試,我會在站長网隨時更新我的觀察結果。
謝謝大家。

