51.com的robots.txt有错吗？(2)_SEO优化教程

推荐：SEO优化之“不要轻易使用泛解析”
半夜三更的忽然想起这个老想提出或者大家都知道的问题！先续在这里，之后给予全面补充！什么是泛解析：严格来讲，是这样的：假如对abc.com解释到0.0.0.0

确定HOME下无默认首页文件，一般都是404页，这样多搜索引擎会很不友好的，那么当然仔细点的站点都会杜绝被搜索引擎视为死连接。
51的错法就是"Disallow:/help/"则答应robot访问/help.html，而不能访问/help/index.html

判定：Disallow: /home/ 对于百度正确！

因为有：User-agent: * （针对所有搜索）

查看：site:51.com/home ，site:51.com/home/ ，site:www.51.com/home ， site:www.51.com/home/
在google都有收录，而不是屏蔽了home下任何，而只是home下的默认首页！

目前看不见百度的现象，根据User-agent: * （针对所有搜索）说明百度当时也是这样！（80%一样）

再查：site:home.51.com

第一结果为

51 博客网欢迎您home.51.com/ - 类似网页

似乎home.51.com/下有首页，似乎home目下也有首页！

我们点过去则跳转到http://www.51.com/，因为目前搜索引擎都可以识别和收录url转发而非跳转！

随便查下home.51.com/的站点访问使用情况！

比如：第二结果

献给我最爱的00

home.51.com/home.php?user=nicolelove - 5k - 补充材料 - 网页快照 - 类似网页

而你使用“http://nicolelove.51.com ”也访问的是此“home.51.com/home.php?user=nicolelove”

也可以 ：http://www.51.com/home/Index.php?user=nicolelove （home下的任何其他文件可以收录和访问）

也可以：http://51.com/home/Index.php?user=nicolelove 访问而到http://www.51.com/home/Index.php?user=nicolelove

也可以：http://www.51.com/home.php?user=aiyoweiyaaaa到http://home.51.com/home.php?user=aiyoweiyaaaa

严格按照URL说这个可以说是多URL或者路径重叠，或者混乱，只是一些没告诉那些站长，只告诉站长
“http://nicolelove.51.com ”就是你的主页url

补充：

<*** LANGUAGE="Java***">
<!--
var t = addAccessRec();
if (isLoginF == 'y' && isLoginHide != 'y') {
if (isAddAccess == 'y' && t[0] == true) {
var URL = "addAccessCount.php?user=nicolelove&visituser=&time=1178309340";
addAccess(URL); // 增加访客记录
}
}
if (isAddCount == 'y' && t[1] == true) {
var URL = "addClickCount.php?user=nicolelove&time=1178309340";
addAccess(URL); // 增加点击数
}
function addAccess(URL)
{
var oXMLHttp = new InitAjax();
oXMLHttp.open("GET",URL,true); //异步
oXMLHttp.setRequestHeader('charset','GBK');
oXMLHttp.Send(null);
}
LoadXMLHTTP("/home/addMyVisitors.php?who=nicolelove");
//-->
</***>

看下最后第三段代码！

搜索引擎在更多时是不答应这样的现象的。二级玉米和独立玉米都可以认为不同域下的站点和网页！

分享：优化思路：搜索引擎算法之复制网页
搜索引擎判定复制网页一般都基于这么一个思想：为每个网页计算出一组信息指纹（Fingerprint），若两个网页有一定数量相同的信息指纹，则认为这两个网页的内容