揭秘PHP开发搜索引擎技术全过程_PHP教程
推荐:解读二十五个顶级PHP模板引擎整理为了找到一个好的模板引擎,我在互联网上进行搜索,目前已经整理出了以下名单: Smarty Smarty的特点是将模板编译成PHP脚本,然后执行这些脚本。很快,非常灵活。 Heyes Template Class 一个非常容易使用,但功能强大并且快速的模板引擎,它帮助你把页面布局
谈到网页搜索引擎时,很多人都会想到雅虎。的确,雅虎开创了一个互联网络的搜索时代。然而,雅虎目前用于搜索网页的技术却并非该公司原先自己开发的。2000年8月,雅虎采用了Google这家由斯坦福大学学生创建的公司的技术。理由非常简单,Google的搜索引擎比雅虎先前使用的技术能更快、更准确搜索到所需要的信息。
让我们自己来设计、开发一个强劲、高效的搜索引擎和数据库恐怕短时间内在技术、资金等方面是不可能的,不过,既然雅虎都在使用别人的技术,那么我们是不是也可以使用别人现成的搜索引擎网站呢?
剖析编程思路
我们可以这样设想:模拟一个查询,向某个搜索引擎网站发出相应格式的搜索命令,然后传回搜索结果,对结果的HTML代码进行分析,剥离多余的字符和代码,最后按所需要的格式显示在我们自己的网站页面里。
这样,问题的关键就在于,我们要选定一个搜索信息准确(这样我们的搜索才会更有意义啊)、速度快(因为我们分析搜索结果并显示需要额外的时间),搜索结果简洁(便于进行HTML源代码分析和剥离)的搜索网站,由于新一代搜索引擎Google的各种优良特性,这里我们选择它为例,来看看用PHP怎样实现后台对Google搜索、前台个性化显示这一过程。
我们先来看看Google的查询命令的构成。进入Google网站,在查询栏中输入“abcd”,点击查询按钮,我们可以发明阅读器的地址栏变成:"http://www.google.com/search?q=abcd&btnG=Google%CB%D1%CB%F7&hl=zh-CN&lr= ",可见,Google是通过表单的get方法来传递查询参数并递交查询命令的。我们可以使用PHP中的file()函数来模仿这个查询进程。
懂得File( ) 函数
语法: array file(string filename);
返回值为数组,将文件全体读进数组变量中。这里的文件可以是本地的,也可以是远程的,远程文件必需指明所应用的协定。例如: result=file(“http://www.google.com/search?q=a ... mp;hl=zh-CN&lr= ”),该语句将模仿我们在Google上查询单词“abcd”的进程,并将搜索结果以每行动元素,传回到数组变量 result中。由于这里读取的文件是远程的,所以协定名“http://”不能缺乏。
假如要让用户输入搜索字符进行任意搜索,我们可以做一个输入文本框和提交按钮,并将上文中的被搜索字符“abcd”用变量替换:
echo '
'; file://没有参数的form,默认提交方法为get,提交到本身
echo '; file://结构一个文本输入框
echo '; file://结构一个提交查询按钮
echo '
';
if (isset( keywords)) file://提交后PHP会天生变量 kwywords,即请求下面的程序在提交后运行
{
urlencode( keywords); file://对用户输进内容进行URL编码
result=file("http://www.google.com/search?q=". keywords."&btnG=Google%CB%D1%CB%F7&hl=zh-CN&lr=");
file://对查询语句进行变量调换,将查询成果保留在数组变量 result中
result_string=join(" ", result); file://将数组$result合并成字符串,各数组元素之间用空格粘和
... file://进一步处理
}
??
上面的这段程序已经能按用户输入内容进行查询,并将返回的结果合成一个字符串变量$result_string。请注意要应用urlencode()函数将用户输进内容进行URL编码,才可以正常地对输入的汉字、空格以及其他特别字符进行查询,这样做也是尽可能真切地模仿Google的查询命令,保证搜索成果的准确性。
对Google的剖析
为了便于懂得,现在假设我们所真正需要的东西是:搜索结果的标题。网址和简介等,这是一个简练而典范的需求。这样,我们所要做的便是:去除Google搜索结果的台头和脚注,包含一个Google的标记、再次搜索的输入框和搜索结果阐明等,并且在剩余的搜索结果各项条目中剥离本来的HTML格式标记,替换成我们想要的格式。
要做到这一点,我们必需细心地剖析Google搜索结果的HTML源码,找到其中的规律。不难发明,在Google的搜索结果的正文总是包括在源码的第一个
标记和倒数第二个
标志之间,并且倒数第二个
标志后紧跟table字符,而且这个组合“
以下所有程序均依次接续在上文程序的“进一步处置”处。
result_string = strstr( result_string, " ");
file://取 result_string从第一个开端后的字符串,以往除Google台头
position= strpos( result_string," table符号的地位
result_string= substr( result_string,0, position);//截取第一个table符号之前的字符串,以往除脚注
利用与实现
现在我们已经得到有用的HTML源码主干了,剩下的问题是如何自主地显示这些内容。我们再剖析一下这些搜索结果条目,发明每个条目之间也是很有规律的用分隔,也就是各成一个段落,按这个特色我们用explode()函数把每个条目切开:
语法:explode(string separator, string string);
返回一个数组,按separator切开后的各个小字串被保留在数组中。
于是:
result_array=explode(" ", result_string); file://用字串" "把成果切开
我们就得到一个数组 result_array,其中每个元素都是一个搜索结果条目。我们所要做的仅仅是研讨每个条目及其HTML显示格式代码,然后按请求替换就行了。下面用循环来处理 result_array中的每个条目。
for( i=0; i {
... file://处理每个条目
}
对于每个条目,我们也很轻易找到一些特色:每个条目都由题目、摘要、简介、种别、网址等组成,每个部分都换行,即包括标志,于是再次分割:(以下处置程序放在上文的循环中)
every_item=explode(" ", result_array[ i]);
这样我们得到一个数组 every_item,其中 every_item[0]就是题目, every_item[1]和 every_item[2]两行动摘要, every_item[3]和 every_item[4]等等的头部如果包含“简介:”、“< font size=-1 color=#6f6f6f>种别:< /font>”字符,则是简介或类别(由于有的结果条目没有该项),假如头部包含“< font color=green>”则确定就是网址啦,这种对照断定我们常使用正则表达式(略),假如要替换也很便利,比如包括标题的$every_item[0],其本身是有链接的,我们盼望修改这个链接属性,让它在新窗口打开链接:
echo eregi_replace(' {
... file://处置每个条目中除往第一项(第一项为题目,已经显示)的每一项
... file://更多格局修正
}
这样就修改了链接属性,其余很多显示格局的修正、剥离、调换都能用正则调换eregi_replace()来完成。
至此我们已经得到了每个搜索条目标每一项,并能任意修正每项的格局,甚至可以给他套上美丽的表格。然而一个好的程序应当能适应各种运行环境的,这里也不例外,我们实在还只是讨论了搜索结果的HTML剥离的一种框架方式,真正要做得完善,还要斟酌很多内容,比如要显示一共搜索出多少结果,分成多少页等等,甚至还可以刨除与Google相干的那些“种别”、“简介”等代码,让客户基本看不到原始网站。不过这些内容和请求我们都能通过火析HTML进行剥离得到。现在大家完整能自己动手,做个极富个性化的搜索引擎。
分享:解析php实现给上传图片加水印图案给图片增加水印相信大家都了解。这里教大家给上传的图片加水印图案。 用PHP给上传图片加水印的程序是通过判断文件类型建立图形,然后把其复制到原建立的图形上,填充并建立rectangle,以备写入imagestring()或是原已经定好的图像程序当中判断水印类型:一是
- 相关链接:
- 教程说明:
PHP教程-揭秘PHP开发搜索引擎技术全过程。