php读取操作大文件,超出内存大小,三种方法_PHP教程
推荐:php数组排序A.内部排序(直接加载到内存进行排序):包括交换式排序(冒泡和快速法)、选择式排序、插入式排序 B.外部排序(因数据量大,需借助外部存储进行排序):包括合并排序、直接合并排序 【冒泡排序:从后向前,依次比较相邻元素的排序码,若发现逆序则交换,一轮结束后,再
在php中,对于文件的读取时,最快捷的方式莫过于使用一些诸如file、file_get_contents之类的函数,简简单单的几行代码就能 很漂亮的完成我们所需要的功能。但当所操作的文件是一个比较大的文件时,这些函数可能就显的力不从心, 下面将从一个需求入手来说明对于读取大文件时,常用的操作方法。
需求
有一个800M的日志文件,大约有500多万行, 用php返回最后几行的内容。
实现方法
1.2B行为,简单粗暴,简单直接采用file函数来操作
注:由于 file函数是一次性将所有内容读入内存,而php为了防止一些写的比较糟糕的程序占用太多的内存而导致系统内存不足,使服务器出现宕机,所以默认情况下限制只能最大使用内存16M,这是通过php.ini里的 memory_limit = 16M来进行设置,这个值如果设置-1,则内存使用量不受限制.
下面是一段用file来取出这具文件最后一行的代码.
整个代码执行完成耗时 116.9613 (s).
- ini_set('memory_limit','-1');
- $file = 'access.log';
- $data = file($file);
- $line = $data[count($data)-1];
- echo $line;
整个代码执行完成耗时 0.0095 (s)
- file = 'access.log';
- $file = escapeshellarg($file); // 对命令行参数进行安全转义
- $line = `tail -n 1 $file`;
- echo $/php]
- 整个代码执行完成耗时 0.0034 (s)
- 3. 直接使用php的fseek来进行文件操作
- 这种方式是最为普遍的方式,它不需要将文件的内容全部读入内容,而是直接通过指针来操作,所以效率是相当高效的.在使用fseek来对文件进行操作 时,也有多种不同的方法,效率可能也是略有差别的,下面是常用的两种方法.
- 方法一
- 首先通过fseek找到文件的最后一位EOF,然后找最后一行的起始位置,取这一行的数据,再找次一行的起始位置, 再取这一行的位置,依次类推,直到找到了$num行。
- 实现代码如下
- 1
- $fp = fopen($file, "r");
- $line = 10;
- $pos = -2;
- $t = " ";
- $data = "";
- while ($line > 0) {
- while ($t != "\n") {
- fseek($fp, $pos, SEEK_END);
- $t = fgetc($fp);
- $pos --;
- }
- $t = " ";
- $data .= fgets($fp);
- $line --;
- }
- fclose ($fp);
- echo $data
整个代码执行完成耗时 0.0009(s).
- $fp = fopen($file, "r");
- $num = 10;
- $chunk = 4096;
- $fs = sprintf("%u", filesize($file));
- $max = (intval($fs) == PHP_INT_MAX) ? PHP_INT_MAX : filesize($file);
- for ($len = 0; $len < $max; $len += $chunk) {
- $seekSize = ($max - $len > $chunk) ? $chunk : $max - $len;
- fseek($fp, ($len + $seekSize) * -1, SEEK_END);
- $readData = fread($fp, $seekSize) . $readData;
- if (substr_count($readData, "\n") >= $num + 1) {
- preg_match("!(.*?\n){".($num)."}$!", $readData, $match);
- $data = $match[0];
- break;
- }
- }
- fclose($fp);
- echo $data;
整个代码执行完成耗时 0.0003(s)
- function tail($fp,$n,$base=5)
- {
- assert($n>0);
- $pos = $n+1;
- $lines = array();
- while(count($lines)< =$n){
- try{
- fseek($fp,-$pos,SEEK_END);
- } catch (Exception $e){
- fseek(0);
- break;
- }
- $pos *= $base;
- while(!feof($fp)){
- array_unshift($lines,fgets($fp));
- }
- }
- return array_slice($lines,0,$n);
- }
- var_dump(tail(fopen("access.log","r+"),10));
转自:尘缘博客, http://www.4wei.cn/archives/1001748
分享:php插入中文到sql server 2008里出现乱码的解决办法今天使用php操作数据库时发现插入SQL Server 2008数据库里的中文字段出现乱码,下面是我一开始时的一些情况: 开发环境是php5.3.3+Apache2.2.17+SQL Server 2008,php脚本文件的编码是 utf-8 ,传给数据库的编码是 GB2312 (SQL Server的默认字符编码可能是这个,我不
- 相关链接:
- 教程说明:
PHP教程-php读取操作大文件,超出内存大小,三种方法。