关闭顶部展开顶部

php读取操作大文件,超出内存大小,三种方法_PHP教程

编辑Tag赚U币
教程Tag:暂无Tag,欢迎添加,赚取U币!

推荐:php数组排序
A.内部排序(直接加载到内存进行排序):包括交换式排序(冒泡和快速法)、选择式排序、插入式排序 B.外部排序(因数据量大,需借助外部存储进行排序):包括合并排序、直接合并排序 【冒泡排序:从后向前,依次比较相邻元素的排序码,若发现逆序则交换,一轮结束后,再

在php中,对于文件的读取时,最快捷的方式莫过于使用一些诸如file、file_get_contents之类的函数,简简单单的几行代码就能 很漂亮的完成我们所需要的功能。但当所操作的文件是一个比较大的文件时,这些函数可能就显的力不从心, 下面将从一个需求入手来说明对于读取大文件时,常用的操作方法。

需求

有一个800M的日志文件,大约有500多万行, 用php返回最后几行的内容。

实现方法

1.2B行为,简单粗暴,简单直接采用file函数来操作

注:由于 file函数是一次性将所有内容读入内存,而php为了防止一些写的比较糟糕的程序占用太多的内存而导致系统内存不足,使服务器出现宕机,所以默认情况下限制只能最大使用内存16M,这是通过php.ini里的 memory_limit = 16M来进行设置,这个值如果设置-1,则内存使用量不受限制.

下面是一段用file来取出这具文件最后一行的代码.

  1. ini_set('memory_limit','-1'); 
  2. $file = 'access.log'
  3. $data = file($file); 
  4. $line = $data[count($data)-1]; 
  5. echo $line
整个代码执行完成耗时 116.9613 (s).
我机器是2个G的内存,当按下F5运行时,系统直接变灰,差不多20分钟后才恢复过来,可见将这么大的文件全部直接读入内存,后果是多少严重,所以不在万 不得以,memory_limit这东西不能调得太高,否则只有打电话给机房,让reset机器了.
 
2.直接调用linux的tail命令来显示最 后几行
 
在linux命令行下,可以直接使用tail -n 10 access.log很轻易的显示日志文件最后几行,可以直接用php来调用tail命令,执行php代码如下.
  1. file = 'access.log'
  2. $file = escapeshellarg($file); // 对命令行参数进行安全转义 
  3. $line = `tail -n 1 $file`; 
  4. echo $/php] 
  5. 整个代码执行完成耗时 0.0034 (s) 
  6.   
  7. 3. 直接使用php的fseek来进行文件操作 
  8.   
  9. 这种方式是最为普遍的方式,它不需要将文件的内容全部读入内容,而是直接通过指针来操作,所以效率是相当高效的.在使用fseek来对文件进行操作 时,也有多种不同的方法,效率可能也是略有差别的,下面是常用的两种方法. 
  10. 方法一 
  11. 首先通过fseek找到文件的最后一位EOF,然后找最后一行的起始位置,取这一行的数据,再找次一行的起始位置, 再取这一行的位置,依次类推,直到找到了$num行。 
  12. 实现代码如下 
  13.   
  14. $fp = fopen($file"r"); 
  15. $line = 10; 
  16. $pos = -2; 
  17. $t = " "
  18. $data = ""
  19. while ($line > 0) { 
  20.     while ($t != "\n") { 
  21.         fseek($fp$pos, SEEK_END); 
  22.         $t = fgetc($fp); 
  23.         $pos --; 
  24.     } 
  25.     $t = " "
  26.     $data .= fgets($fp); 
  27.     $line --; 
  28. fclose ($fp); 
  29. echo $data 
整个代码执行完成耗时 0.0095 (s)
 
方法二
还是采用fseek的方式从文件最后开始读,但这时不是一位一位的读,而是一块一块的读,每读一块数据时,就将读取后的数据放在一个buf里,然后通过换 行符(\n)的个数来判断是否已经读完最后$num行数据.
实现代码如下
  1. $fp = fopen($file"r"); 
  2. $num = 10; 
  3. $chunk = 4096; 
  4. $fs = sprintf("%u"filesize($file)); 
  5. $max = (intval($fs) == PHP_INT_MAX) ? PHP_INT_MAX : filesize($file); 
  6. for ($len = 0; $len < $max$len += $chunk) { 
  7.     $seekSize = ($max - $len &gt; $chunk) ? $chunk : $max - $len
  8.     fseek($fp, ($len + $seekSize) * -1, SEEK_END); 
  9.     $readData = fread($fp$seekSize) . $readData
  10.   
  11.     if (substr_count($readData"\n") &gt;= $num + 1) { 
  12.         preg_match("!(.*?\n){".($num)."}$!"$readData$match); 
  13.         $data = $match[0]; 
  14.         break
  15.     } 
  16. fclose($fp); 
  17. echo $data
整个代码执行完成耗时 0.0009(s).
 
方法三
  1. function tail($fp,$n,$base=5) 
  2.     assert($n>0); 
  3.     $pos = $n+1; 
  4.     $lines = array(); 
  5.     while(count($lines)< =$n){ 
  6.         try{ 
  7.             fseek($fp,-$pos,SEEK_END); 
  8.         } catch (Exception $e){ 
  9.             fseek(0); 
  10.             break
  11.         } 
  12.         $pos *= $base
  13.         while(!feof($fp)){ 
  14.             array_unshift($lines,fgets($fp)); 
  15.         } 
  16.     } 
  17.     return array_slice($lines,0,$n); 
  18. var_dump(tail(fopen("access.log","r+"),10)); 
整个代码执行完成耗时 0.0003(s)
转自:尘缘博客, http://www.4wei.cn/archives/1001748

分享:php插入中文到sql server 2008里出现乱码的解决办法
今天使用php操作数据库时发现插入SQL Server 2008数据库里的中文字段出现乱码,下面是我一开始时的一些情况: 开发环境是php5.3.3+Apache2.2.17+SQL Server 2008,php脚本文件的编码是 utf-8 ,传给数据库的编码是 GB2312 (SQL Server的默认字符编码可能是这个,我不

来源:尘缘//所属分类:PHP教程/更新时间:2012-07-21
loading.. 评论加载中....
相关PHP教程
闂佹眹鍩勯崹閬嶆偤閺囶澁缍栭柛鈩冪⊕閳锋帗銇勯弴妤€浜惧銈忕秶閹凤拷
濠电偛顕慨顓㈠磻閹炬枼妲堥柡鍌濇硶婢ф稒淇婇懠顒夆偓婵嬫煟閵忊晛鐏查柟鍑ゆ嫹
濠电姷顣介埀顒€鍟块埀顒勵棑缁辩偛顓兼径瀣閻庣懓瀚竟鍡欐崲娑斾線鏌i姀鈺佺伈闁瑰嚖鎷�
濠电姷顣介埀顒€鍟块埀顒勵棑缁辩偛顓兼径濠勵吋闂佽鍨庨崟顓фК闂佽閰eḿ褍螞濞戙垺鍋夐柨鐕傛嫹
闂備胶枪缁绘劙骞婃惔銊ョ劦妞ゆ帒鍊哥敮鍫曞箹鐎涙ḿ鐭掔€规洘绻堥弫鎾绘晸閿燂拷
闂備胶枪缁绘劙骞婃惔銊ョ劦妞ゆ巻鍋撻柛姘儑缁﹪鏁傞崜褏鐓撻柣搴岛閺呮繈鎯屽▎鎴犵=濞撴艾锕ョ€氾拷
闂備浇銆€閸嬫挻銇勯弽銊р槈闁伙富鍣i弻娑樷攽閹邦亞鑳虹紓浣靛妽濡炶棄顕i妸鈺婃晬婵炲棙鍨电粭锟犳⒑閸濆嫬鈧骞婇幘鑸殿潟闁跨噦鎷�
闂備礁鎼崯鐗堟叏妞嬪海绀婂鑸靛姈閻擄綁鎮规潪鎷岊劅婵炲眰鍊曢湁闁挎繂妫欑粈鈧梺鍛娚戦悧鐘茬暦閹扮増鏅搁柨鐕傛嫹
婵犵妲呴崹顏堝礈濠靛棭鐔嗘俊顖氬悑鐎氱粯銇勯幘瀵哥畺閻庢熬鎷�
濠电姷顣介埀顒€鍟块埀顒勵棑缁辩偛顓奸崶銊ヮ伕濡炪倖鎸荤换鍐偓姘虫珪娣囧﹪顢涘Δ鈧晶鍙夌節椤喗瀚�
婵犵妲呴崹顏堝礈濠靛棭鐔嗘慨妞诲亾鐎规洦鍓熼、娆撳礂閻撳簶鍋撻悽鍛婄厸闁割偅绻勫瓭婵犳鍣幏锟�
婵犵妲呴崹顏堝礈濠靛棭鐔嗘慨妞诲亾闁哄苯鎳橀崺鈧い鎺嗗亾闁宠閰i獮鎴﹀箛闂堟稒顔嗛梻浣告惈鐎氭悂骞忛敓锟�
婵犵妲呴崹顏堝礈濠靛棭鐔嗘慨妞诲亾鐎规洩缍侀獮瀣攽閸偂绱�
濠电姷顣介埀顒€鍟块埀顒勵棑缁辩偛顓兼径濠勭厬闂佺懓鐡ㄧ换鍕敂鐎涙ü绻嗘い鏍殔婢у弶绻濋~顔藉
闂佽楠搁崢婊堝礈濠靛鍋嬮柟鎯版閻鈹戦悩鎻掓殭闁奸潧缍婇弻銈夋嚍閵夈儱顫嶉梺缁樼壄缂嶄礁鐣峰▎鎾存櫢闁跨噦鎷�
UB闂備礁婀辩划顖炲礉濡ゅ懐宓侀柛銉㈡櫆鐎氭岸鎮楀☉娅虫垿锝為敓锟�
闂備浇澹堟ご绋款潖婵犳碍鐒鹃悗鐢电《閸嬫捇鐛崹顔句痪濠电姭鍋撻柨鐕傛嫹
闂佽楠哥粻宥夊垂閸濆嫸鑰块柛銏㈠殰
闂備礁鎲″缁樻叏妞嬪海绀婂璺虹灱閸楁碍绻涢崱妤€顒㈤柛鐐差槹缁绘稓绱欓悩鍝勫帯闂佺ǹ楠忛幏锟�
缂傚倸鍊烽悞锕傛偡閿曞倸鍨傛繝濠傚椤╅攱銇勯幒宥囶槮缂佹彃婀遍埀顒傚仯閸婃繄绱撳棰濇晩闁跨噦鎷�
©2017 www.mb5u.com婵犵妲呴崹顏堝礈濠靛棭鐔嗘慨妞诲亾鐎殿噮鍣i幃鈺呭箵閹烘挸鐦�
闂備浇銆€閸嬫捇鏌熼婊冾暭妞ゃ儻鎷�&闂備礁鎲$敮鎺懳涢弮鍫燁棅闁跨噦鎷�