php对大文件进行读取操作的实现代码

PHP 2018-12-30

在PHP中，对于文件的读取时，最快捷的方式莫过于使用一些诸如file、file_get_contents之类的函数，简简单单的几行代码就能很漂亮的完成我们所需要的功能。但当所操作的文件是一个比较大的文件时，这些函数可能就显的力不从心,下面将从一个需求入手来说明对于读取大文件时，常用的操作方法。
需求有一个800M的日志文件,大约有500多万行，用PHP返回最后几行的内容。实现方法

1. 直接采用file函数来操作

注：由于 file函数是一次性将所有内容读入内存，而PHP为了防止一些写的比较糟糕的程序占用太多的内存而导致系统内存不足，使服务器出现宕机，所以默认情况下限制只能最大使用内存16M,这是通过PHP.ini里的memory_limit = 16M来进行设置，这个值如果设置-1，则内存使用量不受限制. 下面是一段用file来取出这具文件最后一行的代码.
整个代码执行完成耗时 116.9613 (s).
<div class="codetitle"><a style="CURSOR: pointer" data="38151" class="copybut" id="copybut38151" onclick="doCopy('code38151')"> 代码如下:

<div class="codebody" id="code38151">
$fp = fopen($file,"r");
$num = 10;
$chunk = 4096;
$fs = sprintf("%u",filesize($file));
$max = (intval($fs) == PHP_INT_MAX) ? PHP_INT_MAX : filesize($file);
for ($len = 0; $len < $max; $len += $chunk) {
$seekSize = ($max - $len > $chunk) ? $chunk : $max - $len;
fseek($fp,($len + $seekSize) -1,SEEK_END);
$readData = fread($fp,$seekSize) . $readData; if (substr_count($readData,"\n") >= $num + 1) {
preg_match("!(.?\n){".($num)."}$!",$readData,$match);
$data = $match[0];
break;
}
}
fclose($fp);
echo $data;

我机器是2个G的内存，当按下F5运行时，系统直接变灰，差不多20分钟后才恢复过来，可见将这么大的文件全部直接读入内存，后果是多少严重，所以不在万不得以，memory_limit这东西不能调得太高，否则只有打电话给机房，让reset机器了.

2.直接调用linux的tail命令来显示最后几行

在linux命令行下,可以直接使用tail -n 10 access.log很轻易的显示日志文件最后几行,可以直接用PHP来调用tail命令,执行PHP 代码如下.
整个代码执行完成耗时 0.0034 (s)
<div class="codetitle"><a style="CURSOR: pointer" data="29865" class="copybut" id="copybut29865" onclick="doCopy('code29865')"> 代码如下:

<div class="codebody" id="code29865">
file = 'access.log';
$file = escapeshellarg($file); // 对命令行参数进行安全转义
$line = tail -n 1 $file;
echo $line;

3. 直接使用PHP的fseek来进行文件操作

这种方式是最为普遍的方式,它不需要将文件的内容全部读入内容,而是直接通过指针来操作,所以效率是相当高效的.在使用fseek来对文件进行操作时,也有多种不同的方法,效率可能也是略有差别的,下面是常用的两种方法.

方法一

首先通过fseek找到文件的最后一位EOF，然后找最后一行的起始位置，取这一行的数据，再找次一行的起始位置，再取这一行的位置，依次类推，直到找到了$num行。
实现代码如下
整个代码执行完成耗时 0.0095 (s)
<div class="codetitle"><a style="CURSOR: pointer" data="7838" class="copybut" id="copybut7838" onclick="doCopy('code7838')"> 代码如下:

<div class="codebody" id="code7838">
function tail($fp,$n,$base=5)
{
assert($n>0);
$pos = $n+1;
$lines = array();
while(count($lines)< =$n){
try{
fseek($fp,-$pos,SEEK_END);
} catch (Exception $e){
fseek(0);
break;
}
$pos *= $base;
while(!feof($fp)){
array_unshift($lines,fgets($fp));
}
}
return array_slice($lines,$n);
}
var_dump(tail(fopen("access.log","r+"),10));

方法二

还是采用fseek的方式从文件最后开始读,但这时不是一位一位的读,而是一块一块的读,每读一块数据时,就将读取后的数据放在一个buf里,然后通过换行符(\n)的个数来判断是否已经读完最后$num行数据.
实现代码如下
整个代码执行完成耗时 0.0009(s).
<div class="codetitle"><a style="CURSOR: pointer" data="47359" class="copybut" id="copybut47359" onclick="doCopy('code47359')"> 代码如下:<div class="codebody" id="code47359">
$fp = fopen($file,"r");
$line = 10;
$pos = -2;
$t = " ";
$data = "";
while ($line > 0) {
while ($t != "\n") {
fseek($fp,$pos,SEEK_END);
$t = fgetc($fp);
$pos --;
}
$t = " ";
$data .= fgets($fp);
$line --;
}
fclose ($fp);
echo $data

方法三

整个代码执行完成耗时 0.0003(s)
<div class="codetitle"><a style="CURSOR: pointer" data="28797" class="copybut" id="copybut28797" onclick="doCopy('code28797')"> 代码如下:<div class="codebody" id="code28797">
ini_set('memory_limit','-1');
$file = 'access.log';
$data = file($file);
$line = $data[count($data)-1];
echo $line;

大文件读取操作

相关文章

Hessian通讯协议【附PHP源代码】

Hessian开源的远程通讯，采用二进制 RPC的协议，基于 HTTP 传输。可以实现PHP调用Java,Python,C#等多语...

初识Mongodb总结

初识Mongodb的一些总结,在Mac Os X下真实搭建mongodb环境,以及分享个Mongodb管理工具,学习期间一些总结...

初识Mongodb之[CURD]-PHP版

边看边操作,这样才能记得牢,实践是检验真理的唯一标准.光看不练假把式,光练不看傻把式,边看边练真把式....

php学习日志 - echo&print

在php中，结果输出一共有两种方式：echo和print，下面将对两种方式做一个比较。 echo与print的区别：（...

The mbstring extension is missing. Please check your PHP configuration错误及解决方法

在安装好wampServer后，一直没有使用phpMyAdmin,今天用了一下，phpMyAdmin显示错误：The mbstring exte...

php学习日志 - php变量

变量是用于存储数据的容器，与代数相似，可以给变量赋予某个确定的值（例如：$x=3）或者是赋予其它的变...