以前追蹤過這個問題,但是那個時候工具用的不太好,沒看的這么細,這次搞的比較細,修正了偶以前的看法
.于是寫小文一篇總結一下.
PHP偶爾會爆一下如下 錯誤Allowed memory size of xxx bytes exhausted at xxx:xxx (tried to
allocate xxx bytes)
不想看原理的,直接跳到最后看總結.
這個報錯信息的意思是是說,若ini配置的memory_limit(內存限制) 大于 AG(allocated_memory),就報錯
AG(allocated_memory) += rs;
if (AG(memory_limit)<AG(allocated_memory)) {
int php_mem_limit = AG(memory_limit);
AG(allocated_memory) -= rs;
if (EG(in_execution) && AG(memory_limit)+1048576 > AG(allocated_memory)){
AG(memory_limit) = AG(allocated_memory) + 1048576;
if (file) {
zend_error(E_ERROR,"Allowed memory size of %d bytes exhausted
at %s:%d (tried to allocate %d bytes)", php_mem_limit, file, lineno, s);
} else {
zend_error(E_ERROR,"Allowed memory size of %d bytes exhausted
(tried to allocate %d bytes)", php_mem_limit, s);
}
} else {
if (file) {
fprintf(stderr, "Allowed memory size of %d bytes exhausted
at %s:%d (tried to allocate %d bytes)n", php_mem_limit, file, lineno, s);
} else {
fprintf(stderr, "Allowed memory size of %d bytes exhausted
(tried to allocate %d bytes)n", php_mem_limit, s);
}
exit(1);
}
}
memory_limit很簡單,就是PHP可用的內存..AG(allocated_memory)是什么呢?是不是已經使用的內存,恩,
我們用代碼驗證一下
PHP_FUNCTION(memory_get_usage) {
RETURN_LONG(AG(allocated_memory));
}
這下就清晰明了,還不懂的,查php手冊,看memory_get_usage的說明
到底什么時候設置AG(allocated_memory)呢,具體代碼就不貼了,太繁瑣,是在emalloc函數中調用了第一段
代碼,看第一行代碼,那里的rs就是每次tried to allocate %d bytes對應的s變量(你要申請的實際空間)
的align對齊,具體計算方法:rs = (s+7) & ~0x7,也就是必須是8的倍數,不足則補足,這樣做的好處是符合
64位機器的要求,可以加速運算,例如 s =1,那么運算出來的rs =8 ,具體的,可以自己用PHP寫個函數計算
(0×7是16進制寫法).
總結:既然知道了怎么回事,就好解決了,在開啟 –enable-memory-limit情況下,會出這個錯誤,把配置文
件直接設置memory_limit,或者在代碼中設置ini_set(‘memory_limit’, ‘value’)都可以,省事的辦法
就是設置配置文件(如php.ini)
而且建議開啟–enable-memory-limit,若這個不開啟,PHP的內存限制就處于”裸跑”狀態,可能會出現著
名的out of memory錯誤.
使用腳本語言最大的好處之一就是可利用其擁有的自動垃圾回收機制(釋放內存)。你不需要在使用完變
量后做任何釋放內存的處理,PHP會幫你完成。
當然,我們可以按自己的意愿調用 unset() 函數來釋放內存,但通常不需要這么做。
不過在PHP里,至少有一種情況內存不會得到自動釋放,即便是手動調用 unset()。
問題癥狀
如果兩個對象之間存在著相互引用的關系,如“父對象-子對象”,對父對象調用 unset() 不會釋放在子
對象中引用父對象的內存(即便父對象被垃圾回收,也不行)。
有些糊涂了?我們來看下面的這段代碼:
<?php
class Foo {
function __construct()
{
$this->bar = new Bar($this);
}
}
class Bar {
function __construct($foo = null)
{
$this->foo = $foo;
}
}
while (true) {
$foo = new Foo();
unset($foo);
echo number_format(memory_get_usage()) . "\n";
}
?>
運行這段代碼,你會看到內存使用率越來越高越來越高,直到用光光。
...
33,551,616
33,551,976
33,552,336
33,552,696
PHP Fatal error: Allowed memory size of 33554432 bytes exhausted
(tried to allocate 16 bytes) in memleak.php on line 17
對大部分PHP程序員來講這種情況不算是什么問題。
可如果你在一個長期運行的代碼中使用到了一大堆相互引用的對象,尤其是在對象相對較大的情況下,內
存會迅速地消耗殆盡。
Userland解決方案
雖然有些乏味、不優雅,但之前提到的 bugs.php.net 鏈接中提供了一個解決方案。
這個方案在釋放對象前使用一個 destructor 方法以達到目的。Destructor 方法可將所有內部的父對象
引用全部清除,也就是說可以將這部分本來會溢出的內存釋放掉。
以下是“修復后”的代碼:
<?php
class Foo {
function __construct()
{
$this->bar = new Bar($this);
}
function __destruct()
{
unset($this->bar);
}
}
class Bar {
function __construct($foo = null)
{
$this->foo = $foo;
}
}
while (true) {
$foo = new Foo();
$foo->__destruct();
unset($foo);
echo number_format(memory_get_usage()) . "\n";
}
?>
注意那個新增的 Foo::__destruct()方法,以及在釋放對象前對 $foo->__destruct() 的調用。現在這
段代碼解決了內存使用率一直增加的問題,這么一來,代碼就可以很好的工作了。
PHP內核解決方案?
為什么會有內存溢出的發生?我對PHP內核方面的研究并不精通,但可以確定的是此問題與引用計數有關
系。
在 $bar 中引用 $foo 的引用計數不會因為父對象 $foo 被釋放而遞減,這時PHP認為你仍需要 $foo 對
象,也就不會釋放這部分的內存……大概是這樣。
這里確實可以看出我的無知,但大體意思是:一個引用計數沒有遞減,所以一些內存永遠得不到釋放。
在前面提到的 bugs.php.net 鏈接中我看到修改垃圾回收的過程將會犧牲極大的性能,因為我對引用計數
了解不多,所以我認為這是真的。
與其改變垃圾回收的過程,為什么不用 unset() 對內部對象做釋放的工作呢?(或者在釋放對象的時候
調用 __destruct()?)
也許PHP內核開發者可以在此或其他地方,對這種垃圾回收處理機制做出修改。
更新:Martin Fjordvald 在評論中提到了一個由 David Wang 為垃圾回收所寫的補丁(其實它看起來更
像“一整塊布”——非常巨大。詳情參見此郵件結尾的CVS導出信息。)確實存在(一封郵件),并受到
了PHP內核開發成員的關注。問題是這個補丁要不要放到PHP5.3中并未得到太多支持。我覺得一個不錯的
折中方案就是在 unset() 函數中調用對象中的 __destruct() 方法;
========================內存溢出解決方案
在做數據統計分析時,經常會遇到大數組,可能會發生內存溢出,這里分享一下我的解決方案。還是用例子來說明這個問題,如下:
假定日志中存放的記錄數為500000條,那么解決方案如下:
ini_set(‘memory_limit’,’64M’); //重置php可以使用的內存大小為64M,一般在遠程主機上是不能修改php.ini文件的,只能通過程序設置。注:在safe_mode(安全模式)下,ini_set失效
set_time_limit(600);//設置超時限制為6分鐘
$farr = $Uarr = $Marr = $IParr = $data = $_sub = array();
$spt = ”$@#!$”;
$root = ”/Data/webapps/VisitLog”;
$path = $dpath = $fpath = NULL;
$path = $root.”/”.date(“Y-m”,$timestamp);
$dpath = $path.”/”.date(“m-d”,$timestamp);
for($j=0;$j<24;$j++){
$v = ($j < 10) ? ”0″.$j : $j;
$gpath = $dpath.”/”.$v.”.php”;
if(!file_exists($gpath)){
continue;
} else {
$arr = file($gpath);////將文件讀入數組中
array_shift($arr);//移出第一個單元-》<?php exit;?>
$farr = array_merge($farr,$arr);
unset($arr);
}
}
if(empty($this->farr)){
echo ”<p><center>沒有相關記錄!</center></p>”;
exit;
}
while(!empty($farr)){
$_sub = array_splice($farr, 0, 10000); //每次取出$farr中1000個
for($i=0,$scount=count($_sub);$i<$scount;$i++){
$arr = explode($spt,$_sub[$i]);
$Uarr[] = $arr[1]; //vurl
$Marr[] = $arr[2]; //vmark
$IParr[] = $arr[3].” |$nbsp;”.$arr[1]; //IP
}
unset($_sub);//用完及時銷毀
}
unset($farr);
這里,不難看出,一方面,我們要增加PHP可用內存大小,另一方面,只要我們想辦法對數組進行分批處理,分而治之,將用過的變量及時銷毀(unset),一般是不會出現溢出問題的。
另外,為了節省PHP程序內存損耗,我們應當盡可能減少靜態變量的使用,在需要數據重用時,可以考慮使用引用(&)。再一點就是:數據庫操作完成后,要馬上關閉連接;一個對象使用完,要及時調用析構函數(__destruct())。
============================unset銷毀變量并釋放內存問題
PHP的unset()函數用來清除、銷毀變量,不用的變量,我們可以用unset()將它銷毀。但是某些時候,用unset()卻無法達到銷毀變 量占用的內存!我們先看一個例子:
<?php
$s=str_repeat('1',255); //產生由255個1組成的字符串
$m=memory_get_usage(); //獲取當前占用內存
unset($s);
$mm=memory_get_usage(); //unset()后再查看當前占用內存
echo $m-$mm;
?>
最后輸出unset()之前占用內存減去unset()之后占用內存,如果是正數,那么說明unset($s)已經將$s從內存中銷毀(或者說,unset()之后內存占用減少了),可是我在PHP5和windows平臺下,得到的結果是:0。這是否可以說明,unset($s)并沒有起 到銷毀變量$s所占用內存的作用呢?我們再作下面的例子:
<?php
$s=str_repeat('1',256); //產生由256個1組成的字符串
$m=memory_get_usage(); //獲取當前占用內存
unset($s);
$mm=memory_get_usage(); //unset()后再查看當前占用內存
echo $m-$mm;
?>
這個例子,和上面的例子幾乎相同,唯一的不同是,$s由256個1組成,即比第一個例子多了一個1,得到結果是:272。這是否可以說 明,unset($s)已經將$s所占用的內存銷毀了?
通過上面兩個例子,我們可以得出以下結論:
結論一、unset()函數只能在變量值占用內存空間超過256字節時才會釋放內存空間。
那么是不是只要變量值超過256,使用unset就可以釋放內存空間呢?我們再通過一個例子來測試一下:
<?php
$s=str_repeat('1',256); //這和第二個例子完全相同
$p=&$s;
$m=memory_get_usage();
unset($s); //銷毀$s
$mm=memory_get_usage();
echo $p.'<br />';
echo $m-$mm;
?>
刷新頁面,我們看到第一行有256個1,第二行是0,按理說我們已經銷毀了$s,而$p只是引用$s的變量,應該是沒有內容了,另 外,unset($s)前后內存占用沒變化!現在我們再做以下的例子:
<?php
$s=str_repeat('1',256); //這和第二個例子完全相同
$p=&$s;
$m=memory_get_usage();
$s=null; //設置$s為null
$mm=memory_get_usage();
echo $p.'<br />';
echo $m-$mm;
?>
現在刷新頁面,我們看到,輸出$p已經是沒有內容了,unset()前后內存占用量之差是272,即已經清除了變量占用的內存。本例中的$s=null也 可以換成unset(),如下:
<?php
$s=str_repeat('1',256); //這和第二個例子完全相同
$p=&$s;
$m=memory_get_usage();
unset($s); //銷毀$s
unset($p);
$mm=memory_get_usage();
echo $p.'<br />';
echo $m-$mm;
?>
我們將$s和$p都使用unset()銷毀,這時再看內存占用量之差也是272,說明這樣也可以釋放內存。那么,我們可以得到另外一條結論:
結論二、只有當指向該變量的所有變量(如引用變量)都被銷毀后,才會釋放內存。