博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
php导致内存溢出
阅读量:7243 次
发布时间:2019-06-29

本文共 2371 字,大约阅读时间需要 7 分钟。

在执行一个导出csv脚步时,当要导出的数据超过3w多条时,就会报错,如下:

Allowed memory size of 134217728 bytes exhausted (tried to allocate 20480 bytes)

php存储3w多条数据这个数组占用内存超过20M

解决方法:分批取数据,分批处理数据

问题点:一次取多少数据最合适
一次取1w条,减少数据库IO操作次数,但php数组就好较大
一次取1k条,增加了数据库IO操作次数,php数组很小

php导致内存溢出

数据一共41000条

因为是循环查询数据,只能返回空,所以会有一次无效的IO查询

每次请求次数 响应时间 数组库IO次数
5000 11.34 10
1000 8.02 6
2000 7.07 4
3000 5.12 3
4000 4.93 3

综合考虑,觉得使用每次请求1w条数据

代码简单记录下

$filename = '测试';$head  = array('申请时间', '省', '市', '超市品牌');$field = array('created_time', 'pro_name', 'city_name', 'brand_name');$csv   = ExportCsvService::getInstance(implode(",", $head), $field, $filename);$param['limit'] = C('SQL_LIMIT');$i              = 0;while (true) {        $param['current'] = $i + 1;        $info             = $rainbowservice->get_list($param)['data']['list'];        if (empty($info)) {                $csv->end();                break;        } else {                $csv->sendDate($info);        }        unset($info);        $i++;}

csv操作类

class ExportCsvService{    private $content;    private $filename;    private $field;    private static $instance;    private function __construct($head,$field,$filename)    {        $this->field = $field;        $this->filename = $filename;        $this->content  = iconv('UTF-8', 'GBK',$head) . PHP_EOL;    }    /**     * 实例化服务类     * @param $head     * @param $field     * @param $filename     * @return ExportCsvService     */    public static function getInstance($head,$field,$filename) {        if (!self::$instance instanceof self) {            self::$instance = new self($head,$field,$filename);        }        return self::$instance;    }    /**     * 拼接要导出的数据     * @param $data     */    public function sendDate($data) {        foreach ($data as $key => $value) {            $temp = [];            foreach ($this->field as $k) {                $temp[] = iconv('UTF-8', 'GBK', $value[$k]);            }            $this->content .= implode(",", $temp) . PHP_EOL; //用英文逗号分开            unset($temp);        }    }    /**     * 输出数据     */    public function end() {        header("Content-type:text/csv;charset=GBK");        header("Content-Disposition:attachment;filename=" . $this->filename);        header('Cache-Control:must-revalidate,post-check=0,pre-check=0');        header('Expires:0');        header('Pragma:public');        echo $this->content;    }}

转载于:https://blog.51cto.com/13990437/2332658

你可能感兴趣的文章
【入门详解】MyBatis入门基础详解
查看>>
【转】keyCode对照表及JS监听组合按键
查看>>
网络设备Web登录检测工具device-phamer
查看>>
树莓派安装mono
查看>>
PHPCMS V9静态化HTML生成设置及URL规则优化
查看>>
linux磁盘管理系列二:软RAID的实现
查看>>
MySQL server has gone away 问题的解决方法
查看>>
js文字跳动效果
查看>>
所谓情商高,就是会说话
查看>>
02Spark的左连接
查看>>
cratedb 集群 docker-compose 安装试用
查看>>
21天打造分布式爬虫-简书整站爬取(十)
查看>>
es6 - 回调深渊
查看>>
streamsets k8s 部署试用
查看>>
在Windows Mobile和Wince(Windows Embedded CE)下使用.NET Compact Framework进行GPS NMEA data数据分析的开发...
查看>>
网络基础知识:(一)网络分层和网络设备
查看>>
android布局 - fill_parent/match_paren/wrap_content的区别
查看>>
论go语言中goroutine的使用
查看>>
解决td标签上的position:relative属性在各浏览器中的兼容性问题
查看>>
H5图片上传插件
查看>>