php插入几百万的数据_ php处理10万级数据

PHP+mysql插入上千万条数据,导致内存不足,寻求释放内存方法

我给你个思路，利用游览器的刷新机制，每执行10秒刷新一下自动更新下一串数据，一串多少数据，看你的SQL效率而定。就这样一直刷新更新，到结束为止。

创新互联成立于2013年，先为郎溪等服务建站，郎溪等地企业，进行企业商务咨询服务。为郎溪企业网站制作PC+手机+微官网三网同步一站式服务解决您的所有建站问题。

优化数据结构，每张数据表字段4-5个，加上索引。还可以将不同的种类的数据存入不同的数据库。减少单个数据库的压力。写入数据只是存的问题，问题在于读取数据会变慢。建议使用缓存memcache，redis在向你招收哦。

检查一下 MySQL 设置，有助于确定内存使用情况，从而为 MySQL 分配合适的值。一个近似的公式：当网站受到攻击时，有可能在短时间内建立异常高的连接数量。MySQL 中的 PROCESSLIST 可用于检测顶级用户并阻止对滥用连接的访问。

我知道你为什么会停下来，因为mysql插入大量数据（1000W）的情况下，执行时间需要的很长，而你八成设定执行时间不限制，如果时间默认超过30秒，那么程序就会自动停下来。

1、我知道你为什么会停下来，因为mysql插入大量数据（1000W）的情况下，执行时间需要的很长，而你八成设定执行时间不限制，如果时间默认超过30秒，那么程序就会自动停下来。

2、请你估计一下，现在执行100多个txt文件就停止了，到停止为止执行多长时间？一般PHP文件执行有时间限制，超过时间就停止了，可以用下面的语句增加：set_time_limit(300)；例子设定显示300秒，你可以设置为0表示无限长。

3、如果是用mysql数据库的话，一条语句可以插入几千条语句。类似以下语句：insert into table_name (field1，field2) values (1，2)，(2，3)，(3，5)，(5，6)请查看mysql手册。其他数据库请查阅相应手册。

4、2在新建临时表时，如果一次性插入数据量很大，那么可以使用 select into 代替 create table，避免造成大量 log ，以提高速度；如果数据量不大，为了缓和系统表的资源，应先create table，然后insert。

打开config.inc.php文件，查找$cfg[UploadDir]，这个参数就是设定导入文件存放的目录，这里把值设定为：ImportSQLFile。

拼接sql语句，每条sql执行20个插入语句。

13M并不是太大，先全部存入数组（内存），然后使用SQL一次性导入（最好使用事务处理，数据库底层会自动优化）；必要时可在导入前检查数据完备性，反正要点是尽量减少磁盘操作（太耗时）。

现在一些web程序的备份功能其实真的是摆设，读取数据，拼装写文件，要是数据多点的话就死悄悄了，这个工作还是要用专门的dump工具做。

分享标题：php插入几百万的数据_ php处理10万级数据
路径分享：http://ybzwz.com/article/dcijhdg.html