我有以下代码(或多或少)导入从500.000到4.000.000行的任何地方:
$ssql = "Insert into table (a,b,c) VALUES(?,?,?)" $osqlStmnt = $pdo->prepare($ssql); $osqlStmnt->setAttribute(PDO::sqlSRV_ATTR_ENCODING,PDO::sqlSRV_ENCODING_SYSTEM); if (!$osqlStmnt) { echo $pdo->errorInfo(); // Handle errors } $pdo->beginTransaction(); $iLineCounter = 1; while (($sLine = fgets ($oCSV,8000)) !== FALSE) { $aLine = explode('|',$sLine); //Fgetscsv did not work properly if ($iLineCounter % 100 == 0) { lo("Inserting row " . $iLineCounter); $pdo->commit(); sleep(0.15); $pdo->beginTransaction(); } try { $osqlStmnt->execute($aLine); $iSuccesulInserts++; } catch (exception $e) { print_r($e); $iFailedInserts++; } $iLineCounter++; } $pdo->commit();
正如您所看到的,我每100行执行一次提交,甚至还添加了一些睡眠.我曾经每25.000行只运行一次提交,我没有使用任何睡眠.但是,有一次,我发现我丢失了记录.我开始玩这些设置(睡眠和行数).这样我将丢失记录的数量从50.000减少到大约100.但我仍然缺少记录!他们要去哪?我知道sql没问题,因为我遇到错误时会立即收到错误.
我以为我可以在交易过程中堆叠很多插入?调用beginTransaction会有问题吗?
更新:
恩惠结束了,我不得不奖励它.谢谢大家的答案.或者实际上是提示,因为没有人真正回答过我的问题.我并不是要求解决方法,尽管您的建议非常受欢迎.得到赏金的答案是因为它最接近实际回答我的问题.不幸的是它没有用.
您是否考虑过使用Sprocs而不是insert语句?按顺序编写任意数量的记录 – 一次一个 – 浪费时间/精力……它没有它应该的那么快.
原文链接:/php/130384.html您确定不能使用BULK INSERT或XML来一次插入多行吗?