sqlite的插入速度一直被人指责,而其实它是可以优化的。
并且没经过优化的代码和优化过的差距甚大,比如插入30万条数据,没经过优化可能需要1个小时甚至更长,而经过优化可能不超过10秒。
要做好优化,就需要对sqlite的机制有所了解。
下面是一些性能优化的tips,尤其是第一条。
1,开启整体事务
sqlite在执行一条sql语句的时候,会默认开启一个事务,所以要写个for循环插入30万条数据的话,就要执行30万次事务,也就是30万次IO操作,这是很夸张的。
所以在做批量插入操作的时候,务必要开启一个整体事务,也就是像这样:
Begin Transaction Insert operation 1 Insert operation 2 Insert operation 3 Insert operation n ... End Transaction
而不是开启N次事务:
Begin Transaction Insert operation 1 End Transaction Begin Transaction Insert operation 2 End Transaction Begin Transaction Insert operation 3 End Transaction Begin Transaction Insert operation n End Transaction
2,使用sqlite3_prepare_v2编译好sql语句再执行
3,使用PRAGMA synchronous = OFF
关闭同步,这样的话如果设备突然断电的时候,数据会丢失。
4,PRAGMA journal_mode = MEMORY
5,先批量插入完再建索引,如果数据量过大可能得先drop索引
6,尽量少用子查询,少用多表联查
原文链接:https://www.f2er.com/sqlite/200672.html