我正在使用之前从另一个数据库中选择的~11.000.000行填充Postgresql表.我正在使用Python和psycopg2.整个过程大约需要1.5小时才能完成.但是,大约30分钟后我得到“连接意外关闭”异常.源代码如下所示：
incursor = indb.cursor()
incursor.execute("SELECT ...")
indb.commit() # (1) close transaction
outcursor = outdb.cursor()
rows = 0
for (col1,col2,col3) in incursor: # incursor contains ~11.000.000 rows
outcursor.execute("INSERT ...",(col1,col3)) # This fails after ~30 minutes
row += 1
if row % 100 == 0: # (2) Write data every 100 rows
outcursor.close()
outdb.commit()
outcursor = outdb.cursor()
incursor.close()
outcursor.close()
outdb.commit()
我在第一次尝试失败后插入(1)和(2),假设打开的事务具有~30分钟的上限时间或者游标具有挂起插入的上限.似乎这些假设都不是真的,错误就在其他地方.
两个数据库都存储在VirtualBox机器上,我通过端口转发从主机连接.我在主机上运行程序.
这两个数据库仅用于测试目的,并且没有其他管理连接.也许我必须重写问题来解决这个问题,但我需要在其他地方非常耗时的插入(运行大约几天)所以我非常担心psycopg2或Postgresql中的一些隐藏时间限制.
也许这是一个网络问题？长时间运行的语句将是长时间保持空闲的TCP连接.也许您的端口转发会清除闲置超过30分钟的连接？也许你的TCP连接没有使用keepalive. Postgresql有一些调整TCP keepalive(tcp_keepalives_interval等)的设置,你可能还需要做一些内核/网络配置以确保它们实际启用.
例如我刚尝试连接到我自己的机器,tcp_keepalives_interval默认为7200,即2小时.如果您的端口转发在30分钟后中断,则此默认设置不起作用.您可以覆盖客户端连接字符串中使用的设置(假设您可以直接旋转conninfo字符串),或者在user / database属性或postgresql.conf中设置GUC变量.
看到：
> http://www.postgresql.org/docs/9.0/static/runtime-config-connection.html – 服务器设置
> http://www.postgresql.org/docs/9.0/static/libpq-connect.html – 客户端连接字符串设置