假设您有一个1分钟时间序列的数据框,包含索引,4列和400万行.当你尝试做类似的事情：
conversion = {'Open': 'first','High': 'max','Low': 'min','Close': 'last'}
df1 = df.resample('5Min',how=conversion)
这需要一段荒谬的时间(20-30分钟).我怎样才能加快这个过程？
Pandas 18,Python 2.7
最佳答案
Resample似乎在大小(4000000,4)的数据集上运行得非常快：
原文链接：https://www.f2er.com/python/438549.htmlidx = pd.date_range('1/1/2010',periods=4000000,freq='T')
df = pd.DataFrame(np.random.rand(4000000,4),columns = ["Open","High","Low","Close"],index = idx)
%timeit df.resample("5Min").agg(conversion)
1 loop,best of 3: 253 ms per loop
有一个不规则的索引和一些nan：
idx1 = pd.date_range('1/1/1900',periods=10000000,freq='Min')
idx2 = pd.date_range('1/1/1940',freq='Min')
idx3 = pd.date_range('1/1/1980',freq='Min')
idx4 = pd.date_range('1/1/2020',freq='Min')
idx = np.array([np.random.choice(idx1,1000000),np.random.choice(idx2,np.random.choice(idx3,np.random.choice(idx4,1000000)]).flatten()
np.random.shuffle(idx)
df = pd.DataFrame(np.random.randint(100,size=(4000000,4)),index = idx)
df.loc[np.random.choice(idx,100000),"Open"] = np.nan
df.loc[np.random.choice(idx,50000),"High"] = np.nan
df.loc[np.random.choice(idx,500000),"Low"] = np.nan
df.loc[np.random.choice(idx,20000),"Close"] = np.nan
%timeit df.resample("5Min").agg(conversion)
1 loop,best of 3: 5.06 s per loop
因此,似乎除了重新采样之外的其他事情需要时间来处理您的情况.