问题描述
我建议对熊猫指数本身使用重复的方法：
df3 = df3.loc[~df3.index.duplicated(keep='first')]
尽管所有其他方法都起作用，但是对于所提供的示例，当前接受的答案到目前为止性能最低。此外，尽管groupby方法的性能稍差一些，但我发现重复的方法更具可读性。
使用提供的样本数据：
>>> %timeit df3.reset_index().drop_duplicates(subset='index', keep='first').set_index('index')
1000 loops, best of 3: 1.54 ms per loop
>>> %timeit df3.groupby(df3.index).first()
1000 loops, best of 3: 580 µs per loop
>>> %timeit df3[~df3.index.duplicated(keep='first')]
1000 loops, best of 3: 307 µs per loop
请注意，您可以通过更改keep参数保留最后一个元素。
还应该注意，该方法也可以MultiIndex使用（使用Paul的示例中指定的df1 ）：
>>> %timeit df1.groupby(level=df1.index.names).last()
1000 loops, best of 3: 771 µs per loop
>>> %timeit df1[~df1.index.duplicated(keep='last')]
1000 loops, best of 3: 365 µs per loop
解决方法
我正在从网络上读取一些自动气象数据。观测每5分钟发生一次，并被汇总到每个气象站的月度文件中。解析完文件后，DataFrame如下所示：
Sta Precip1hr Precip5min Temp DewPnt WindSpd WindDir AtmPress
Date
2019-01-01 00:00:00 KPDX 0 0 4 3 0 0 30.31
2019-01-01 00:05:00 KPDX 0 0 4 3 0 0 30.30
2019-01-01 00:10:00 KPDX 0 0 4 3 4 80 30.30
2019-01-01 00:15:00 KPDX 0 0 3 2 5 90 30.30
2019-01-01 00:20:00 KPDX 0 0 3 2 10 110 30.28
我遇到的问题是，有时科学家会回头并更正观察结果-不是通过编辑错误的行，而是通过将重复的行附加到文件末尾来进行的。下面是这种情况的简单示例：
import pandas
import datetime
startdate = datetime.datetime(2019,1,0)
enddate = datetime.datetime(2019,5,0)
index = pandas.DatetimeIndex(start=startdate,end=enddate,freq='H')
data1 = {'A' : range(6),'B' : range(6)}
data2 = {'A' : [20,-30,40],'B' : [-50,60,-70]}
df1 = pandas.DataFrame(data=data1,index=index)
df2 = pandas.DataFrame(data=data2,index=index[:3])
df3 = df2.append(df1)
df3
A B
2019-01-01 00:00:00 20 -50
2019-01-01 01:00:00 -30 60
2019-01-01 02:00:00 40 -70
2019-01-01 03:00:00 3 3
2019-01-01 04:00:00 4 4
2019-01-01 05:00:00 5 5
2019-01-01 00:00:00 0 0
2019-01-01 01:00:00 1 1
2019-01-01 02:00:00 2 2
因此，我需要df3断然成为：
A B
2019-01-01 00:00:00 0 0
2019-01-01 01:00:00 1 1
2019-01-01 02:00:00 2 2
2019-01-01 03:00:00 3 3
2019-01-01 04:00:00 4 4
2019-01-01 05:00:00 5 5
我认为添加一列行号（df3['rownum'] = range(df3.shape[0])）可以帮助我为的任何值选择最底端的行DatetimeIndex，但是我一直想弄清楚group_byor pivot（或???）语句才能使该行生效。