我有一张表格

CREATE TABLE data
{
   pk INT PRIMARY KEY AUTO_INCREMENT,dt BLOB
};

它在blob列中有大约160,000行和大约2GB的数据(平均每个blob 14kb).另一个表在此表中有外键.

像3000个blob这样的东西是相同的.所以我想要的是一个查询,它将给我一个重新映射表,允许我删除重复项.

天真的方法在30-40k行上花了大约一个小时：

SELECT a.pk,MIN(b.pk) 
    FROM data AS a 
    JOIN data AS b
  ON a.dt=b.dt
  WHERE b.pk < a.pk
  GROUP BY a.pk;

出于其他原因,我碰巧有一个具有blob大小的表：

CREATE TABLE sizes
(
   fk INT,// note: non-unique
   sz INT
   // other cols
);

通过为sz构建fk和另一个的索引,直接查询需要大约24秒,每行50k行：

SELECT da.pk,MIN(db.pk) 
  FROM data AS da
  JOIN data AS db
  JOIN sizes AS sa
  JOIN sizes AS sb
  ON
        sa.size=sb.size
    AND da.pk=sa.fk
    AND db.pk=sb.fk
  WHERE
        sb.fk