几个月前我问了一个类似的问题.位于：MySQL Query based on string
我遇到的问题是,这只能在一个特定的顺序中工作,在某些情况下它工作得很好.
以下是此查询过滤掉的数据片段(重复是预期的,实际数据)：
- BELLMORE
- ATLANTIC BCH
- ATLANTIC BEACH
- E HILLS
- EAST HILLS
- EAST ROCKAWAY
- FAR ROCKAWAY
- FLORAL PARK
- FLORAL PARK
- HIGHLAND HEIGHTS
- N HIGHLAND HGTS
- NORTH HIGHLAND HEIGHTS
在我的上一个问题(MySQL Query based on string)中帮助的一个查询在一个实例中运行良好,而在另一个实例中运行失败.这是查询：
select names from tablename group by substring_index(names," ",1)
哪个回报：
- BELLMORE
- ATLANTIC BEACH
- EAST HILLS
- FAR ROCKAWAY
- FLORAL PARK
- HIGHLAND HEIGHTS
- N HIGHLAND HGTS
- NORTH HIGHLAND HEIGHTS
这个问题就是你可以看到它删除了一个它不应该拥有的城市,因为它只使用了第一个单词来对它进行分组.它删除的是：
- EAST ROCKAWAY
这是GROUP’ed BY EAST.
当我继续写这篇文章时,我觉得这几乎是不可能的,因为静态城市名称与可变部分的位置总是在变化.除非你可以比较一定数量的字符.到目前为止还没有完美无瑕.如果有人认为他们可能有一些见解或已经合作并完成了这样的事情,我会很感激反馈和指导.最终结果将是：
- BELLMORE
- ATLANTIC BEACH
- EAST HILLS
- EAST ROCKAWAY
- FAR ROCKAWAY
- FLORAL PARK
- HIGHLAND HEIGHTS
最佳答案
我的建议是一个昂贵的查询,但希望你可以使用这种类型的操作偶尔“清理”你的数据,这样每次查询这些数据时都不需要它.
您可以考虑查看Levenshtein distance公式…这是一个字符串度量,用于测量两个序列之间的差异量.
为了避免需要计算桌子的笛卡尔积的距离,你可以先缩小一组城市和地址,以便与更快的完整性检查进行比较……例如,它们以相同的字母开头,并且有一个相似的长度.
最初,您可以通过仅返回具有非常小的Levenshtein距离的记录开始…然后您可以选择返回的匹配的一个变体以应用于其他记录以便规范化您的数据.
然后你可以逐渐增加距离,直到你开始得到太多误报.
Here’s an implementation directly in MySql：
CREATE FUNCTION levenshtein( s1 VARCHAR(255),s2 VARCHAR(255) )
RETURNS INT
DETERMINISTIC
BEGIN
DECLARE s1_len,s2_len,i,j,c,c_temp,cost INT;
DECLARE s1_char CHAR;
-- max strlen=255
DECLARE cv0,cv1 VARBINARY(256);
SET s1_len = CHAR_LENGTH(s1),s2_len = CHAR_LENGTH(s2),cv1 = 0x00,j = 1,i = 1,c = 0;
IF s1 = s2 THEN
RETURN 0;
ELSEIF s1_len = 0 THEN
RETURN s2_len;
ELSEIF s2_len = 0 THEN
RETURN s1_len;
ELSE
WHILE j <= s2_len DO
SET cv1 = CONCAT(cv1,UNHEX(HEX(j))),j = j + 1;
END WHILE;
WHILE i <= s1_len DO
SET s1_char = SUBSTRING(s1,1),c = i,cv0 = UNHEX(HEX(i)),j = 1;
WHILE j <= s2_len DO
SET c = c + 1;
IF s1_char = SUBSTRING(s2,1) THEN
SET cost = 0; ELSE SET cost = 1;
END IF;
SET c_temp = CONV(HEX(SUBSTRING(cv1,1)),16,10) + cost;
IF c > c_temp THEN SET c = c_temp; END IF;
SET c_temp = CONV(HEX(SUBSTRING(cv1,j+1,10) + 1;
IF c > c_temp THEN
SET c = c_temp;
END IF;
SET cv0 = CONCAT(cv0,UNHEX(HEX(c))),j = j + 1;
END WHILE;
SET cv1 = cv0,i = i + 1;
END WHILE;
END IF;
RETURN c;
END;