PostgreSQL 在视频、图片去重，图像搜索业务中的应用

$ git clone https://github.com/postgrespro/imgsmlr
$ cd imgsmlr
$ export PGHOME=/home/digoal/pgsql9.5
$ export PATH=$PGHOME/bin:$PATH:.

$ make USE_PGXS=1
$ make USE_PGXS=1 install

安装插件

$ psql
psql (9.5.3)
Type "help" for help.
postgres=# create extension imgsmlr;
CREATE EXTENSION

imgsmlr新增了两个数据类型

signature

Datatype	Storage length	Description
pattern	16388 bytes	Result of Haar wavelet transform on the image
64 bytes	Short representation of pattern for fast search using GiST indexes

gist 索引方法(支持pattern和signature类型),以及KNN操作符，可以用于搜索相似度

Operatorsignature

Left type	Right type	Return type	<->	pattern	float8	Eucledian distance between two patterns
Eucledian distance between two signatures

新增了几个函数

将图像的二进制转换为pattern类型，将pattern中存储的数据转换为signature类型

Functionpng2pattern(bytea)gif2pattern(bytea)pattern2signature(pattern)shuffle_pattern(pattern)

jpeg2pattern(bytea)	Convert jpeg image into pattern
Convert png image into pattern
Convert gif image into pattern
Create signature from pattern
Shuffle pattern for less sensitivity to image shift

Postgresql 图像搜索 插件测试

导入一些图片，例如（越多越好）

建立图片表

create table image (id serial,data bytea);

导入图片到数据库

insert into image(data) select pg_read_binary_file('文件路径');

将图片转换成 patten 和 signature

CREATE TABLE pat AS (
    SELECT
        id,shuffle_pattern(pattern) AS pattern,pattern2signature(pattern) AS signature 
    FROM (
        SELECT 
            id,jpeg2pattern(data) AS pattern 
        FROM 
            image
    ) x 
);

创建索引

ALTER TABLE pat ADD PRIMARY KEY (id);

CREATE INDEX pat_signature_idx ON pat USING gist (signature);

近似度查询，例如查询与id = :id的图像相似的图像，按相似度排行，取出前10条

SELECT
    id,smlr
FROM
(
    SELECT
        id,pattern <-> (SELECT pattern FROM pat WHERE id = :id) AS smlr
    FROM pat
    WHERE id <> :id
    ORDER BY
        signature <-> (SELECT signature FROM pat WHERE id = :id)
    LIMIT 100
) x
ORDER BY x.smlr ASC 
LIMIT 10

这里可以用到KNN索引，快速按相似度排行输出结果。

例子

视频去重业务

视频去重，可以抽取视频中的关键帧，自关联产生笛卡尔积，计算不同视频的任意两张图片的相似度，相似度达到一定阈值，可以认为是相同视频。

例子

创建图片表，并将所有视频的关键帧导入表中
create table image (id serial8 primary key,movie_id int,data bytea);

导入图片，假设为jpeg格式
... 略 ...

生成patten 和 signature
CREATE TABLE pat AS (
    SELECT
        id,movie_id,jpeg2pattern(data) AS pattern 
        FROM 
            image
    ) x 
);

计算不同视频的相似度
select t1.movie_id,t1.id,t1.signature<->t2.signature from 
pat t1 join pat t2 on (t1.movie_id<>t2.movie_id) 
order by t1.signature<->t2.signature desc 

or 

select t1.movie_id,t1.signature<->t2.signature from 
pat t1 join pat t2 on (t1.movie_id<>t2.movie_id) 
where t1.signature<->t2.signature > 0.9 
order by t1.signature<->t2.signature desc

小结

1. Postgresql是一个非常强大的数据库，功能高度可定制。而且不需要动到Postgresql的内核。安全可靠。

2. 使用图像搜索的技术就是Postgresql 功能扩展的例子，速度杠杠的，还记得我以前给出的关于地理位置近邻查询的性能指标吗。

《PostgreSQL 百亿地理位置数据近邻查询毫秒级反馈》

3. 如果你对Postgresql扩展开发感兴趣，可以参考我写的文章

sql内核扩展指南》

原文链接：https://www.f2er.com/postgresql/194222.html

PostgreSQL 在视频、图片去重，图像搜索业务中的应用

Postgresql 在视频、图片去重，图像搜索业务中的应用

作者

日期

标签

背景

Postgresql 图像搜索插件背景技术

Postgresql 图像搜索插件介绍

Postgresql 图像搜索插件测试

视频去重业务

小结

猜你在找的Postgre SQL相关文章