想象一下Postgresql 9.0上具有以下结构的表：

create table raw_fact_table (text varchar(1000));

为了简化起见,我只提到一个文本列,实际上它有十几个.该表有100亿行,每列有很多重复.该表是使用COPY FROM从平面文件(csv)创建的.

为了提高性能,我想转换为以下星型模式结构：

create table dimension_table (id int,text varchar(1000));

然后将事实表替换为如下事实表：

create table fact_table (dimension_table_id int);

我当前的方法是基本上运行以下查询来创建维度表：

Create table dimension_table (id int,text varchar(1000),primary key(id));

然后创建填充我使用的维度表：

insert into dimension_table (select null,text from raw_fact_table group by text);

之后我需要运行以下查询：

select id into fact_table from dimension inner join raw_fact_table on (dimension.text = raw_fact_table.text);

想象一下,通过多次将所有字符串与所有其他字符串进行比较,我获得了可怕的性能.

在MysqL上,我可以在COPY FROM期间运行存储过程.这可以创建字符串的哈希值,并且所有后续字符串比较都是在哈希而不是长原始字符串上完成的.这似乎不可能在Postgresql上,我该怎么办？

样本数据将是包含类似内容的CSV文件(我也使用整数和双精度的引号)：

"lots and lots of text";"3";"1";"2.4";"lots of text";"blabla"
"sometext";"30";"10";"1.0";"lots of text";"blabla"
"somemoretext";"30";"10";"1.0";"lots of text";"fooooooo"