我想通过给定的字段进行分组,并获得具有分组字段的输出.下面是我要实现的一个例子：
想象一下一个名为“sample_table”的表,其中包含两列如下：
F1 F2 001 111 001 222 001 123 002 222 002 333 003 555
我想写Hive Query将给出以下输出：
001 [111,222,123] 002 [222,333] 003 [555]
在猪中,这样可以很容易地实现：
grouped_relation = GROUP sample_table BY F1;
有人可以建议,如果在Hive中有一个简单的方法呢？我可以想到的是写一个用户定义函数(UDF),但这可能是一个非常耗时的选项.
解决方法
内置的集合函数collect_set(
doumented here)可以让你几乎成为你想要的东西.它实际上可以用于您的示例输入：
SELECT F1,collect_set(F2) FROM sample_table GROUP BY F1
不幸的是,它也删除了重复的元素,我想象这不是你想要的行为.我发现collect_set存在很奇怪,但没有版本保持重复. Someone else apparently thought the same thing.它看起来像顶部和第二个答案将给你你需要的UDAF.
