@H_301_1@ MongDB的MapReduce相当于MysqL中的“group by”,所以在MongoDB上使用Map/Reduce进行并行“统计”很容易。
@H_301_1@ 使用MapReduce要实现两个函数Map函数和Reduce函数,Map函数调用emit(key,value),遍历collection中的所有记录,将key和value传递给Reduce函数进行处理。Map函数和Reduce函数可以使用JS来实现,可以通过db.runCommand或mapReduce命令来执行一个MapReduce操作。
@H_301_1@ 示例shell
@H_301_1@ 参数说明:
mapreduce: 要操作的目标集合。
map: 映射函数 (生成键值对序列,作为 reduce 函数参数)。
reduce: 统计函数。
query: 目标记录过滤。
sort: 目标记录排序。
limit: 限制目标记录数量。
out: 统计结果存放集合 (不指定则使用临时集合,在客户端断开后自动删除)。
keeptemp: 是否保留临时集合。
finalize: 最终处理函数 (对 reduce 返回结果进行最终整理后存入结果集合)。
scope: 向 map、reduce、finalize 导入外部变量。
verbose: 显示详细的时间统计信息。
@H_301_1@ 下面我们准备数据以备后面示例所需
@H_301_1@ 现在我们演示如何统计1班和2班的学生数量
@H_301_1@ Map 函数必须调用 emit(key,value) 返回键值对,使用 this 访问当前待处理的 Document。
@H_301_1@ 这里this一定不能忘了!!!
@H_301_1@ value 可以使用 JSON Object 传递 (支持多个属性值)。例如:
emit(this.classid,{count:1})
Reduce 函数接收的参数类似 Group 效果,将 Map 返回的键值序列组合成 { key,[value1,value2,value3,value...] } 传递给 reduce。
@H_301_1@ Reduce 函数对这些 values 进行 "统计" 操作,返回结果可以使用 JSON Object。
@H_301_1@ 结果如下:
- @H_301_1@>res=db.runCommand({
- @H_301_1@...mapreduce:"students",108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> @H_301_1@...map:m,108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> @H_301_1@...reduce:r,108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> @H_301_1@...out:"students_res"
- @H_301_1@...});
- @H_301_1@{
- @H_301_1@"result":"students_res",108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> @H_301_1@"timeMillis":1587,108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> @H_301_1@"counts":{
- @H_301_1@"input":8,108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> @H_301_1@"emit":8,108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> @H_301_1@"output":2
- @H_301_1@},108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> @H_301_1@"ok":1
- @H_301_1@>db.students_res.find()
- @H_301_1@{"_id":1,"value":3}
- @H_301_1@{"_id":2,"value":5}
- @H_301_1@>
@H_301_1@ mapReduce() 将结果存储在 "students_res" 表中。
@H_301_1@ 利用 finalize() 我们可以对 reduce() 的结果做进一步处理。
@H_301_1@ 我们再重新计算一次,看看返回的结果:
- @H_301_1@...out:"students_res",108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> @H_301_1@...finalize:f
- @H_301_1@...});
- @H_301_1@{
- @H_301_1@"timeMillis":804,108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> @H_301_1@"counts":{
- @H_301_1@"output":2
- @H_301_1@"ok":1
- @H_301_1@}
- @H_301_1@>db.students_res.find()
- @H_301_1@>
@H_301_1@ 列名变与 “classid”和”count”了,这样的列表更容易理解。
@H_301_1@
- @H_301_1@...finalize:f,108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> @H_301_1@...query:{age:{$lt:10}}
- @H_301_1@"timeMillis":358,108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> @H_301_1@"input":1,108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> @H_301_1@"emit":1,108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> @H_301_1@"output":1
- @H_301_1@>db.students_res.find();
- @H_301_1@>