MongoDB – Map Reduce
MongoDB – Map Reduce
根据 MongoDB 文档,Map-reduce是一种数据处理范例,用于将大量数据压缩为有用的聚合结果。MongoDB 使用mapReduce命令进行 map-reduce 操作。MapReduce 一般用于处理大数据集。
MapReduce 命令
以下是基本 mapReduce 命令的语法 –
>db.collection.mapReduce(
function() {emit(key,value);}, //map function
function(key,values) {return reduceFunction}, { //reduce function
out: collection,
query: document,
sort: document,
limit: number
}
)
map-reduce 函数首先查询集合,然后映射结果文档以发出键值对,然后根据具有多个值的键进行缩减。
在上述语法中 –
-
map是一个 javascript 函数,它用一个键映射一个值并发出一个键值对
-
reduce是一个 javascript 函数,用于减少或分组具有相同键的所有文档
-
out指定map-reduce查询结果的位置
-
查询指定选择文档的可选选择标准
-
sort指定可选的排序条件
-
limit指定要返回的可选最大文档数
使用 MapReduce
考虑以下存储用户帖子的文档结构。该文档存储用户的 user_name 和帖子的状态。
{
"post_text": "tutorialspoint is an awesome website for tutorials",
"user_name": "mark",
"status":"active"
}
现在,我们将在我们的帖子集合上使用 mapReduce 函数来选择所有活动帖子,根据 user_name 将它们分组,然后使用以下代码计算每个用户的帖子数量 –
>db.posts.mapReduce(
function() { emit(this.user_id,1); },
function(key, values) {return Array.sum(values)}, {
query:{status:"active"},
out:"post_total"
}
)
上面的 mapReduce 查询输出以下结果 –
{
"result" : "post_total",
"timeMillis" : 9,
"counts" : {
"input" : 4,
"emit" : 4,
"reduce" : 2,
"output" : 2
},
"ok" : 1,
}
结果显示总共有 4 个文档与查询匹配(状态:“活动”),map 函数发出 4 个具有键值对的文档,最后 reduce 函数将具有相同键的映射文档分组为 2 个。
要查看此 mapReduce 查询的结果,请使用 find 运算符 –
>db.posts.mapReduce(
function() { emit(this.user_id,1); },
function(key, values) {return Array.sum(values)}, {
query:{status:"active"},
out:"post_total"
}
).find()
上面的查询给出了以下结果,表明用户tom和mark都有两个处于活动状态的帖子 –
{ "_id" : "tom", "value" : 2 }
{ "_id" : "mark", "value" : 2 }
以类似的方式,MapReduce 查询可用于构建大型复杂聚合查询。自定义 Javascript 函数的使用利用了非常灵活和强大的 MapReduce。