var data = $("div").data();

var keys = $.map(data,function (value,key) {
    return key;
});
for (i = 0; i < keys.length; i++) {
    $("div").removeAttr("data-" + keys[i]);
}

Fiddle

编辑

由@Mottie推荐

$.each($('div').data(),function (i) {
    $("div").removeAttr("data-" + i);
});

Demo