Nosql Mongodb之旅(11)—MongoDB GridFS

NoSQL 前端之家
前端之家收集整理的这篇文章主要介绍了Nosql Mongodb之旅(11)—MongoDB GridFS，前端之家小编觉得挺不错的，现在分享给大家，也给大家做个参考。

这篇文章写的很详细，忍不住就拿来收藏了！

GridFS 是一种将大型文件存储在MongoDB 数据库中的文件规范。所有官方支持的驱动均实现了GridFS 规范。

GridFS是MongoDB中的一个内置功能，可以用于存放大量小文件。

官网学习：

http://www.mongodb.org/display/DOCS/GridFS

http://www.mongodb.org/display/DOCS/GridFS+Specification

1、为什么要用GridFS

由于MongoDB 中BSON 对象大小是有限制的，所以GridFS 规范提供了一种透明的机制，可以将一个大文件分割成为多个较小的文档，这样的机制允许我们有效的保存大文件对象，特别对于那些巨大的文件，比如视频、高清图片等。

2、如何实现海量存储

为实现这点，该规范指定了一个将文件分块的标准。每个文件都将在文件集合对象中保存一个元数据对象，一个或多个chunk 块对象可被组合保存在一个chunk 块集合中。大多数情况下，你无需了解此规范中细节，而可将注意力放在各个语言版本的驱动中有关GridFS API 的部分或是如何使用mongofiles 工具上。

3、语言支持

GridFS 对Java,Perl,PHP,Python,Ruby 等程序语言均支持，且提供了良好的API 接口。

4、简单介绍

GridFS 使用两个表来存储数据：

files 包含元数据对象

 chunks 包含其他一些相关信息的二进制块

为了使多个GridFS 命名为一个单一的数据库，文件和块都有一个前缀，默认情况下，前缀是fs，所以任何默认的GridFS 存储将包括命名空间fs.files 和fs.chunks。各种第三方语言的驱动有权限改变这个前缀，所以你可以尝试设置另一个GridFS 命名空间用于存储照片，它的具体位置为:photos.files 和photos.chunks。下面我们看一下实际的例子吧。

5、命令行工具

[plain]view plaincopy
  1. mongofiles是从命令行操作GridFS的一种工具，例如我们将”testfile”这个文件存到库里面，具体用法如下：
  2. [root@localhostbin]#./mongofilesputtestfile
  3. connectedto:127.0.0.1
  4. addedfile:{_id:ObjectId('4fc60175c714c5d960fff76a'),filename:"testfile",chunkSize:262144,
  5. uploadDate:newDate(1338376565745),md5:"8addbeb77789ae6b2cb75deee30faf1a",length:
  6. 16}
  7. done!

下面我们查一下看库里有哪些GridFS 文件，在”mongofiles”后加一个参数”list”即可

[plain]view plaincopy
  1. [root@localhostbin]#./mongofileslist
  2. connectedto:127.0.0.1
  3. testfile16

接下来我们进库里看一下是否有新的东西

[plain]view plaincopy
  1. [root@localhostbin]#./mongo
  2. MongoDBshellversion:1.8.1
  3. connectingto:test
  4. >showcollections
  5. fs.chunks--上文提到的fs.chunks
  6. fs.files--上文提到的fs.files
  7. system.indexes
  8. system.js
  9. >

我们继续查看fs.files 中的内容

[plain]view plaincopy
  1. >db.fs.files.find()
  2. {"_id":ObjectId("4fc60175c714c5d960fff76a"),"filename":"testfile","chunkSize":262144,108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> "uploadDate":ISODate("2012-05-30T11:16:05.745Z"),"md5":
  3. "8addbeb77789ae6b2cb75deee30faf1a","length":16}

字段说明:
Filename: 存储的文件名
 chunkSize: chunks 分块的大小
 uploadDate: 入库时间
 md5: 此文件的md5 码
 length: 文件大小,单位”字节”
看来fs.files 中存储的是一些基础的元数据信息
我们继续查看fs.chunks 中的内容

[plain]view plaincopy
  1. >db.fs.chunks.find()
  2. {"_id":ObjectId("4fc60175cf1154905d949336"),"files_id":
  3. ObjectId("4fc60175c714c5d960fff76a"),"n":0,"data":
  4. BinData(0,"SGVyZSBpcyBCZWlqaW5nCg==")}

其中比较重要的字段是”n”，它代表的是chunks 的序号，此序号从0 开始，看来fs.chunks中存储的是一些实际的内容数据信息
我们即然能将此文件存进去，我们就应该有办法将其取出来，下面看一下实例:

[plain]view plaincopy
  1. [root@localhostbin]#rmtestfile
  2. rm：是否删除一般文件“testfile”?y--先删文件
  3. [root@localhostbin]#./mongofilesgettestfile--将其从库里取出来
  4. donewriteto:testfile
  5. [root@localhostbin]#md5sumtestfile--校验md5，结果跟库里相同
  6. 8addbeb77789ae6b2cb75deee30faf1atestfile
  7. [root@localhostbin]#

6、索引

[plain]view plaincopy
  1. db.fs.chunks.ensureIndex({files_id:1,n:1},{unique:true});

这样，一个块就可以利用它的files_id 和 n 的值进行检索。注意，GridFS 仍然可以用findOne得到第一个块，如下：

[plain]view plaincopy
  1. db.fs.chunks.findOne({files_id:myFileID,n:0});

7、应用

MongoDB提供了一个命令行工具mongofiles可以来处理GridFS，在bin目录下。
列出所有文件：
mongofiles list
上传一个文件：
mongofiles put xxx.txt
下载一个文件：
mongofiles get xxx.txt
查找文件：
mongofiles search xxx //会查找所有文件名中包含“xxx”的文件
mongofiles list xxx //会查找所有文件名以“xxx”为前缀的文件
参数说明：
–d 指定数据库 ，默认是fs，Mongofiles list –d testGridfs
-u –p 指定用户名，密码
-h 指定主机
-port 指定主机端口
-c 指定集合名，默认是fs
-t 指定文件的MIME类型，默认会忽略
使用MongoVUE来查看，管理GridFS
MongoVUE地址：http://www.mongovue.com/
MongoVUE是个免费软件，但超过15天后功能受限。可以通过删除以下注册表项来解除限制：

[HKEY_CURRENT_USER\Software\Classes\CLSID\{B1159E65-821C3-21C5-CE21-34A484D54444}\4FF78130]

把这个项下的值全删掉就可以了。
用java驱动上传下载文件：
下载地址：https://github.com/mongodb/mongo-java-driver/downloads
官方的文档貌似不是最新的，不过通过查看api来使用也不困骓。
http://api.mongodb.org/java/2.7.2/
以下代码基于mongo-2.7.3.jar

[java]view plaincopy
  1. importjava.io.FileInputStream;
  2. importjava.io.IOException;
  3. importjava.io.InputStream;
  4. importjava.net.UnknownHostException;
  5. importjava.security.NoSuchAlgorithmException;
  6. importcom.mongodb.BasicDBObject;
  7. importcom.mongodb.DB;
  8. importcom.mongodb.DBCollection;
  9. importcom.mongodb.DBObject;
  10. importcom.mongodb.Mongo;
  11. importcom.mongodb.MongoException;
  12. importcom.mongodb.gridfs.GridFS;
  13. importcom.mongodb.gridfs.GridFSDBFile;
  14. importcom.mongodb.gridfs.GridFSInputFile;
  16. publicclassTest{
  17. Mongoconnection;
  18. DBdb;
  19. DBCollectioncollection;
  20. GridFSmyFS;
  21. StringmongoDBHost="127.0.0.1";
  22. intmongoDBPort=27017;
  23. StringdbName="testGridfs";
  24. StringcollectionName="fs";
  26. publicstaticvoidmain(String[]args)throwsMongoException,IOException,NoSuchAlgorithmException{
  27. Testt=newTest();
  28. StringfileName="F:/cpu.txt";
  29. Stringname="cpu.txt";
  30. //把文件保存到gridfs中，并以文件的md5值为id
  31. t.save(newFileInputStream(fileName),name);
  32. //据文件名从gridfs中读取到文件
  33. GridFSDBFilegridFSDBFile=t.getByFileName(name);
  34. if(gridFSDBFile!=null){
  35. System.out.println("filename:"+gridFSDBFile.getFilename());
  36. System.out.println("md5:"+gridFSDBFile.getMD5());
  37. System.out.println("length:"+gridFSDBFile.getLength());
  38. System.out.println("uploadDate:"+gridFSDBFile.getUploadDate());
  39. System.out.println("--------------------------------------");
  40. gridFSDBFile.writeTo(System.out);
  41. }else{
  42. System.out.println("cannotgetfilebyname:"+name);
  43. }
  44. }
  45. publicTest()throwsUnknownHostException,MongoException,NoSuchAlgorithmException{
  46. _init();
  47. publicTest(StringmongoDBHost,intmongoDBPort,StringdbName,
  48. StringcollectionName)throwsUnknownHostException,108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> this.mongoDBHost=mongoDBHost;
  49. this.mongoDBPort=mongoDBPort;
  50. this.dbName=dbName;
  51. this.collectionName=collectionName;
  52. privatevoid_init()throwsUnknownHostException,108); list-style:decimal-leading-zero outside; line-height:18px; margin:0px!important; padding:0px 3px 0px 10px!important"> connection=newMongo(mongoDBHost,mongoDBPort);
  53. db=connection.getDB(dbName);
  54. collection=db.getCollection(collectionName);
  55. myFS=newGridFS(db);
  56. /**
  57. *用给出的id，保存文件，透明处理已存在的情况
  58. *id可以是string，long，int，org.bson.types.ObjectId类型
  59. *@paramin
  60. *@paramid
  61. */
  62. publicvoidsave(InputStreamin,Objectid){
  63. DBObjectquery=newBasicDBObject("_id",id);
  64. GridFSDBFilegridFSDBFile=myFS.findOne(query);
  65. if(gridFSDBFile!=null)
  66. return;
  67. GridFSInputFilegridFSInputFile=myFS.createFile(in);
  68. gridFSInputFile.save();
  69. *据id返回文件
  70. *@return
  71. */
  72. publicGridFSDBFilegetById(Objectid){
  73. GridFSDBFilegridFSDBFile=myFS.findOne(query);
  74. returngridFSDBFile;
  75. /**
  76. *据文件名返回文件，只返回第一个
  77. *@paramfileName
  78. *@return
  79. publicGridFSDBFilegetByFileName(StringfileName){
  80. DBObjectquery=newBasicDBObject("filename",fileName);
  81. returngridFSDBFile;
  82. }

Nginx-gridfs模块的安装使用

项目主页：https://github.com/mdirolf/nginx-gridfs

通过Nginx-gridfs，可以直接用http来访问GridFS中的文件。

1.安装

安装各种依赖包：zlib，pcre，openssl

在ubuntu下可能是以下命令：

sudoapt-getinstallzlib1g-dev//貌似sudoapt-getinstallzlib-dev不能安装

sudoapt-getinstalllibpcre3libpcre3-dev

sudoapt-getinstallopenssllibssl-dev

安装git（略）

用git下载Nginx-gridfs的代码：

gitclonegit://github.com/mdirolf/Nginx-gridfs.git

cdNginx-gridfs

gitsubmoduleinit

gitsubmoduleupdate

下载Nginx：

wgethttp://nginx.org/download/nginx-1.0.12.zip

tarzxvfNginx-1.0.12.zip

cdNginx-1.0.12

./configure--add-module=<Nginx-gridfs的路径>

make

sudomakeinstall

如果编译出错，则在configure时加上--with-cc-opt=-Wno-error参数。

2.配置Nginx

在server的配置中加上以下

location/pics/{

gridfspics

field=filename

type=string;

mongo127.0.0.1:27017;

}

上面的配置表示：

数据库是pics，通过文件名filename来访问文件，filename的类型是string

目前只支持通过id和filename来访问文件。

启动Nginx：/usr/local/Nginx/sbin/Nginx

用MongoVUE把一个图片001.jpg上传到pics数据库中。

打开：http://localhost/pics/001.jpg

如果成功，则可以看到显示图片了。

3.Nginx-gridfs的不足

没有实现http的rangesupport，也就是断点续传，分片下载的功能。

GridFS实现原理

GridFS在数据库中，默认使用fs.chunks和fs.files来存储文件。

其中fs.files集合存放文件的信息，fs.chunks存放文件数据

一个fs.files集合中的一条记录内容如下，即一个file的信息如下

[plain]view plaincopy
  1. {
  2. "_id":ObjectId("4f4608844f9b855c6c35e298"),//唯一id，可以是用户自定义的类型
  3. "filename":"cpu.txt",//文件名
  4. "length":778,//文件长度
  5. "chunkSize":262144,//chunk的大小
  6. "uploadDate":ISODate("2012-02-23T09:36:04.593Z"),//上传时间
  7. "md5":"e2c789b036cfb3b848ae39a24e795ca6",//文件的md5值
  8. "contentType":"text/plain"//文件的MIME类型
  9. "Meta":null//文件的其它信息，默认是没有”Meta”这个key，用户可以自己定义为任意BSON对象
  10. }

对应的fs.chunks中的chunk如下：

[plain]view plaincopy
  1. "_id":ObjectId("4f4608844f9b855c6c35e299"),//chunk的id
  2. "files_id":ObjectId("4f4608844f9b855c6c35e298"),//文件的id，对应fs.files中的对象，相当于fs.files集合的外键
  3. "n":0,//文件的第几个chunk块，如果文件大于chunksize的话，会被分割成多个chunk块
  4. "data":BinData(0,"QGV...")//文件的二进制数据，这里省略了具体内容
  5. }

默认chunk的大小是256K。 public static final int DEFAULT_CHUNKSIZE = 256 * 1024; 所以在把文件存入到GridFS过程中，如果文件大于chunksize，则把文件分割成多个chunk，再把这些chunk保存到fs.chunks中，最后再把文件信息存入到fs.files中。 在读取文件的时候，先据查询的条件，在fs.files中找到一个合适的记录，得到“_id”的值，再据这个值到fs.chunks中查找所有“files_id”为“_id”的chunk，并按“n”排序，最后依次读取chunk中“data”对象的内容，还原成原来的文件。 自定义Gridfs的hash函数 尽管从理论上，无论用什么hash函数，都有可能出现hash值相同，但内容不相同的文件，但是对于GridFS默认使用的md5算法，目前已出现长度和md5值都相同但内容不一样的文件。 如果想要自已改用其它hash算法，可以从驱动入手。因为GridFS在MongoDB中实际也只是两个普通的集合，所以完全可以自已修改驱动，替换下hash算法即可。 目前java版的驱动比较简单，可以很容易修改实现。 但是要注意，这样不符合GridFS的规范了。 注意事项 1. GridFS不自动处理md5相同的文件，对于md5相同的文件，如果想在GridFS中只有一个存储，要用户自已处理。Md5值的计算由 客户端完成。 2. 因为GridFS在上传文件过程中是先把文件数据保存到fs.chunks，最后再把文件信息保存到fs.files中，所以如果在上传文件过程中失败，有可能在fs.chunks中出现垃圾数据。这些垃圾数据可以定期清理掉。

原文链接：https://www.f2er.com/nosql/204167.html

猜你在找的NoSQL相关文章

Redis进阶实践之十八 使用管道模式提高Redis查询的速度
一、引言 学习redis 也有一段时间了，该接触的也差不多了。后来有一天，以前的同事问我，如...
MongoDb进阶实践之二 如何在Windows上安装和配置MongoDB
一、引言 上一篇文章，我介绍了如何在Linux系统上安装和配置MongoDB，其实都不是很难，不需...
Redis进阶实践之十七 Redis协议的规范
一、介绍 Redis客户端使用RESP（Redis的序列化协议）协议与Redis的服务器端进行通信。 虽然...
Redis进阶实践之十九 Redis如何使用lua脚本
一、引言 redis学了一段时间了，基本的东西都没问题了。从今天开始讲写一些redis和lua脚本...
Redis进阶实践之十五 Redis-cli命令行工具使用详解第二部分（结束）
一、介绍 今天继续redis-cli使用的介绍，上一篇文章写了一部分，写到第9个小节，今天就来完...
Redis进阶实践之十四 Redis-cli命令行工具使用详解第一部分
一、介绍 redis学了有一段时间了，以前都是看视频，看教程，很少看官方的东西。现在redis的...
MongoDb进阶实践之七 MongoDB的索引入门
一、引言 好久没有写东西了，MongoDB系列的文章也丢下好长时间了。今天终于有时间了，就写...
Memcached在Linux环境下的使用详解
一、引言 写有关NoSQL数据库有关的文章已经有一段时间了，可以高兴的说，Redis暂时就算写完...
Redis进阶实践之二十 Redis的配置文件使用详解
一、引言 写完上一篇有关redis使用lua脚本的文章，就有意结束Redis这个系列的文章了，当然...
Redis进阶实践之十二 Redis的Cluster集群动态扩容
一、引言 上一篇文章我们一步一步的教大家搭建了Redis的Cluster集群环境，形成了3个主节点...
MySQLMsSQLOracleSqlitePostgre SQLMariadbMongoDBNoSQLHBaseJDBC
undo日志persistent-cmysql-error-postal-codesql-match-almysql-5.6mysql-8.0database-tri安装路径系统错误data_dir丢失文件主从同步sql_mode数据库目录匿名用户character_seID归零数据库位置查询表重复字段查询字段截断日志SUSPECT7391Remote ServeLinked Serve玄学问题登录不上开启远程访问