当使用caffe时,为了创建包含图像的训练数据集,我们需要以像lmdb这样的特殊格式创建数据库,但是有任何选项可以传递给caffe批图像,例如vector< cv :: Mat> ?
为了澄清我正在寻找能够处理大量无法融入内存的图像的解决方案(但假设一个训练批次(包含例如50个图像)可以存储在内存中).
解决方法
Caffe可以采用多种类型的输入,具体取决于我们使用的输入层.
一些可用的输入方法是:
一些可用的输入方法是:
>数据
> MemoryData
> HDF5Data
> ImageData等
在模型文件中,您找到的第一个层将是Layer type:Data,它使用lmdb或leveldb作为输入方法.将一组图像转换为这些数据库非常容易,因为Caffe已经提供了转换图像的工具.
Layer类型:MemoryData直接从内存中读取数据,这在使用摄像机输入在测试阶段作为Caffe输入传递时非常有用.强烈建议不要使用此层进行培训.
图层类型:ImageData将文本文件作为输入.文本文件包含所有图像名称及其完整路径和类号. Caffe使用OpenCV来读取该层中的图像.它还负责图像的所有转换.因此,不建议使用OpenCV读取图像然后传递给MemoryData层,而是使用ImageData.
ImageData图层从中读取图像的.txt格式必须是:
/path/to/the/image/imageName.jpg classNumber
强烈建议使用LMDB或LevelDB,因为如果图像路径或名称包含空格,或者任何图像损坏,则ImageData无法正常工作.
各种层的细节可以在here中找到.
内存在GPU中分配,具体取决于型号和批量大小.如果发生内存溢出,您可以尝试减小批量大小. Caffe轻松处理了120万张图像的Imagenet数据库.因此,使用最佳批量大小,算法应该没有任何问题.