将接受类成员函数作为变量的函数传递给python multiprocess pool.map()

前端之家收集整理的这篇文章主要介绍了将接受类成员函数作为变量的函数传递给python multiprocess pool.map()前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。
嗨,我一直在为这个早上的大部分时间而苦苦挣扎,希望有人能指出我正确的方向.

这是我目前的代码

  1. def f(tup):
  2. return some_complex_function(*tup)
  3.  
  4. def main():
  5.  
  6. pool = Pool(processes=4)
  7. #import and process data omitted
  8. _args = [(x.some_func1,.05,x.some_func2) for x in list_of_some_class]
  9. results = pool.map(f,_args)
  10. print results

我得到的第一个错误是:

  1. > Exception in thread Thread-2: Traceback (most recent call last):
  2. > File "/usr/lib/python2.7/threading.py",line 551,in __bootstrap_inner
  3. > self.run() File "/usr/lib/python2.7/threading.py",line 504,in run
  4. > self.__target(*self.__args,**self.__kwargs) File "/usr/lib/python2.7/multiprocessing/pool.py",line 319,in
  5. > _handle_tasks
  6. > put(task) PicklingError: Can't pickle <type 'instancemethod'>: attribute lookup __builtin__.instancemethod Failed

任何帮助将非常感激.

解决方法

多进程模块使用pickle模块序列化传递给函数(f)的参数,该函数在另一个进程中执行.

许多内置类型都可以进行pickle,但实例方法无法进行pickle.所以.05很好,但x.some_func1不是.有关详细信息,请参见What can be pickled and unpickled?.

没有简单的解决方案.您需要重构程序,因此实例方法不需要作为参数传递(或避免使用多进程).

猜你在找的Python相关文章