我正在编写一个相当复杂的Web应用程序.
Python后端运行一种算法,其状态取决于存储在几个相互关联的数据库表中的数据,这些数据表不经常更改,另外还有经常更改的用户特定数据.当用户使用应用程序时,算法的每用户状态会经历许多小的更改.在每个用户的工作中经常使用该算法来做出某些重要决定.
出于性能原因,在(半规范化的)数据库数据的每个请求上重新初始化状态很快就变得不可行.例如,以某种方式缓存状态的Python对象是非常可取的,这样可以在必要时简单地使用和/或更新它.但是,由于这是一个Web应用程序,因此有几个进程处理请求,因此使用全局变量是不可能的.
我已经尝试序列化相关对象(通过pickle)并将序列化数据保存到DB,现在我正在尝试通过memcached缓存序列化数据.但是,这仍然会经常对序列化和反序列化对象产生巨大的开销.
我看过共享内存解决方案,但我发现的唯一相关内容是POSH.但是POSH似乎没有被广泛使用,我觉得将这样的实验组件集成到我的应用程序中并不容易.
我需要一些建议!这是我开发Web应用程序的第一步,所以我希望这是一个很常见的问题,有这些问题的众所周知的解决方案.在这一点上,假设Python后端在单个服务器上运行的解决方案就足够了,但对于可扩展到多个服务器的解决方案来说也是额外的点:)
笔记:
>我有这个应用程序工作,目前在线和活跃的用户.我开始时没有做任何过早的优化,然后根据需要进行优化.我已经完成了测量和测试,以确保上述问题是实际的瓶颈.我确信我可以从当前设置中挤出更多性能,但我想问一下是否有更好的方法.
>设置本身仍在进行中;假设系统的架构可以是您的解决方案的任何套件.
解决方法
我认为
multiprocessing框架可能适用于此 – 即共享ctypes模块.