我正在做一个 Django 项目并尝试提高后端的计算速度。
该任务类似于 CPU 限制的转换过程
这是我的环境
- Python 3.6.1
- 姜戈 1.10
- PostgreSQL 9.6
当我尝试通过 python 多处理库并行计算 API 时,我遇到了以下错误。
File "D:\\project\apps\converter\models\convert_manager.py", line 1, in <module>
from apps.conversion.models import Conversion
File "D:\\project\apps\conversion\models.py", line 5, in <module>
class Conversion(models.Model):
File "C:\\virtenv\lib\site-packages\django\db\models\base.py", line 105, in __new__
app_config = apps.get_containing_app_config(module)
File "C:\\virtenv\ib\site-packages\django\apps\registry.py", line 237, in get_containing_app_config
self.check_apps_ready()
File "C:\\lib\site-packages\django\apps\registry.py", line 124, in check_apps_ready
raise AppRegistryNotReady("Apps aren't loaded yet.")
看起来像每个过程导入转换模型
和转换模型就像
from django.db import models
Conversion(model.Model):
conversion_name = models.CharField(max_length=63)
conversion_user = models.CharField(max_length=31)
conversion_description = models.TextField(blank=True)
...
下面是我想要并行的示例函数,每次迭代都是独立的,但会访问数据或将数据插入到 SQL 中。
Class ConversionJob():
...
def run(self, p_list):
list_merge_result = []
for p in p_list:
list_result = self.Couputing_api(p)
list_merge_result.extend(list_result)
我想做的是
from multiprocessing import Pool
Class ConversionJob():
...
def run(self, p_list):
list_merge_result = []
p = Pool(process=4)
list_result = p.map(self.couputing_api, p_list)
list_merge_result.extend(list_result)
在computing_api()中,它会尝试获取当前已完成的转换信息,并在调用此api之前将其保存到SQL中,但这导致了错误。
我的问题是