当前位置: 代码迷 >> 综合 >> python:并行化网格搜索中ImportError: [joblib] Attempting to do parallel computing without protecting...
  详细解决方案

python:并行化网格搜索中ImportError: [joblib] Attempting to do parallel computing without protecting...

热度:44   发布时间:2023-12-12 19:47:23.0

在敲《Python机器学习及实践》上code的时候,在超参数搜索之并行搜索代码执行的时候,出现了错误。


下面是完整的代码:

# 从sklearn.datasets中导入20类新闻文本抓取器
from sklearn.datasets import fetch_20newsgroups
import numpy as np# 使用新闻抓取器从互联网上下载所有数据,并且存储在变量news中
news = fetch_20newsgroups(subset='all')from sklearn.model_selection import train_test_split# 对前3000条新闻文本进行数据分割,25%文本用于未来测试
X_train, X_test, y_train, y_test = train_test_split(news.data[:3000], news.target[:3000], test_size=0.25,random_state=33)# 导入支持向量机(分类)模型
from sklearn.svm import SVC# 导入RfidfVectorizer文本抽取器
from sklearn.feature_extraction.text import TfidfVectorizer
# 导入Pipeline
from sklearn.pipeline import Pipeline# 使用Pipeline简化系统搭建流程,将文本抽取与分类器模型串联起来
clf = Pipeline([('vect', TfidfVectorizer(stop_words='english', analyzer='word')),('svc', SVC())
])# 这里需要试验的2个超参数的个数分别是4、3,svc__gamma的参数共有10^-2,10^-1,,。这样我们一共有12种的超参数组合,
# 12种不同参数下的模型
parameters = {'svc__gamma': np.logspace(-2, 1, 4),'svc__C': np.logspace(-1, 1, 3)
}# 从sklearn.grid_search中导入网格搜索模块GridSearchCV
from sklearn.model_selection import GridSearchCV# 初始化配置并行网格搜索,n_jobs=-1代表使用该计算机全部的CPU
gs = GridSearchCV(clf, parameters, verbose=2, refit=True, cv=3, n_jobs=-1)# 执行多线程并行网络搜索
gs.fit(X_train, y_train)
gs.best_params_, gs.best_score_# 输出最佳模型在测试集上的准确率
print(gs.score(X_test, y_test))

控制台错误为:

ImportError: [joblib] Attempting to do parallel computing without protecting your import on a system that does not support forking. To use parallel-computing in a script, you must protect your main loop using "if __name__ == '__main__'". Please see the joblib documentation on Parallel for more information


错误原因:

书上使用的版本是2.7,而我使用的版本是3.4,在2.7是可以运行的,因此应该是版本的问题导致一些使用方法的改变。


解决方案:

在parameters之前加入:

if __name__ == '__main__':
即可,即完整源代码如下:

# 从sklearn.datasets中导入20类新闻文本抓取器
from sklearn.datasets import fetch_20newsgroups
import numpy as np# 使用新闻抓取器从互联网上下载所有数据,并且存储在变量news中
news = fetch_20newsgroups(subset='all')from sklearn.model_selection import train_test_split# 对前3000条新闻文本进行数据分割,25%文本用于未来测试
X_train, X_test, y_train, y_test = train_test_split(news.data[:3000], news.target[:3000], test_size=0.25,random_state=33)# 导入支持向量机(分类)模型
from sklearn.svm import SVC# 导入RfidfVectorizer文本抽取器
from sklearn.feature_extraction.text import TfidfVectorizer
# 导入Pipeline
from sklearn.pipeline import Pipeline# 使用Pipeline简化系统搭建流程,将文本抽取与分类器模型串联起来
clf = Pipeline([('vect', TfidfVectorizer(stop_words='english', analyzer='word')),('svc', SVC())
])if __name__ == '__main__':# 这里需要试验的2个超参数的个数分别是4、3,svc__gamma的参数共有10^-2,10^-1,,。这样我们一共有12种的超参数组合,# 12种不同参数下的模型parameters = {'svc__gamma': np.logspace(-2, 1, 4),'svc__C': np.logspace(-1, 1, 3)}# 从sklearn.grid_search中导入网格搜索模块GridSearchCVfrom sklearn.model_selection import GridSearchCV# 初始化配置并行网格搜索,n_jobs=-1代表使用该计算机全部的CPUgs = GridSearchCV(clf, parameters, verbose=2, refit=True, cv=3, n_jobs=-1)# 执行多线程并行网络搜索gs.fit(X_train, y_train)gs.best_params_, gs.best_score_# 输出最佳模型在测试集上的准确率print(gs.score(X_test, y_test))

加入上面那句代码之后,成功运行。


  相关解决方案