问题描述
我一直在阅读有关scikit的feature_selection包下可用的f_regression函数的信息。 根据我阅读的内容，我引用它说：
用于测试许多回归变量各自的效果的线性模型。 这是要在特征选择过程中使用的评分功能，而不是独立式特征选择过程。
分两个步骤完成：
- 计算每个回归变量与目标之间的相关性，即（（（X [:, i]-mean（X [:, i]））*（y-mean_y））/（std（X [:, i] ）* std（y））。
- 将其转换为F分数，然后转换为p值。
因此，在第一部分中，我假设它们正在计算相关系数，但是我找不到如何执行从这些相关系数转换为F得分然后转换为p值的部分。 任何人都可以举一些分析的例子来知道该如何做吗？
谢谢
1楼
如果我们使用 ：
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.feature_selection import f_regression
from scipy import stats
np.random.seed(0)
X = np.random.rand(1000, 3)
y = X[:, 0] + np.sin(6 * np.pi * X[:, 1]) + 0.1 * np.random.randn(1000)
y = x 1 + sin（6 * pi * x 2 ）+ 0.1 * N（0，1），即第三个特征是完全不相关的。
f_test, p_values = f_regression(X, y)
f_test_norm = f_test/np.max(f_test)
plt.figure(figsize=(25, 5))
for i in range(3):
plt.subplot(1, 3, i + 1)
plt.scatter(X[:, i], y, edgecolor='black', s=20)
plt.xlabel("$x_{}$".format(i + 1), fontsize=14)
if i == 0:
plt.ylabel("$y$", fontsize=14)
plt.title("Normalized F-test={:.2f},F-test={:.2f}, p-value={:.2f}".format(f_test_norm[i],f_test[i],p_values[i]),
fontsize=16)
plt.show()
F检验和p值的值如下：
>>> f_test, p_values
(array([187.42118421, 52.52357392, 0.47268298]),
array([3.19286906e-39, 8.50243215e-13, 4.91915197e-01]))
让我们首先计算相关性：
df = pd.DataFrame(X)
df['y'] = y
0 1 2 y
0 0.548814 0.715189 0.602763 1.004714
1 0.544883 0.423655 0.645894 0.900226
2 0.437587 0.891773 0.963663 -0.919160
...
>>> df.corr()['y']
0 0.397624
1 -0.223601
2 0.021758
y 1.000000
corr = df.corr()['y'][:3]
然后，根据 ，他们计算degrees_of_freedom ，如len(y) - 2如果center参数为真和len(y) - 1否则：
degrees_of_freedom = y.size - (2 if center else 1)
F统计量计算为
F = corr ** 2 / (1 - corr ** 2) * degrees_of_freedom ，在我们的情况下为：
0 187.421184
1 52.523574
2 0.472683
Name: y, dtype: float64
然后使用计算p值：
pv = stats.f.sf(F, 1, degrees_of_freedom)
>>> pv
array([3.19286906e-39, 8.50243215e-13, 4.91915197e-01])