问题描述
所以这或多或少是一个理论问题。 我有一个核心机器,据说功能强大,但只有一个核心。 现在我有两个选择:
多线程:就我的知识而言,即使我因为GIL而拥有它们,我也无法在我的机器中使用多个内核。 因此,在这种情况下,它没有任何区别。
多处理:这是我怀疑的地方。 我可以在单个核心机器上进行多处理吗? 或者每次我必须检查我的机器中可用的核心,然后运行完全相同或更少数量的进程?
有人可以指导一下机器中多处理和核心之间的关系。
我知道这是一个理论问题,但我的概念对此并不十分清楚。
1楼
这是一个很大的话题,但这里有一些指示。
- 将线程视为共享相同地址空间并可访问相同内存的进程。 通信由共享变量完成。 多个线程可以在同一进程中运行。
- 进程(在此上下文中,粗略地说)具有自己的私有数据,如果两个进程想要进行通信,则必须更明确地进行通信。
- 当您编写瓶颈为CPU周期的程序时,线程或进程都不会在单个核心机器上为您提供加速。
- 进程和线程对于多任务处理(在(子)程序之间快速切换)仍然有用 - 这是您的操作系统所做的,因为它运行的进程远多于您拥有的核心。
- 如果您正在执行的任务受I / O限制,那么即使在单个核心机器上,进程和线程(甚至是协同程序!)也可以为您提供相当大的加速 - 想想从网络中获取数据。 例如,不是主动等待数据发送或到达,而是另一个进程或线程可以启动下一个网络操作。
- 由于较低的开销,当您不需要显式封装时,线程优于进程。 对于大多数CPU绑定的并发问题,尤其是“非常 ”的大型子集,产生比处理器更多的进程没有多大意义。
- Python GIL防止同一进程中的两个线程并行运行,即同时从多个内核执行指令。
- 因此,Python中的线程对于加速CPU绑定任务相对无用,但对于I / O绑定任务仍然非常有用,因为阻塞操作(例如,等待网络数据)释放GIL,使得另一个线程可以运行而另一个线程可以运行等待的时间。
- 如果你有多个处理器,你可以通过产生多个进程来实现真正的并行性,尽管有GIL。 这仅适用于CPU绑定任务,并且通常您必须考虑产生进程的开销和进程之间的通信成本。
2楼
您可以在单核系统中使用多线程和多处理。
无论您的底层架构如何,GIL都限制了纯Python中多线程对计算绑定任务的有用性。 对于I / O绑定任务,它们的工作完全正常。 如果他们没有任何用处,他们可能不会在第一时间实施。
对于纯Python软件,在并行计算方面,多处理始终是一种更安全的选择。 当然,多个进程比多个线程更昂贵(因为进程不共享内存,与线程相反;而且,与线程相比,进程的开销略高)。
然而,对于单处理器机器,多处理(和多线程)为计算繁重的任务购买很少甚至没有额外的速度,它们实际上甚至应该减慢你的速度。 但是,如果操作系统支持它们(这对于桌面,工作站,集群等很常见,但对于嵌入式系统可能不常见),它们允许您同时有效地运行多个I / O绑定程序。
长话短说,这取决于你在做什么......
3楼
模块基本上产生了多个python解释器实例,所以不用担心GIL。
如果您以前使用处理,则使用与模块相同的API。
您似乎在多处理,线程(您称为多线程)和X核处理器之间感到困惑。
- 无论如何,当你启动Python (CPython实现)时,它只会使用你处理器的一个核心。
- 线程正在分配脚本的不同组件之间的负载。 假设您必须与外部API进行交互,您的脚本必须等待通信完成,直到接下来继续。 您正在进行多个类似的呼叫,这需要线性时间。 而如果您使用线程,则可以并行执行这些调用。
另请参见: