问题描述
我正在使用自动化程序的命令行运行多个刮板。
的Python：2.7.12
Scrapy的：1.4.0
操作系统：Ubuntu 16.04.4 LTS
我想知道当
- 没有足够的内存/ cpu带宽来启动刮板。
- 刮板运行期间没有足够的内存/ CPU带宽。
我已经阅读了文档，但找不到任何东西。
任何回答此问题的人，都不必知道正确的答案，如果您可以向我指出您所知道的任何资源的大致方向，那将是有帮助的，也将不胜感激。
1楼
操作系统将终止任何尝试访问超出限制的内存的进程。 也适用于python程序。 和刮y一样。
带宽常常是抓取/爬网应用程序的瓶颈。
仅当您的应用程序中存在严重的内存泄漏时，内存才会成为瓶颈。
如果同一台计算机上的许多进程共享CPU，则您的应用程序将非常缓慢。