• sulang 浏览»

    很棒,感谢分享~~~~~~~~

  • Xtianduo4 浏览»

    爬取结果分批保存到硬盘或者数据库,拿上面的例子来说:没有爬完所有数据再写入文件(落地硬盘),而是爬一个用户写一次,如果觉得太频繁,可以200、500或1000持久化到硬盘。

  • muxi 浏览»

    有一个问题想请教楼主,就是使用Scrapy的时候,在递归爬取的时候,爬取大量数据的时候,会导致内存的不足,请问有什么好的解决方法么?例如持久化到硬盘里?