我使用Node.js – async & request模块来抓取超过1亿的网站，几分钟后我不断遇到错误ESOCKETTIMEDOUT & ETIMEDOUT。
我重新启动脚本后，它又可以工作了。这似乎不是连接限制的问题，因为我仍然可以做resolve4, resolveNs, resolveMx和curl没有延迟。
你觉得代码有什么问题吗?或任何建议吗?我希望将async.queue()并发性至少提升到1000。谢谢你！ Continue reading →