微信登錄
賬號登錄
手機號登錄
掃碼立即登錄
您輸入的賬號或密碼錯誤
手機號碼輸入不正確,請重新輸入!
022-2345 2937
185 2247 0110
business@forenose.com
客服QQ:2779623375 前嗅大數據
用戶QQ群3:606835039
用戶QQ群4:795287153
客服微信qianxiu0106
訂閱號
服務號
ForeSpider
數據采集引擎
【采集速度】
決定采集速度的兩個因素是:
1.線程數目
線程數目是運行采集任務時,軟件啟用的線程資源數目。線程數目越大,采集速度越快,消耗的系統資源也越大,被反爬的可能性也越大。需要結合采集速度、反爬情況和資源消耗來綜合設置。
線程數最小是1,最大值要觀察任務管理器的內存占用率,一般的辦公電腦超過50就可能會卡頓,服務器根據配置選定。
2.采集間隔
是指采集兩條數據的時間間隔,結合線程數目調節,可以在1個線程的情況下更慢的采集,降低被封IP的概率。