任務裝載順序是指在同時采集多個網站時,日志列表中各任務采集的優先順序。任務裝載順序有如下兩種方式:
1.順序優先
按照采集任務列表的順序,采集各列表任務的數據。先采完一個任務的所有鏈接再采集下一個。
【順序優先采集】
2.負載均衡
打亂任務采集順序,同時采集各任務的數據鏈接。優點是可以降低被網站封鎖IP的風險,同時可以提高采集效率。如果不是對某些任務有優先采集完畢的需求,建議選擇“負載均衡”。
如果在采集多個網址的情況下,用戶急需一個網站的采集數據內容,我們就用順序優先。否則一般就采用負載均衡的裝載順序,這樣打亂采集順序,每個網站在短時間內被連續采集的機會變少,降低被網站封鎖IP的風險。
【負載均衡采集】