在不清除日志的情況下,可以依照采集日志進行采集策略設定。如果日志清除了,則從頭開始采集。(清除日志并非是清除數據表中的數據,只是清除了采集歷史記錄。)
ForeSpider預置了各種采集策略,通過排列組合可以完成各種場景的復雜的任務控制。
序號 | 菜單內容 | 描述 |
1 | 自定義 | ①全部裝載:以下全選。 ②裝載任務地址:重新采集任務地址。 ③入庫失?。涸俅尾杉疤崾静杉霂焓〉挠涗?。 ④上次未采集:繼續采集之前在任務隊列但沒有采集的日志記錄。 ⑤采集錯誤:再次采集之前提示采集錯誤的記錄。 ⑥采集正確:再次采集之前提示采集正確的記錄。 ⑦鏈接頁面:無論是否采集過,采集任務中全部的鏈接頁面。 ⑧數據頁面:無論是否采集過,采集任務中全部的數據頁面。 |
2 | 增量采集 | 不再重采歷史數據頁面,只采集全部鏈接頁面,以增量更新網站新增加的鏈接內容。 |
3 | 繼續上次采集 | 繼續上次終止時的任務列表采集,保證不重復采集任務。 |
4 | 全部重采 | 從頭開始重新采集,自動清除全部日志。 |
根據采集日志,選擇采集任務的采集策略。
【采集策略】