微信登錄
賬號登錄
手機號登錄
掃碼立即登錄
您輸入的賬號或密碼錯誤
手機號碼輸入不正確,請重新輸入!
022-2345 2937
185 2247 0110
business@forenose.com
客服QQ:2779623375 前嗅大數據
用戶QQ群3:606835039
用戶QQ群4:795287153
客服微信qianxiu0106
訂閱號
服務號
ForeSpider
數據采集引擎
ForeSpider的數據排重機制,有兩重保障。
1.采集日志排重
通過采集日志記錄的歷史采集任務,可以保證不重采相同的鏈接地址,從而達到排重的作用。
2.數據入庫排重
通過為數據表設置主鍵字段,根據網頁地址通過MD5算法排重,使得清除日志之后,重復數據即使采集了,也無法入庫。
3.自定義排重字段
通過設置“鍵值唯一”的字段屬性,指定需要排重的字段,根據字段內容進行排重存儲。
【自定義排重字段】