<ruby id="exfl6"></ruby>

      • 教程列表
      搜索
      目錄
        5.1.3 數據自動排重
        視頻教程：模板下載：

        ForeSpider的數據排重機制，有兩重保障。

        1.采集日志排重

        通過采集日志記錄的歷史采集任務，可以保證不重采相同的鏈接地址，從而達到排重的作用。

        2.數據入庫排重

        通過為數據表設置主鍵字段，根據網頁地址通過MD5算法排重，使得清除日志之后，重復數據即使采集了，也無法入庫。

        3.自定義排重字段

        通過設置“鍵值唯一”的字段屬性，指定需要排重的字段，根據字段內容進行排重存儲。

        undefined 

        【自定義排重字段】



        人妻激情偷乱视频一区二区三区,成人片黄网站A毛片免费,午夜福利在线观看,未满十八18禁止免费无码网站

        <ruby id="exfl6"></ruby>