采集百度關鍵詞檢索數據

百度搜索關鍵詞：http://www.baidu.com

一.網站結構

1.網站截圖說明

使用批量關鍵詞，從百度檢索列表依次進入檢索結果頁，采集結果頁里的正文數據。

2.采集結果截圖 

二．配置模板

.新建任務

點擊【下一步】，需要采集全部檢索結果，所以此處需要勾選【鏈接列表】和【普通翻頁】，如圖：

2.配置關鍵詞

①內置瀏覽器顯示搜索頁面后，按照提示：ctrl+左鍵單擊搜索框，點擊右下角【完成】。點擊右上角【保存】，保存任務配置。

②關鍵詞列表處，填寫關鍵詞，并點擊保存。

③一般情況就配置完畢了，可以采集預覽看是否成功。如果有些網站仍然沒有結果，需要在【高級設置】中配置關鍵詞參數。

3.采集預覽

看關鍵詞檢索的鏈接是否能夠出來，如果沒有出來，應該使用腳本采集；如果可以出來，則繼續操作。

4.過濾鏈接列表

①用標題過濾鏈接，過濾關鍵詞檢索出的列表鏈接。

②采集預覽，看是否過濾成功。采集預覽出現鏈接均為網頁中關鍵詞檢索列表中的鏈接，過濾成功。

5.過濾翻頁鏈接

①用標題過濾翻頁鏈接。

②采集預覽看是否過濾成功。采集預覽出現鏈接均為翻頁的鏈接，過濾成功。

6.關聯模板

通過關聯模板，可以設置該鏈接將要跳轉的下一層級頁面。通過模板之間的關聯，可以將網站各層級頁面關聯起來，在軟件中形成與瀏覽器相同的跳轉結構，從而完整地采集數據。

如果沒有創建模板02，可以自行創建模板。

7.填寫示例地址

模板二是為了抽取正文數據，故勾選【抽取數據】，并填寫示例數據。

①選取任意一條檢索結果的網址，也就是模板一過濾得到的任意一條鏈接，作為模板二的示例地址。

②點擊【下一步】，自動生成數據抽取。

8.創建/選擇表結構

表結構創建后可以重復選擇使用，如果已有建好的表結構，選擇對應數據表結構即可。如果沒有，點擊創建表結構。

【創建表結構】

8.配置表結構

根據所需內容，配置表結構字段，此處配置了包括網頁標題、網頁地址、全部文本三個字段。

①id：主鍵字段，自動取值。

②title：通過字段定位取值，按ctrl+單擊標題，確認選取。

③content字段：

9.關聯數據表

先選擇對應表結構，然后再創建關聯數據表，如圖所示。

選擇所需的表結構，點擊【創建】按鈕。創建表名稱可隨意填寫，需注意開頭僅可使用英文字母，可加數字。中文名稱不能作為表名稱。

10.模板預覽

通過預覽，可以了解配置是否能夠正確地采集到所需數據。點擊【采集預覽】按鈕，可以從入口頁逐層預覽各個模板的數據。

點擊任意一條鏈接，看看是否可以得到和網頁對應的規整的數據。