基於BeautifulSoup對Quotes to Scrape自動翻頁
HW要求¶
目標網站:https://quotes.toscrape.com/
前一題只取得首頁資料,但完整的名言資料分散在多個頁面。請修改程式,讓爬蟲自動尋找「Next」連結,直到沒有下一頁才停止。
程式要記錄:
- 目前正在爬第幾頁
- 目前頁面的網址
- 該頁取得幾筆資料
- 全部累積幾筆資料
完成後:
- 將所有頁面的名言合併。
- 根據「名言+作者」移除重複資料。
- 顯示總頁數與總筆數。
- 儲存為 完整名人名言.csv。
目標網站:https://quotes.toscrape.com/
前一題只取得首頁資料,但完整的名言資料分散在多個頁面。請修改程式,讓爬蟲自動尋找「Next」連結,直到沒有下一頁才停止。
程式要記錄:
完成後: