基於BeautifulSoup對PTT Stock文章列表爬蟲
HW要求¶
目標網站:https://www.ptt.cc/bbs/Stock/index.html
想了解 PTT Stock 板目前有哪些熱門投資話題,以及鄉民正在關注哪些股票與市場消息。請擷取最新文章列表,整理文章熱度、作者與發布資訊,並對文章標題進行簡單分類。
請擷取下列欄位:
- 推文數
- 文章標題
- 作者
- 日期
- 文章網址
資料處理要求:
- 被刪除的文章可能沒有作者或文章網址,仍須保留該筆資料,並將缺少的欄位標示為「資料缺漏」。
- 推文數可能顯示為 爆,請轉換成統一的數值格式,例如將 爆 轉換為 100。
- 推文數可能顯示負數,例如 X1、X2,請分別轉換為 -10、-20。
- 沒有推文的文章可能不會顯示推文數,請將推文數記錄為 0。
- 使用 urljoin() 將文章的相對網址轉換為完整網址。
- 將擷取結果整理成 Pandas DataFrame。
- 將資料儲存為 PTTStock文章.csv,編碼使用 utf-8-sig,避免透過 Excel 開啟時出現中文亂碼。