在跨境電商領域，Shopee作為東南亞及中國臺灣地區領先的電商平臺，擁有海量的商品信息。無論是進行市場調研、數據分析，還是尋找熱門商品，獲取Shopee店鋪的所有商品信息都是一項極具價值的任務。然而，手動瀏覽和整理這些信息顯然是低效且容易出錯的。幸運的是，通過編寫Python爬蟲程序，我們可以高效地完成這一任務。本文將詳細介紹如何利用Python爬蟲獲取Shopee店鋪的所有商品信息，并提供完整的代碼示例。
一、為什么選擇Python爬蟲？
Python因其簡潔的語法和強大的庫支持，成為爬蟲開發的首選語言之一。以下是Python爬蟲的幾個優勢：
- 豐富的庫支持Python擁有強大的第三方庫，如requests用于發送網絡請求，BeautifulSoup用于解析HTML頁面，pandas用于數據處理和存儲。
- 易學易用Python語法簡潔，易于上手，適合初學者快速入門。
- 強大的社區支持Python擁有龐大的開發者社區，遇到問題時可以輕松找到解決方案。
二、準備工作
在開始編寫爬蟲之前，我們需要做好以下準備工作：
- Python環境確保你的電腦上安裝了Python（推薦使用Python 3.8及以上版本）。
- 安裝必要的庫我們需要以下Python庫：requests：用于發送HTTP請求。pandas：用于將數據存儲為表格格式，方便后續分析。安裝這些庫非常簡單，只需要運行以下命令即可：bash復制pip install requests pandas
三、代碼實現
1. 發送HTTP請求獲取商品列表
Shopee提供了API接口用于獲取店鋪的所有商品。通過店鋪ID，我們可以發送請求并獲取商品列表。
示例代碼：
Python
import requests
import pandas as pd
def fetch_shopee_shop_products(shop_id, limit=100, offset=0):
url = f"https://shopee.tw/api/v2/shop/get_items?shopid={shop_id}&limit={limit}&offset={offset}"
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36",
"Accept": "application/json"
}
response = requests.get(url, headers=headers)
if response.status_code == 200:
return response.json()
else:
print(f"請求失敗，狀態碼：{response.status_code}")
return None
def save_products_to_csv(products, file_path):
product_details = []
for item in products:
product_details.append({
"商品名稱": item.get("name", ""),
"價格": item.get("price", 0) / 100000, # Shopee價格單位為分
"庫存": item.get("stock", 0),
"銷量": item.get("sold", 0),
"商品鏈接": f"https://shopee.tw/{item.get('name', '')}-i.{item.get('shopid', '')}.{item.get('itemid', '')}"
})
df = pd.DataFrame(product_details)
df.to_csv(file_path, index=False, encoding="utf-8-sig")
print(f"商品列表已保存到 {file_path}")
if __name__ == "__main__":
shop_id = "123456789" # 替換為實際店鋪ID
output_file = "shopee_shop_products.csv"
all_products = []
offset = 0
limit = 100
while True:
data = fetch_shopee_shop_products(shop_id, limit, offset)
if not data or not data.get("items"):
break
all_products.extend(data.get("items", []))
offset += limit
save_products_to_csv(all_products, output_file)四、注意事項
- 遵守法律法規在抓取數據時，請確保遵守相關法律法規，尊重數據的版權和隱私。
- 尊重網站規則遵循Shopee的robots.txt文件規定，合理設置請求頻率，避免對服務器造成過大壓力。
- 異常處理在實際開發中，建議添加異常處理機制，以應對網絡請求失敗、數據解析錯誤等情況。
- 反爬蟲機制Shopee可能會有反爬蟲機制，例如設置頻率限制或驗證碼等。為了避免被封禁，建議使用代理IP、隨機延時等方法。
五、總結
通過上述代碼示例，我們可以輕松實現獲取Shopee店鋪所有商品信息的功能。Python爬蟲不僅具有強大的功能和穩定性，還可以通過豐富的庫支持實現高效的數據抓取和解析。希望這篇文章能為你提供一些啟發和幫助。如果你對爬蟲開發有更多興趣，可以嘗試探索更復雜的功能，如多線程爬取、數據可視化等。
如果你在實踐中遇到任何問題，歡迎隨時交流和討論。讓我們一起用技術的力量，解鎖更多可能！
