mit=item.find('div',class_='p-mit').strong.get_text(strip=true)ifitem.find('div',class_='p-mit')else'0'

books.append([title,price,shop,mit])

exceptattributeerrorase

print(f"解析錯誤{e},跳過此項")

continue

df=pd.dataframe(books,columns=['書名','價格','店鋪','評價數(shù)'])

df.to_csv('jd_math_books_page1.csv',index=false,encoding='utf-8-sig')

短短幾十行代碼，他調(diào)試了大半天。問題層出不窮：標(biāo)簽class名不準(zhǔn)確、某些商品信息缺失導(dǎo)致find返回none進而引發(fā)attributeerror、價格符號和評價文本中夾雜著“￥”、“+”等需要清洗的字符、以及最棘手的――京東的部分商品信息是通過javascript動態(tài)加載的，直接請求html頁面獲取不到。他不得不學(xué)習(xí)使用requests抓取實際的接口數(shù)據(jù)（通過開發(fā)者工具查看work中的xhr請求），這比解析靜態(tài)html復(fù)雜得多。

第四、五天：優(yōu)化、多頁抓取與當(dāng)當(dāng)網(wǎng)適配。

解決動態(tài)加載問題后，他增加了循環(huán)，嘗試抓取前5頁數(shù)據(jù)（約100條）。他加入了time.sleep(random.uniform(1,3))在每次請求之間隨機休眠1-3秒，避免訪問過快觸發(fā)反爬。數(shù)據(jù)存儲也從單頁覆蓋改為追加模式。

接著，他用類似的方法分析當(dāng)當(dāng)網(wǎng)的結(jié)構(gòu)，編寫了適配的爬蟲腳本。當(dāng)當(dāng)?shù)姆磁浪坪跞跻恍撁娼Y(jié)構(gòu)也略有不同，需要調(diào)整選擇器。

第六天：數(shù)據(jù)清洗與初步分析。

他成功抓取了京東156條、當(dāng)當(dāng)189條有效數(shù)據(jù)。但原始數(shù)據(jù)很“臟”：價格是字符串“￥39.80”，需要提取數(shù)字；評價數(shù)可能是“2萬+”，需要轉(zhuǎn)換為近似數(shù)值（如20000）；店鋪名有冗余信息。他用pandas進行了清洗：

#價格清洗

df['價格']=df['價格'].str.replace('￥','').astype(float)

#評價數(shù)清洗（簡化處理，將“萬+”乘以10000）

defclean_mit(x)

if'萬'instr(x)

returnfloat(str(x).replace('萬+','').replace('萬',''))*10000

else

returnfloat(str(x).replace('+',''))

df['評價數(shù)']=df['評價數(shù)'].apply(clean_mit)

清洗后，他進行了快速的探索性分析：

1.價格分布：用df['價格'].describe()和直方圖查看。初中數(shù)學(xué)教輔價格主要集中在20-60元區(qū)間，均價約35元，但也有少數(shù)高端教輔（如競賽專題）價格超過100元。

2.銷量（評價數(shù)）與價格關(guān)系：繪制散點圖，發(fā)現(xiàn)評價數(shù)（粗略代表銷量）與價格呈微弱負(fù)相關(guān)，但高評價的爆款往往集中在30-50元這個“黃金價格帶”。

3.店鋪分析：發(fā)現(xiàn)銷量高的店鋪，除了官方自營，主要是幾家大型專營教輔的圖書專營店。個人小店鋪銷量普遍很低。

4.競品初步觀察：篩選出評價數(shù)最高的前20本書，查看其書名、特點。發(fā)現(xiàn)暢銷品集中在幾個系列（如“五年中考三年模擬”、“教材全解”、“實驗班”等），且名稱中常包含“必刷題”、“壓軸題”、“沖刺”等關(guān)鍵詞，緊扣應(yīng)試痛點。

第七天：整合與洞察。

_c