das进行了清洗:
# 价格清洗
df['价格'] = df['价格'].str.replace('¥', '').astype(float)
# 评价数清洗(简化处理,将“万+”乘以10000)
def clean_commit(x):
if '万' in str(x):
return float(str(x).replace('万+','').replace('万','')) * 10000
else:
return float(str(x).replace('+',''))
df['评价数'] = df['评价数'].apply(clean_commit)
清洗后,他进行了快速的探索性分析:
1. 价格分布:用df['价格'].describe()和直方图查看。初中数学教辅价格主要集中在20-60元区间,均价约35元,但也有少数高端教辅(如竞赛专题)价格超过100元。
2. 销量(评价数)与价格关系:绘制散点图,发现评价数(粗略代表销量)与价格呈微弱负相关,但高评价的爆款往往集中在30-50元这个“黄金价格带”。
3. 店铺分析:发现销量高的店铺,除了官方自营,主要是几家大型专营教辅的图书专营店。个人小店铺销量普遍很低。
4. 竞品初步观察:筛选出评价数最高的前20本书,查看其书名、特点。发现畅销品集中在几个系列(如“五年中考三年模拟”、“教材全解”、“实验班”等),且名称中常包含“必刷题”、“压轴题”、“冲刺”等关键词,紧扣应试痛点。
第七天:整合与洞察。
他将两份数据(京东、当当)合并,去重(基于书名和价格),得到一个包含312条记录的“初中数学教辅市场样本数据”。他用新学的plotly制作了交互式仪表盘雏形,可以按价格区间、店铺类型、评价数范围进行筛选和查看。
在“商业洞察日记”中,他记录了这次爬虫实践的完整过程和主要发现:
【技能实践:爬虫抓取教辅价格数据】
• 目标:获取电商平台初中数学教辅公开数据,用于市场分析。
• 过程:
1. 技术路径:requests + BeautifulSoup + pandas。应对了动态加载、反爬休眠、数据清洗等典型问题。
2. 数据量:最终获得312条有效商品记录(京东156,当当189,去重后)。
3. 主要挑战:动态数据加载(京东)、数据字段缺失与异常、不同网站结构差异。
• 核心发现(数据层面):
1. 价格区间集中:20-60元为主,均价~35元。为知识产品定价提供参考基准。
2. “黄金价格带”:30-50元区间聚集了最多高销量商品。
3. 畅销品特征:系列化、命名直击痛点(“必刷”“冲刺”“压轴”)、品牌(出版社/系列)效应明显。
4. 渠道集中:销量向头部品牌店铺和大型专营店集中,小卖家难突围。
• 对现有“教辅现金流”项目的启示:-->>
本章未完,点击下一页继续阅读