最近完成了1个爬虫项目，记录一下自己的心得。
项目功能简介
根据用户输入商品名称、类别名称，使用Selenium, BS4等技术每天定时抓取亚马逊商品数据，使用Pandas进行数据清洗后保存在MySql数据库中.
使用Django提供用户端功能，显示商品数据，以可视化的方式分析数据，以及数据抓取任务管理等。
项目技术难点：
1）亚马逊Anti-scrape 措施较多，页面都是动态网页，因此，页面元素分析,javascript分析工作量占据大部分时间。
2）性能优化，执行任务采用异步，多进程方式运行，提供定时任务管理功能。
3）Django模板中添加Echarts Javascript 脚本进行图表绘制，自定义 filter form 提供数据。 由于时间短，未使用Vue方式。
4）保持项目的扩展性：通过爬虫任务管理器满足用户的各类搜索需求。数据库分为原始数据以及清洗数据，中间的cleaning类可以随时扩展，
5）通用绘图接口功能： 由于绘图是通过模板中的javascript脚本完成，计划另写1套通用接口,将数据、绘图类型以参数方式传入，再向django 模板插入echarts绘图脚本,
合作说明
亚马孙的商品页面依据类别、用户所在地、收货地等不同而有所不同，但毕竟是大公司产品，其页面组织是规范的，因此本项目也很容易扩展。 如有对亚马逊数据分析的合作需求，留私信留言。
原文地址:https://blog.csdn.net/captain5339/article/details/135821203
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若转载，请注明出处：http://www.7code.cn/show_61541.html
如若内容造成侵权/违法违规/事实不符，请联系代码007邮箱：suwngjj01@126.com进行投诉反馈，一经查实，立即删除！
