产品分析,竞品分析,或者市场数据收集建立自己的行业数据库,都需要一定的网页数据收集。以线下为主体的传统型公司没有技术人员,只有安排文员,行政之类的非技术人员利用闲暇时间做这些看似不起眼的工作。实际网页数据收集是一门很深的学问,甚至已经发展为一门行业。下面为一些非技术人员,提供几个思路: 1,excel的宏采集。如果你经常做EXCEL表格,也有研究宏,公式之类的,可以尝试这种方式,但是只限于一些比较...

在一些特殊网页或者App的数据采集过程中,有一些post或者get随机参数是系统加密的,为例模拟请求 获取数据,可以使用Fiddler的Rules-Customize Rules 保存参数到指定文件 ; 1,如果是app,可以先模拟相关操作,然后用Fiddler监控抓包 2,方法:Fiddler-Rules-Customize Rules,里面都是js代码 然后可以在 onBeforeReques...

比较正规的解决路径参考 http://developer.amap.com/ 昨天客户需要采集高德商家的数据,找接口找了半天: cityCode: http://ditu.amap.com/service/cityList?version=1 这里有全国城市对应code列表 【备用地址】https://www.vanfon.net/demo/amap_cityCode.txt 另外就是城市对应商圈...