.jpg)
專 欄
❈
蜗牛仔，Python中文社区专栏作者，怒学Python爬虫，争当爬虫工程师，
github地址：
https://github.com/xiaobeibei26
股票投资小常识：当下最值得投资的好股票，需要结合国家的发展和政策来判断，夕阳行业和周期行业需要谨慎投资，因为这两类行业的股票，需要在有政策的利好和周期复苏之际才能有行情。
❈
这个爬虫写得好累，就简单讲一下思路吧。雪球网股票的评论内容是不能直接访问的，必须要携带在第一次访问时雪球网写进本地的cookie（其实你随便打开一次官网就是属于第一次访问了，那时候 不需要cookie），先放上github地址：https://github.com/xiaobeibei26/xueiqiu_spider爬取思路是这样的，先挖取所有股票的代码，放进数据库，然后根据股票代码爬取每一只股票的评论，多了，一定要加入代理池，我这里用的上上一篇文章写的代理池，我们给每个股票代码赋予一个状态值，一开始是outstanding，也就是1。如图：
每个进程需要知道那些股票评论爬取过了、哪些股票需要爬取！我们来给每个URL设置三种状态：
outstanding:等待爬取的股票
complete:爬取完成的股票
processing:正在进行的股票，也可能是失败的爬取股票
嗯！当一个所有初始的股票状态都为outstanding；当开始爬取的时候状态改为：processing；爬取完成状态改为：complete；失败的股票重置状态为：outstanding。为了能够处理股票进程被终止的情况、我们设置一个计时参数，当超过这个值时；我们则将状态重置为outstanding。股票代码的爬取很简单，直接访问主页就好了
代码上比较简单，如图是其中一段
爬取之后我们看看数据库
这里5000来只股票 ，接下来看看股票评论的ajax请求
随便点开一只股票，然后点击里面的讨论就会触发该请求，评论时个json数据，解析之后直接提取就好了，这里简单说说URL里面的参数,如图
这里count很好理解，是每页的评论数，访问的时候要加上，hl：0、source：user和comment：0这三个参数是一直不变的，加上就好，symbol是股票代码，访问时候必须要加上，page是评论的页数，重点需要提一提的是里面最下面那个参数，-：1493022641602，一开始看到这个我是有点懵逼的，在源代码里面各种找，确保不是在里面提取的之后，我看着这东西也是越来越眼熟，然后在Python里面试了一试，果不其然，如图
我们再处理一下
股票投资小常识：业务简单易懂是指普通人也能懂，并不是你通过学习之后才能懂。
相差的就是最后的微秒，我心中有底之后就去翻源代码里面的JS代码，果不其然，就是利用JS生成的当前访问时间，虽然我试过不加时间也能访问，但为了保险，我还是加上了，不精要大规模访问，下面是主程序，代码很长，已上传至圈内，点击阅读原文即可下载。晚上开电脑跑了一个通宵，还以为自己的高性能电脑很吊，结果也只是跑了30万条数据，上两张结果图
更多有趣的爬虫文章
使用scrapy,redis,mongodb实现的一个分布式网络爬虫
一步步教你利用Github开源项目实现网络爬虫：以抓取证券日报新闻为例
扫一扫关注Python中文社区，
获取更多技术干货！
Python 中 文 社 区
Python中文开发者的精神家园
合作、投稿请联系微信：
pythonpost
— 人生苦短，我用Python —
本文为作者原创作品，未经作者授权同意禁止转载
点击阅读原文可下载本文主程序代码
股票投资小常识：当你投资一家公司股票时，你应该用一两句话将你的买进理由（逻辑）说出来，而且，这些理由连十几岁的孩子都能听得懂。
免责声明：本站所有信息均搜集自互联网，并不代表本站观点，本站不对其真实合法性负责。如有信息侵犯了您的权益，请告知，本站将立刻处理。联系QQ：1640731186
