网络爬虫的概念
网络爬虫（web crawler），以前经常称之为网络蜘蛛（spider），是按照一定的规则自动浏览万维网并获取信息的机器人程序（或脚本），曾经被广泛的应用于互联网搜索引擎。使用过互联网和浏览器的人都知道，网页中除了供用户阅读的文字信息之外，还包含一些超链接。网络爬虫系统正是通过网页中的超链接信息不断获得网络上的其它页面。正因如此，网络数据采集的过程就像一个爬虫或者蜘蛛在网络上漫游，所以才被形象的称为网络爬虫或者网络蜘蛛。
如何用爬虫抓取股市数据并生成分析报表
1. 关于数据采集
股票数据是一种标准化的结构数据，是可以通过API接口访问的（不过一般要通过渠道，开放的API有一定的局限性）。也可以通过爬虫软件进行采集，但是爬虫软件采集数据不能保证实时性，根据数据量和采集周期，可能要延迟几十秒到几分钟不等。我们总结了一套专业的爬虫技术解决方案(Ruby + Sidekiq)。能够很快实现这个采集，也可以后台可视化调度任务。
2. 关于展现
网络股票数据的展现，网页端直接通过HTML5技术就已经足够，如果对界面要求高一点，可以采用集成前端框架，如Bootstrap；如果针对移动端开发， 可以使用Ionic框架。
3. 关于触发事件
如果是采用Ruby on Rails的开发框架的话，倒是很方便了，有如sidekiq, whenever这样子的Gem直接实现任务管理和事件触发。
为什么做爬虫需要大量IP地址
什么是网络爬虫，简单点说就是通过程序代码来访问指定的网页，获取网页上你想要的数据，比如你可以让他帮你实时的收集某航空网站上变动的机票价格，那么你就可以解放双手不用一直盯着网站，提升工作效率。
在爬虫程序执行的时候遇到最多的问题就是403，为什么会这样呢，因为在短时间内频繁向网站获取大量数据，会被对方服务器认为在对它进行攻击，所以拒绝我们的请求，把我们的IP封了。
如果IP被封了，那么就无法在访问这个网站，无法在获取到数据，最有效的办法就是使用HTTP代理IP，这样就可以最快速度换一个新IP，有的小伙伴会问，那我重启一下路由器不也能换新IP吗干嘛还花钱买HTTP代理IP呢，这里要说的是效率的问题，HTTP代理IP他是最快的换新IP的方式，1秒甚至可以获取到几百个新IP，但是你家里或者公司重启一次路由器需要漫长的等待，结果你只能得到1个IP，还影响家里或者公司的其他人网络的使用。-网络爬虫
一定要是使用高匿的，字面意思匿就是匿名，隐藏你真实IP的意思。这里我推荐一家华益云HTTP代理IP，他们的IP价格非常便宜，而且99%的IP都是可以正常连通的，检测通过100%都是高匿名的IP，对于新用户很友好注册就可以送1万个IP用来测试，省去了我们前期的测试费用，python新手用户还可以获取到示例代码参照。-爬虫
如果你使用了高匿的HTTP代理IP，那么这时候你爬取数据的时候对方平台所检测到的不是你本机IP，而是你所使用的代理IP的这个IP，你本机的IP已经被隐匿起来了，你短期内频繁访问目标网站获取数据，还是会给对方服务器造成压力还是会封你，但是请注意，这时候封的是你代理IP的IP，封掉了你换个IP继续工作就行了，正如我刚才所说华益云的HTTP代理IP可以1秒之内最多获得200个IP，几乎不存在换IP的间隔，所以工作效率大大提升。-网络爬虫
同时，华益云还有非常便宜的物理机服务器可以租用，爬虫程序可以直接放到服务器上运行，一个月费用跟我们自己家里电脑平时运行所需费用差不多。一大亮点就是他们的物理机服务器支持系统自带的3389远程桌面链接方式，这种远程链接方式用过的小伙伴都知道非常流畅，拨号换IP也不会断开远程，直接可以复制文件进去很方便。-爬虫
产品使用期间遇到任何问题，他们都有24小时值班客服在线解答，客服也非常的有耐心。
内容制作不易，喜欢的小伙伴可以帮忙点个赞吧感谢！
