Laravel

上面这个图是我设计的爬虫架构，这个架构逻辑比较简单。 首先是链接池，链接池存储需要爬取的网页链接，每个链接有当前爬取状态，尝试次数等信息，爬取状态分为：waiting（等待），going（正在进行），success（爬取成功），fail（爬取失败）。链接的默认状态是waiting，当爬虫正在爬取这个链接的内容的时候，链接进入going状态，链接内容爬取成功进入success状态，爬取失败进入fail状态。链接的另一个参数是尝试次数，当链接爬取失败则尝试次数加1并再次进入waiting状态，设定尝试次数阈值，比如设定阈值为3，当尝试次数超过3次，则进入fail状态。 爬虫管理者负责创建爬虫任务，我们可以创建一个task来定期运行爬虫管理者。爬虫管理者从爬虫池中选取一定数量的处于waiting状态的链接，创建爬虫任务。 爬虫任务接受一个目标链接，然后针对链接的格式运行对应的解析器。如果发现新的目标链接，则将新发现的链接放入链接池。这个地方需要注意的是爬虫在请求链接内容的时候，要使用代理，这样可以防止同一个ip频繁请求被封的情况。 刚开始链接池是空的，所以我们需要放入第一个目标链接，这样爬虫会不断的发现新链接，然后将新链接作为目标链接再次爬取内容，如果效果好的话，爬虫会一直运行知道没有新的链接发现未知。

有时候我们会创建一个函数，在任何地方都可以调用，这个和laravel自带的助手函数类似。目前很多教程的方法是创建一个helpers.php文件，然后通过composer.json中添加自动加载这个文件，但是随着文件的增长，这个文件会变得很难管理。我们的解决方法是将作用类似的函数放在同一个文件中，这样更加清楚和可读。首先我们需要创建一个 HelperServiceProvider.php：php artisan make:provider HelperServiceProvider 运行上面的命令之后，我们就在appProviders文件夹中创建好了HelperServiceProvider.php文件。打开刚才创建好的Provider文件，我们可以移除boot()方法，在这里我们不会用到这个方法。在register()函数中输入如下代码：public function register()…