火车采集器任务设置不排重但运行时扔提示地址重复

火车采集器在编写任务获取详情页，详情页链接地址会涉及到一个重复问题，因此排重（排除重复链接）就很有必要了。那么排重要如何设置呢，也很简单，在下图那里不选择检测重复网址就可以了。

哪有人可能就会问了，我这里没选择重复但是任务运行的时候还是提示排除重复地址了，这个是什么原因呢！

这里涉及到一个局部排重和全局排重的问题，在列表页获取详情页时会有一个局部排重，会把获取到的链接进行排重。这个是局部排重，而任务设置检测重复网址是全局排重。这个局部排重和全局排重没关系，局部排重是默认就有，也不能去掉。因此运行任务的时候会有提示重复网址，但是这个并不影响。

如果你还有其它疑问可以来本站搜索相关问题，这里会有你想要的答案：大海资源库