Opinion Miner

In Mac OS and Python 2.7,  Scrapy has an issue, which can not read request.seen file. So when you use JOBDIR setting to pause and resume task, the duplicate filter does not work. You have to change the source code of Scapy Path: /Library/Python/2.7/site-packages/scrapy/dupefilter.py class RFPDupeFilter(BaseDupeFilter): """Request Fingerprint duplicates filter""" def __init__ ( self , path= None , debug= False ): self .file = None self .fingerprints = set () self .logdupes = True self .debug = debug if path: self .file = open (os.path.join(path, 'requests.seen' ), 'a+' ) self.file.seek(0) self .fingerprints.update(x.rstrip() for x in self .file) Red line is added. Reference: http://stackoverflow.com/questions/14639936/how-to-read-from-file-opened-in-a-mode

File object is not only an  iterable , it is an  iterator , which is why it can only traverse the file once. You may reset the file cursor with  .seek(0)  as many have suggested but you should, in most cases, only iterate a file once. Reference http://stackoverflow.com/questions/16994552/is-file-object-in-python-an-iterable

What you could do (at least in NetBeans 6.5) is following: add dependency to the library in your pom go to Projects->your project->Libraries (you should see the library with exclamation mark) right click on the library, choose 'Manually install artifact' select the jar from local drive, 'Install locally' and you are done!

ALTER TABLE `table` AUTO_INCREMENT =1 reference: http://tieba.baidu.com/p/2696736622

使用Scrapy 抓取 http://www.yakergong.net/blog/archives/500 轻松定制网络爬虫 http://blog.pluskid.org/?p=366&cpage=1#comments

如下例子 http://chenqx.github.io/2014/12/23/Spider-Advanced-for-Dynamic-Website-Crawling/ Recursively crawling http://epigos.me/post/recursively-crawling-a-website-with-python-and-scrapy/

当今中国有句顺口溜， 叫做：穷的时候种稻， 富的时候种草。我虽然 不富，但也种了几年的 草。我对种草其实懂得 不多，虽自学不辍，但 终未成才。不过到底种 了几年的草，心得和体 会总是有的。现在把我 的心得体会写出来，希 望对房前屋后有块小草 坪的朋友们，不管是穷 还是富，都有些帮助。 草地上的草，都属于禾 本科（Grass Family），与竹 子、水稻、小麦、甘蔗 和狗尾巴花是同一个科 的植物。从个体的数量 和分布的范围来讲，禾 本科植物应该是植物界 最大的科了。草本的禾 本科植物通常有两种生 长的形态，一种叫蓬草 (bunch grass)，一种叫 坪草(sod grass)。用来做 草坪的草，当然都是坪 草 。坪草的物种和品种很 多，不同地区不同气候 条件种的草不一样，但 也有一些共性。一般来 说，当地商店里买的草 籽（grass seeds）和草皮（ sod），都是比较适 合当地的自然条件的。 一．维护和保养草坪必 做的四件事情 1．割草。定期割草， 不仅能使草坪美观，而 且也可防止或减缓坪草 从营养生长到生殖生长 的过渡。营养生长就是 长叶子，生殖生长就是 开花结籽。很多人都知 道，春天的时候有一段 时间不割草，草就开花 结籽了。大家也见过， 边边角角割不到草的地 方，那里的草就会开花 结籽。 2．浇水。对北美大部 分地区来说，春秋天时 可视情况少浇水甚至不 浇水。草地最需要浇水 的时候是夏天，因为夏 天最热最干，水分蒸发 快。至于浇水要多频繁 ，那就看你想草地是保 绿，还是保命。如果想 保绿，那草地每星期得 有一英寸的水量。除非 有自动浇水系统，浇水 是很费时间的，也费钱 。我只想我的草地保命 ，所以我的草地夏天基 本不浇水，只在特别容 易干死的草地或在特别 干旱的年份浇点水。所 以到8-9月份的时候 ，我的草地就黄黄的了 ，有些难看。不过，一 场秋雨来，草地依旧绿 。 3．施肥。草地的肥料 应以氮素为主，钾素得 有一点，但磷的含量可 以很低。我用的最多的 草坪肥料是30-0- 4。现在有一种运动， 推崇不含磷素的草地肥 料，因为磷素施用过多 ，会引起水体（如湖泊 ，池塘）的富营养化。 施肥的话，还是得买个 撒肥机（spread er/broadca ster），手持的或 手推的型号都行，当地 商店都有卖的。没有撒 肥机，肥料会撒得很不 均匀。 4．杂草...