这是一篇关于自己写贴吧图片下载器的总结。 起初是室友说要做一个贴吧的信息收集爬虫,于是打算先从简单一点的开始,先做一个贴吧的图片下载吧,之后再把获取图片改成获取背的内容不就好了,然后就开始写了这个爬虫。现在这个Python脚本主要用到了下面的一些东西。
用到的Python模块requests(Python下的HTTP客户端实现)BeautifulSoup(一个很方便的html语法分析工具)colorama(在控制台输出彩色的threading(我用到了多线程的一些东西)signal(Python下和信号相关的东西)OptionParser(很方便的命令行参数配置工具)threadpool(一个菊苣写的Python线程池实现)原理的部分其实思路很简单,随便找一个帖子,比如这个