python制作的简单的爬虫
暗夜幽灵2015/07/27软件综合 IP:黑龙江
没事写的一个python爬虫,目前只提供了抓取贴吧小说的分析脚本,想要分析别的从analyser/XXXXXXXXXXX里的analyser类派生分析器.分析器怎样写参考XXXXXXXX
用法:
<code class="lang-bash">ncap.py -u url -a analyser -o output [-g agent] [analyser_parameters]</code>
url是啥不用说了,analyser是analyser目录下的分析脚本,打文件名就行了,不要打py.output是输出的文件,agent是浏览器的user-agent标识

像这样
<code class="lang-bash">ncap.py -u  http://tieba.baidu.com/p/xxxxx?see_lz=1 -a tieba -o xxx.txt</code>
然后这个帖子所有楼都被抓到xxx.txt里了
点完只看楼主在复制url的话只抓楼主
东西在github上,github地址:XXXXXXXXXXXXXXXXXX/darknightghost/ncap
来自:计算机科学 / 软件综合
7
已屏蔽 原因:{{ notice.reason }}已屏蔽
{{notice.noticeContent}}
~~空空如也
smith
9年5个月前 IP:广东
781993
楼主有现在python登陆贴吧可用的代码吗,直接账户密码非cookie模式的。
貌似现在只能用cookie登陆了,这样使得做一些事情[s::lol]很不方便。
引用
评论
加载评论中,请稍候...
200字以内,仅用于支线交流,主线讨论请采用回复功能。
折叠评论
暗夜幽灵作者
9年5个月前 IP:黑龙江
782142
引用 smith:
楼主有现在python登陆贴吧可用的代码吗,直接账户密码非cookie模式的。
貌似现在只能用cookie登陆了,这样使得做一些事情很不方便。
没注意过这方面,直接构造HTTP GET提交或POST提交登录不了么?
引用
评论
加载评论中,请稍候...
200字以内,仅用于支线交流,主线讨论请采用回复功能。
折叠评论
smith
9年5个月前 IP:广东
782159
引用 暗夜幽灵:
没注意过这方面,直接构造HTTP GET提交或POST提交登录不了么?
你试试就知道了,登陆不了。百度这么做使得一大批发帖机爆吧机都用不了
引用
评论
加载评论中,请稍候...
200字以内,仅用于支线交流,主线讨论请采用回复功能。
折叠评论
phpskycn
9年5个月前 IP:浙江
783285
建议LZ把代码作为附件传到论坛上一份,github有时候会被墙,国内有些地方即使没被墙访问也巨慢
引用
评论
加载评论中,请稍候...
200字以内,仅用于支线交流,主线讨论请采用回复功能。
折叠评论
暗夜幽灵作者
9年5个月前 IP:黑龙江
783328
引用 phpskycn:
建议LZ把代码作为附件传到论坛上一份,github有时候会被墙,国内有些地方即使没被墙访问也巨慢
安装一个git直接clone不卡
引用
评论
加载评论中,请稍候...
200字以内,仅用于支线交流,主线讨论请采用回复功能。
折叠评论
暗夜幽灵作者
9年5个月前 IP:黑龙江
783330
引用
评论
加载评论中,请稍候...
200字以内,仅用于支线交流,主线讨论请采用回复功能。
折叠评论

想参与大家的讨论?现在就 登录 或者 注册

所属专业
所属分类
上级专业
同级专业
暗夜幽灵
进士 机友 笔友
文章
4
回复
32
学术分
0
2015/07/26注册,3年10个月前活动
暂无简介
主体类型:个人
所属领域:无
认证方式:手机号
IP归属地:黑龙江
文件下载
加载中...
{{errorInfo}}
{{downloadWarning}}
你在 {{downloadTime}} 下载过当前文件。
文件名称:{{resource.defaultFile.name}}
下载次数:{{resource.hits}}
上传用户:{{uploader.username}}
所需积分:{{costScores}},{{holdScores}}下载当前附件免费{{description}}
积分不足,去充值
文件已丢失

当前账号的附件下载数量限制如下:
时段 个数
{{f.startingTime}}点 - {{f.endTime}}点 {{f.fileCount}}
视频暂不能访问,请登录试试
仅供内部学术交流或培训使用,请先保存到本地。本内容不代表科创观点,未经原作者同意,请勿转载。
音频暂不能访问,请登录试试
支持的图片格式:jpg, jpeg, png
插入公式
评论控制
加载中...
文号:{{pid}}
投诉或举报
加载中...
{{tip}}
请选择违规类型:
{{reason.type}}

空空如也

加载中...
详情
详情
推送到专栏从专栏移除
设为匿名取消匿名
查看作者
回复
只看作者
加入收藏取消收藏
收藏
取消收藏
折叠回复
置顶取消置顶
评学术分
鼓励
设为精选取消精选
管理提醒
编辑
通过审核
评论控制
退修或删除
历史版本
违规记录
投诉或举报
加入黑名单移除黑名单
查看IP
{{format('YYYY/MM/DD HH:mm:ss', toc)}}