• 微信

新文章监控提醒工具工作原理及功能解说,看完解决你的疑惑

539次浏览 更新日期:2020-11-08 22:34:49 分类:综合 评论:0

admin 2017-02-09 22:57:42
启动软件后,右键软件左侧,选择“创建一个监控方案”即可打开创建方案。

认识软件创建规则的界面:

引用:
采集配置区:写个规则从列表中取出所有文章;数据项区:采集到文章信息后,告诉软件采集的内容中哪里是文章的标题,哪里是链接
测试结果区:显示采集配置区的测试结果,及辅助写数据项
测试源码区:显示监控的网址的源码。以此源码写规则

注:操作时,测试源码区的上方会给出当前操作的提示。引导如何配置。

[attach]44[/attach]

先用理论描述一下创建规则的步骤(灰色字体为选填项):
1
引用:
一、方案名称:自己定义个网站的标识。方便自己识别用的
二、监控网址:填写被监控的网址。告诉软件监控哪个网址中的新文章
三、请选择分类:把这个方案归类到哪个分类下面
四、gbk编码:不同网页编码不同,若是选错,测试区源码汉字会变成乱字,
五、COOKIE:填写COOKIE即能以登陆的身份正常访问到网页,有些网页不登陆看不到文章列表,这时就要填COOKIE了
六、列表区域:可选择是否启动。若不启动,从整个网页取文章。若启动,则只取自己设置区域中的文章(不启用时,时间倒序和时间正序不能用!)
七、匹配规则:这个不好描述。先说下规则,文本变量、数值分别用 [var]、[int] 表示,[var0]、[int0]则表示匹配但不显示(比如标题有时红色有黑色,用[var0]可代表颜色,但是我们不需要颜色信息,故隐藏)。从源码区中找出一条文章的完整源码并复制出来。将这条文章的源码中的标题,网址信息都用 [var]、[int] 等匹配符替换掉,即可![indent]实战示例(要略懂html):若每条文章的区域源码是 <a style="color:#f00" href=http://bbs.kakawz.com/333/"http://bbs.kakawz.com/forum.php?mod=viewthread&tid=11878">网站新文章实时监控提醒工具</a> [backcolor=initial]我们只需要提取文章中网址及标题,其它信息将舍弃,那么规则可以这样写: <a style="color:#f00" href=http://bbs.kakawz.com/333/"[var]">[var]</a> [/backcolor][backcolor=initial]这样的规则即可匹配出文章的标题与链接,但标题的颜色值有可能非红色,即,color不全是#f00,故匹配时,#f00也需要当作变量处理,优化后的规则即为:<a style="color:[var]" href=http://bbs.kakawz.com/333/"[var]">[var]</a>,前面说了,不需要的变量可用[var0]隐藏匹配,再次优化即为:[/backcolor] <a style="color:[var0]" href=http://bbs.kakawz.com/333/"[var]">[var] ,那么如果本条规则,有些标题有颜色,有些没有颜色,又该如何写?[/indent]八、点“规则测试”,左下角的测试结果区将显示匹配出来的所有文章。如果不显示,说明第7步的规则有问题,重复7、8二步骤,直到能正常测试到文章
OK,测试成功后,再来填写数据项一栏吧。九:选择合适的文章列表的模式

列表模式的选择:
引用:
列表倒序:列表中的文章按时间倒序排列,即先发表的文章在旧文章的上方
列表正序:同上,旧文章在上方,新发表的在旧文章下方
比较文章ID:后发表的文章id比先发表的要大
无序列表:列表中的文章排列乱,如最新回复、百度热搜榜等(所有网站都能使用此模式)。

注:
1、要监控某个网址新文章,有可能列表序列、比较文章ID及无序列表3种模式都可以监控。
2、执行效率:列表正序=列表倒序>比较文章ID>无序列表 。可考虑优先级。不用太注意效率,能匹配到文章即可,对于电脑的运算速度,肉眼根本看不出列表倒序和无序列表在处理时间上的差别。


引用:
十:在测试结果区,找到结果中的标题索引的值,填在标题索引中,如图所示索引3即是文章标题。备用索引方法同上。(当列表模式是比较id模式时,文章id索引才需要填写。且在列表规则中要把文章id匹配出来。此处为该条文章的id,若当前条id大于上轮的id,则表示当条文章是新文章)
十一:直接把文章的真实网址填写在合成网址处。再把匹配出来的网址的索引按实际网址的格式替换到网址变化的地方即可。如上图,只要将id用变量方式替换到网址格式中
十二:点新建规则,再重启软件即可


完善中,使用的常见问题请见一楼。 有疑问可回帖提出...




otho 2017-02-09 23:24:39
哈哈。我来抢沙发。


zbplaybbb 2017-02-10 08:34:06
太迟了,我已经学会了,其实可以在软件里弄一些通用规则,直接点开就能用,不用自己写规则最好


otho 2017-02-10 09:10:11
本帖最后由 otho 于 2017-2-10 09:13 编辑

引用:
zbplaybbb 发表于 2017-2-10 08:34
太迟了,我已经学会了,其实可以在软件里弄一些通用规则,直接点开就能用,不用自己写规则最好

我看网盘里有有最新版2.16.3版本了。不知道更新了什么,站长还没放出来。我今天计划降级到2.14版本了。站长标注是稳定版。呵呵

31536050 2017-02-10 09:29:06
我觉得可以增加新功能,可以选择每个网站只显示前五个文章


zbplaybbb 2017-02-10 10:22:54

引用:
otho 发表于 2017-2-10 09:10
我看网盘里有有最新版2.16.3版本了。不知道更新了什么,站长还没放出来。我今天计划降级到2.14版本了。站 ...


2.16.3版本还不错,但是不够稳定,经常出错关闭

otho 2017-02-10 11:09:06

引用:
zbplaybbb 发表于 2017-2-10 10:22
2.16.3版本还不错,但是不够稳定,经常出错关闭


我还没用,我去研究一下腾讯新闻怎么写规则……

admin 2017-02-15 09:22:09

引用:
zbplaybbb 发表于 2017-2-10 08:34
太迟了,我已经学会了,其实可以在软件里弄一些通用规则,直接点开就能用,不用自己写规则最好


也想过,不过抽不出空。恭喜能学会,这文章是整理给刚入手的同学参照的

我系阿祖 2017-02-15 13:26:12
续集续集 坐等


h666r 2017-02-21 20:56:02
cookie登录不知道怎么写,可以出个教程吗?


天意 2017-04-05 08:40:39
希望快捷键能设置成自定义的,因为ctrl+q 和其他的程序有冲突,两个自定义键还都没法手动修改。


admin 2017-04-05 18:06:23

引用:
天意 发表于 2017-4-5 08:40
希望快捷键能设置成自定义的,因为ctrl+q 和其他的程序有冲突,两个自定义键还都没法手动修改。


临时用个老板键软件去切换软件吧。

admin 2017-04-07 09:29:08
一:测试成功但是主界面无法取到新文章。

引用:
http://bbs.kakawz.com/forum.php?mod=viewthread&tid=15185http://bbs.kakawz.com/forum.php?mod=viewthread&tid=15399




hj31124 2017-04-09 16:07:29

引用:
admin 发表于 2017-4-7 09:29
常见问题一览表:整理中。


在么,大神

yjh115 2017-04-26 21:53:14
请问一下有视频教程吗???


admin 2017-04-26 22:51:01

引用:
yjh115 发表于 2017-4-26 21:53
请问一下有视频教程吗???
视频教程地址:http://www.tudou.com/programs/view/QW5xDIvSlmQ/?resourceId=818487600_06_02_99

yjh115 2017-04-27 09:35:14

引用:


这个地址怎么是跳到土豆视频主页?

yjh115 2017-04-27 21:27:02

引用:


用IE下载才70多KB

admin 2017-04-27 22:49:47

引用:
yjh115 发表于 2017-4-27 21:27
用IE下载才70多KB


好了。已经更换

yjh115 2017-04-28 19:15:52
版主!能帮忙看一下吗??http://bbs.hitui.com/forum-56-1.html
我把这个网站的匹配规则改好后,然后测试软件就卡死了,,是不是源代码太多了,能请版主帮我采集一下正确的规则做案例吗?


yjh115 2017-04-28 19:16:44
<th class="new"><a href="javascript:;" id="content_[int]" class="showcontent y" title="[var]" onclick="CONTENT_TID='[int]';CONTENT_ID='normalthread_[int]';showMenu({'ctrlid':this.id,'menuid':'content_menu'})"></a><em>[<a href=http://bbs.kakawz.com/333/"http://www.jvtuiba.com/forum.php?mod=forumdisplay&fid=[int]&filter=typeid&typeid=[int]">[var]] [var] 这个我匹配改好的,,麻烦版主帮我改正一下


feifei3860 2017-05-02 17:23:54
视频教程没人说话,干看对于小白来说很难看懂


admin 2017-05-02 17:44:05

引用:
feifei3860 发表于 2017-5-2 17:23
视频教程没人说话,干看对于小白来说很难看懂


你把电脑声音调最大,或许能听到些

feifei3860 2017-05-03 10:29:30

<dt><span></span><a class="a_topic" target="_blank" href=http://bbs.kakawz.com/333/"/bbs/threadqa-c-3677-[int]-1.html">[var]
</dt>
大神们帮我看下这个规则哪里出问题了?我是看着视频教程学的,不知道错在哪里
这是监控的网址http://club.autohome.com.cn/bbs/ ... eline&qaType=-1


angeng 2017-05-08 04:09:41
视频挂了,谁有收藏的,发个给我啊,谢谢!


liutaojjk 2017-05-16 11:19:34
多谢分享,其实我就想知道如何获取帖子包含某个关键字或者关键词的正则...


admin 2017-05-16 14:20:00

引用:
liutaojjk 发表于 2017-5-16 11:19
多谢分享,其实我就想知道如何获取帖子包含某个关键字或者关键词的正则...


软件自带有根据关键词判断标题有效性的功能.

zeadog 2017-06-06 08:32:16
视频教程挂了,请恢复下


墙角 2017-07-05 15:06:00
我能说我到现在都没学会写规则么


admin 2017-07-05 16:25:32

引用:
墙角 发表于 2017-7-5 15:06
我能说我到现在都没学会写规则么


你没用心…… 认真弄, 半小时够学了{:angry:}

墙角 2017-07-07 10:46:04

引用:
admin 发表于 2017-7-5 16:25
你没用心…… 认真弄, 半小时够学了


这两天研究了一下,我思维太定式了,其实有时候只要采集出来了,正则不一定要固定一个样儿{:bigsmile:}

zeadog 2017-07-11 15:06:34
请问下,比如http://news.163.com/页面中要闻这部分,网页源代码选项里是看不见的,f12里的网页分析里才可以看的到,这样的规则该怎么写?


admin 2017-07-12 09:30:33

引用:
zeadog 发表于 2017-7-11 15:06
请问下,比如http://news.163.com/页面中要闻这部分,网页源代码选项里是看不见的,f12里的网页分析里才可 ...


http://temp.163.com/special/00804KVA/cm_shehui.js?callback=data_callback 这个页面如果是不变的,可以监控这个

Wim 2017-07-14 11:15:32
我还是看不懂啊!!! 天了噜!


hao123xp 2017-07-22 15:15:53
不知道空格怎么匹配 已经匹配了一天一夜了


zeadog 2017-08-09 16:06:06

引用:
admin 发表于 2017-7-12 09:30
http://temp.163.com/special/00804KVA/cm_shehui.js?callback=data_callback 这个页面如果是不变的,可 ...


嗯,谢谢,确实是这个,http://www.wlstock.com/Hudong/hotbbstopiclist.aspx,这个也请帮忙看一看。F12翻了一阵,没找到线索,劳烦能提示下

敬爱的卡卡 2017-08-09 17:23:16

引用:
zeadog 发表于 2017-8-9 16:06
嗯,谢谢,确实是这个,http://www.wlstock.com/Hudong/hotbbstopiclist.aspx,这个也请帮忙看一看。F12 ...


这个页面的文章不是访问得到的,是post发送的数据。暂时无法监控。可以问问管理员有没有rss订阅的地址

zxczzz 2017-08-20 10:20:49
又有BUG。。。更新了在监控和提取里刷出不来,在编辑里测试就能看到。


卡卡论坛 2017-11-09 21:15:58
续签到天数:1天
签到总天数:305天


2470899818 2018-01-07 13:40:46
本帖最后由 2470899818 于 2018-1-7 13:45 编辑

监控出错了,规则书写正确,获取文章也正确,偏偏就是这个娱乐网无法获取.http://www.xiaodao.la/

对了,软件上方的"站点" "帖子标题" "入库时间" "备用" 要是能修改名字,自定义增加栏目就好了,比如我要自定义增加一个"作者" ,又或者想把"备用"修改成"日期"


看图:




admin 2018-01-07 17:42:28

引用:
2470899818 发表于 2018-1-7 13:40
监控出错了,规则书写正确,获取文章也正确,偏偏就是这个娱乐网无法获取.http://www.xiaodao.la/

对了,软 ...


应该是这个娱乐网此时确实访问不了的原因吧,多试几次看看。

另外这个娱乐网的数据项中匹配也有问题,列表中的 后发表的文章id比先发表的文章id要大 才可用这模式。你的匹配列表中的索引2大小乱的很,明显不是依次增大

624742647 2018-01-11 22:26:25
http://www.ccgp-beijing.gov.cn/xxgg/index.html?city=shi&name=shiji
这个网站的招标内容,在网站源代码里没有,请问这种情况应该怎样配置呢?


admin 2018-01-11 22:31:06

引用:
624742647 发表于 2018-1-11 22:26
http://www.ccgp-beijing.gov.cn/xxgg/index.html?city=shi&name=shiji
这个网站的招标内容,在网站源代码 ...


http://www.ccgp-beijing.gov.cn/xxgg/sjzfcggg/index.html

624742647 2018-01-11 23:03:14
大神好厉害!!!这个我倒腾了一整天都没搞懂{:rofl:}
请问这部分是怎么弄出来的呢?可以提供下思路吗


624742647 2018-01-11 23:04:09

引用:
admin 发表于 2018-1-11 22:31
http://www.ccgp-beijing.gov.cn/xxgg/sjzfcggg/index.html



大神好厉害!!!这个我倒腾了一整天都没搞懂{:call:}
请问这部分是怎么弄出来的呢?可以提供下思路吗

admin 2018-01-11 23:31:27

引用:
624742647 发表于 2018-1-11 23:04
大神好厉害!!!这个我倒腾了一整天都没搞懂
请问这部分是怎么弄出来的呢?可以提供下思路吗


网页加载方式很多种,这种是框架加载,右击区域→属性,即可看到真实页面网址

624742647 2018-01-11 23:42:11

引用:
admin 发表于 2018-1-11 23:31
网页加载方式很多种,这种是框架加载,右击区域→属性,即可看到真实页面网址


非常感谢~学习啦{:mmm:}

jasonos 2018-01-28 16:57:16
楼主求助,为什么通过不了规则啊,跪求指教,谢谢!


admin 2018-01-28 22:05:36

引用:
jasonos 发表于 2018-1-28 16:57
楼主求助,为什么通过不了规则啊,跪求指教,谢谢!


问号前要加反歇杠转义

jasonos 2018-01-29 10:36:31

引用:
admin 发表于 2018-1-28 22:05
问号前要加反歇杠转义


多谢楼主,成功解决!不过又遇到新的问题,想监控贴吧新帖,又遇到了问题,麻烦看一下,谢谢!

djcxf 2018-02-01 18:47:39
路过路过来看看了~!!~!~{:whistle:}


djcxf 2018-02-13 20:22:29
{:naturescall:}{:naturescall:}{:naturescall:}{:naturescall:}{:naturescall:}{:naturescall:}{:naturescall:}{:naturescall:}


zhongzou000 2018-02-21 01:31:17
cookie登录不知道怎么写,可以出个教程吗?http://www.you85.com/forum-57-1.html这个网址必须登录才能看到帖子,但不知道cookie怎么弄,麻烦大神指教下!


djcxf 2018-02-21 10:37:46
{:vampire:}{:vampire:}{:vampire:}{:donttalktome:}{:donttalktome:}{:donttalktome:}{:shivering:}{:shivering:}{:shivering:}{:shivering:}{:shivering:}{:shivering:}{:shivering:}


卡卡客 2018-05-11 15:06:52
感谢 ~路过~~~


fuchuntian 2018-07-16 10:38:42
已经学习两个视频,一知半解,成功了几个网站,还要再认真领会下


fuguoqiangren 2020-01-13 22:37:29
请大神看下这个网站规则,htttp://deal.ggzy.gov.cn/ds/deal/dealList.jsp?HEADER_DEAL_TYPE=02
期待大神帮助,谢谢
要是能出个教程就太好了!


我来说两句
发布新帖
版主信息