一个任务队列的 module
大纲
事情很曲折,我某天在萌否收音机里面听到了一首歌,很好听,叫 hypnotized
,于是红心了。
过了几天我再去听——发现这首歌变了。
最后经过多方面求证,我大概得出结果就是应该有人传错了歌,然后后来有人重新传了一遍,导致我听的不是原来那首歌了。那我那天听的那首歌到底叫什么名字呢?
然后大致看了一下,虽然歌被重新传了,但是这里显示的这首歌的时间没变!还是11分钟,目测是数据库没更新。
于是我就想了个笨办法,去爬收音机里面所有 tag 为 东方project
的专辑,然后跑到专辑页看歌曲的长度。
问题来了,如果我直接爬,然后爬完 callback
之后又直接爬,没有任何间隔,就相当于我在 DDOS
它的站子。或者即使没那么严重——反正最后到一定程度并发太大我就访问不了了。
于是我就想到了做一个任务队列的 module。该 module 的作用就是把一堆任务扔到队列中,完成一个才开始下一个。
然后如果同时执行一个也太慢,module 还允许你开多几个子队列同时执行。
模块的 repo 在 GitHub 上面。名字叫 Scarlet Task
的原因一是我本身就喜欢二小姐,二是为了纪念这次事件我是为了找有关二小姐的歌。
要安装也很简单:
$ npm install scarlet-task |
然后 repo 的 README.md
里面有使用方法的——大致就是实例化一个对象,然后定义好某个任务的任务标识(可以是字符串,可以是 json 对象,可以是任何类型的数据),然后再定义好处理这个任务的函数,将这个数据推倒队列中即可。然后在处理函数中任务处理完的时候执行以下任务完成的函数即可。