全国服务热线:13226870735

位置:郑州优就业IT培训学校 > 学校动态 > APScheduler概念与组件

APScheduler概念与组件

来源:郑州优就业IT培训学校时间:2021/3/31 9:36:12

  Python定时任务框架APScheduler基础知识分享,APScheduler十分方便,课基于日期、固定时间间隔以及crontab类型任务在主程序的运行过程中增加新作业或删除旧作业,若把作业存储在数据库中作业的状态会被保存,当调度器重启时不必重新添加作业,作业会恢复原状态继续执行。

郑州优就业IT培训学校

  定时任务框架APScheduler基础知识
  一、定时任务框架APScheduler是什么?
  在实际开发中会碰到重复性或周期性的任务,如每天定时爬取某个网站的数据、一定周期定时运行代码训练模型等,类似这类的任务通常需要手动来进行设定或调度,以便其能够在设定好的时间内运行。
  在Windows上可以通过计划任务来手动实现,而在Linux系统上往往会用到更多关于crontab的相关操作。但手动管理并不是一个很好的选择,如果需要有十几个不同的定时任务需要管理,每次通过人工来进行干预有些笨拙,这时候就真的是“人工智能”了。
  将这些定时任务的调度代码化才能够从这种手动管理的纯人力操作中解脱出来。在Python生态中对于定时任务的一些操作:
  1、schedule:第三方模块,该模块适合比较轻量级的一些调度任务,但却不适用于复杂时间的调度
  2、APScheduler:第三方定时任务框架,是对Java第三方定时任务框架Quartz的模仿与移植,能提供比schedule更复杂的应用场景,并且各种组件都是模块化,易于使用与二次开发。
  3、Celery Beat:属于celery这分布式任务队列第三方库下的一个定时任务组件,如果使用需要配合RabbitMQ或Redis这类的消息队列套件,需要花费一定的时间在环境搭建上,但在高版本中已经不支持Windows。
  为了满足能够相对复杂的时间条件,又不需要在前期的环境搭建上花费很多时间的前提下,选择APScheduler来对调度任务或定时任务进行管理是个性价比极高的选择。
  二、APScheduler概念与组件
  这一框架的简单易用。在使用APScheduler之前,需要对这个框架的一些概念简单了解,主要有那么以下几个:触发器、任务持久化、执行器、调度器。
  (一)触发器(trigger)
  触发器用以触发定时任务的组件,在APScheduler中主要是指时间触发器,并且主要有三类时间触发器可供使用:
  date:日期触发器。日期触发器主要是在某一日期时间点上运行任务时调用,是APScheduler里面简单的一种触发器。通常也适用于一次性的任务或作业调度。
  interval:间隔触发器。间隔触发器是在日期触发器基础上扩展了对时间部分,如时、分、秒、天、周这几个部分的设定。用以对重复性任务进行设定或调度的一个常用调度器。设定了时间部分之后,从起始日期开始会按照设定的时间去执行任务。
  cron:cron表达式触发器。cron表达式触发器就等价于Linux上的crontab,它主要用于更复杂的日期时间进行设定。但需要注意的是APScheduler不支持6位及以上的cron表达式多只支持到5位。
  (二)、任务持久化(job stores)
  任务持久化主要是用于将设定好的调度任务进行存储,即便是程序因为意外情况,如断电、电脑或服务器重启时,只要重新运行程序时APScheduler就会根据对存储好的调度任务结果进行判断,如果出现已经过期但未执行的情况会进行相应的操作。APScheduler为提供了多种持久化任务的途径,默认是使用memory也就是内存的形式,但内存并不是持久化好的方式。好的方式则是通过像数据库这样的载体来将定时任务写入到磁盘当中,只要磁盘没有损坏就能将数据给恢复。APScheduler支持的且常用的数据库主要有:
  sqlalchemy形式的数据库,这里就主要是指各种传统的关系型数据库,如MySQL、PostgreSQL、SQLite等。
  mongodb非结构化的Mongodb数据库,该类型数据库经常用于对非结构化或版结构化数据的存储或操作,如JSON。
  redis内存数据库,通常用作数据缓存来使用,当然通过一些主从复制等方式也能实现当中数据的持久化或保存。
  通常可以在创建Scheduler实例时创建,或是单独为任务指定。配置的方式相对简单,只需要指定对应的数据库链接即可。
  (三)执行器(executor)
  执行器顾名思义就是执行任务的对象,在计算机内通常要么是CPU调度任务,要么是单独维护一个线程来运行任务。所以APScheduler里的执行器通常就是ThreadPoolExecutor或ProcessPoolExecutor这样的线程池和进程池两种。当然如果是和协程或异步相关的任务调度,还可以使用对应的AsyncIOExecutor、TwistedExecutor和GeventExecutor三种执行器。
  (四)调度器(scheduler)
  调度器的选择主要取决于你当前的程序环境以及APScheduler的用途。根据用途的不同,APScheduler又提供了以下几种调度器:
  BlockingScheduler:阻塞调度器,当程序中没有任何存在主进程之中运行东西时,就则使用该调度器。
  BackgroundScheduler:后台调度器,在不使用后面任何的调度器且希望在应用程序内部运行时的后台启动时才进行使用,如当前你已经开启了一个Django或Flask服务。
  AsyncIOScheduler:AsyncIO调度器,如果代码是通过asyncio模块进行异步操作,使用该调度器。
  GeventScheduler:Gevent调度器,如果代码是通过gevent模块进行协程操作,使用该调度器
  TornadoScheduler:Tornado调度器,在Tornado框架中使用
  TwistedScheduler:Twisted调度器,在基于Twisted的框架或应用程序中使用
  QtScheduler:Qt调度器,在构建Qt应用中进行使用。
  通常情况下如果不是和Web项目或应用集成共存,那么往往都BlockingScheduler调度器来进行操作,它会在当前进程中启动相应的线程来进行任务调度与处理;反之,如果是和Web项目或应用共存,那么需要选择BackgroundScheduler调度器,因为它不会干扰当前应用的线程或进程状况。基于对以上的概念和组件认识,就能基本上摸清APScheduler的运行流程:
  1、设定调度器用以对任务的调度与安排进行全局统筹
  2、对相应的函数或方法上设定相应的触发器,并添加到调度器中
  3、如有任务持久化需要则需要设定对应的持久化层,否则默认使用内存存储任务
  4、当触发器被触发时,就将任务交由执行器进行执行
领取试听课
每天限量名额,先到先得

尊重原创文章,转载请注明出处与链接:http://www.peixun360.com/3167/news/340259/违者必究! 以上就是郑州优就业IT培训学校 小编为您整理 APScheduler概念与组件的全部内容。

温馨提示:提交留言后老师会第一时间与您联系!热线电话:13226870735