问题描述
我编写了一个Python脚本,该脚本将从第3方API中提取数据并将其推送到我在AWS RDS中设置的SQL表中。 我想自动执行此脚本,以使其每天晚上运行(例如,该脚本只需大约一分钟即可运行)。 我需要找到一个合适的位置和方式来设置此脚本,以使其每天晚上运行。
我可以设置一个EC2实例,并在该实例上执行cron作业,然后从那里运行它,但是将EC2实例整天保持活动状态(每晚仅运行1分钟)似乎很昂贵。 AWS数据管道是否可以用于此目的? 还有其他更好的选择吗?
(在Google搜索时,我看到过讨论过类似的话题,但没有看到最新的答案。)
谢谢
1楼
根据您的情况,我认为您可以尝试在数据管道中使用shellCommandActivity。 它将启动一个ec2实例,并按计划执行您向数据管道提供的命令。 完成任务后,管道将终止ec2实例。
这是文档:
2楼
或者,您可以使用第三方服务,例如 。 Crono是一个简单的REST API,可通过编程方式管理基于时间的作业。