应用情景:
在执行spark任务时,会在/var/run/spark/work/
目录下生成任务执行的相关文件,在spark任务执行一段时间后这个目录是很好内存的,所以需要写一个定时执行删除的脚本来清空这个目录。这里是每个小时执行一次删除两个小时之前更改的文件。
执行脚本
1.删除文件脚本
具体执行删除操作的脚本代码如下:
#!/bin/bash
#删除2个小时前的文件
find /var/run/spark/work -mmin -120 -type d -name "app*" | xargs rm -rf
命令说明:
上述脚本表示:查找/var/run/spark/work
目录下,执行删除(rm -rf)在两个小时前修改过的、文件夹名称为匹配app*的目录。
2.定时任务脚本
定时任务脚本如下:
0 * * * * sh /shdx/sparkTemp/clearVar.sh 1>/dev/null 2>&1
定时任务为每个小时执行一次,将删除脚本放在/shdx/sparkTemp目录下了。
补充说明:上述脚本的具体说明请参考下列参考文章。
参考文章:
- http://man.chinaunix.net/linux/mandrake/101/zh_cn/Command-Line.html/command-find.html;
- http://www.cnblogs.com/peida/archive/2012/11/15/2770888.html;
- http://www.01happy.com/linux-atime-ctime-mtime/;
- http://www.bkjia.com/DOS_BAT/871122.html:
最新评论
我的是ipv4网络,如何使用直播源啊!
我今天试了,不想啊,我的是新疆昌吉移动的网络。
收不到验证码电报
现在充值29起了