你可以使用resync来保持两台机器的数据同步(不建议小文件变更多、快情况下使用)
系统:centos 5.6
svn version:1.6.11
是否需要mail服务:是,请安装sendmail、mutt(可选 只要你linux那可以发送邮件就可以)
是否与http服务整合:是
里面内容请参考如下两处文章
FTP备份用的一个Shell方法函数 //kinggoo.com/ftp-ftpfunction.htm svn服务增量备份脚本,Incremental backup script //kinggoo.com/svn-incrementalscript.htm
[root@kinggoo.com cron]# cat svnBackup.cron.sh
#!/bin/bash
#### //kinggoo.com
#### 需要安装sendmail、mutt以便发送邮件通知,当然也可以改下代码,弄成网页访问形式也可以
#### 不要删除SVN_LOG后面设置变量的任何文件,否则备份时会自动全备
#### if [[ ${WEEKDAY} = 'Fri' ]];then 这里是做全备的判断可以修改为其他,但请尽量不要修改为周末。
TIME=`date +%Y%m%d`
YM=`date +%Y%m`
WEEKDAY=`date +%a`
DAYTIME=`date +%Y%m%d%H`
SVNROOT=/opt/svnroot
SVNDATA=/svn
HTTP=/etc/init.d
#请创建用于全备的目录文件SVNALL
SVNALL=${SVNDATA}/svnall
SVN_LOG=${SVNDATA}/log
TOMAIL="kinggoo@kinggoo.com"
if [ ! -e ${SVNDATA}/${YM} ] || [ ! -d ${SVNDATA}/${YM} ];then
mkdir -p ${SVNDATA}/${YM}
SVNDATA=${SVNDATA}/${YM}
else
SVNDATA=${SVNDATA}/${YM}
fi
echo "" > ${SVN_LOG}/svn.mail > /dev/null
#针对配置http集成svn服务来做,如果你没有将http添加到服务。脚本内是通过http服务生效后返回显示信息OK来判断是否启动的!
declare -a REPOSITORY
REPOSITORY=( KingGoo com )
ARR=0
# - function 集合
function RunStophttp()
{ # apache服务起停
${HTTP}/httpd $1 |grep -i OK && I=$? || I=1
sleep 5
if [ "$1" = "stop" ];then
if [[ "${I}" -eq "0" ]];then
echo "-- httpd is stopping" >> ${SVN_LOG}/svn.mail
else
/usr/bin/pgrep httpd|xargs kill -9
echo "-- httpd is kill for stopping" >> ${SVN_LOG}/svn.mail
fi
else
if [ "$1" = "start" ];then
if [[ "${I}" -eq "0" ]];then
echo "-- httpd is running" >> ${SVN_LOG}/svn.mail
else
echo "-- httpd is failed" >> ${SVN_LOG}/svn.mail
${HTTP}/httpd restart |grep -i OK && I=$? || I=ERROR
echo -e "成功:0,失败:1 -- \r\n [ $I ] " >> ${SVN_LOG}/svn.mail
fi
fi
fi
}
##function end
# ---------------------------
while [ "${ARR}" -lt "${#REPOSITORY[@]}" ]
do
if [ ! -e ${SVN_LOG} ] || [ ! -d ${SVN_LOG} ];then
mkdir -p ${SVN_LOG}
fi
if [ ! -e ${SVNALL} ] || [ ! -d ${SVNALL} ];then
mkdir -p ${SVNALL}
fi
if [ ! -e ${SVNDATA}/${REPOSITORY[$ARR]} ] || [ ! -d ${SVNDATA}/${REPOSITORY[$ARR]} ];then
mkdir -p ${SVNDATA}/${REPOSITORY[$ARR]}
fi
BUILD=`svnlook youngest ${SVNROOT}/${REPOSITORY[$ARR]}` && sleep 2
KG_BUILD=`cat ${SVN_LOG}/${REPOSITORY[$ARR]}.version`
if [ ! -e ${SVN_LOG}/${REPOSITORY[$ARR]}.version ] && [ -z ${KG_BUILD} ];then
echo "0" > ${SVN_LOG}/${REPOSITORY[$ARR]}.version
KG_BUILD=0
else
#将最新得到的reversion存储起来,并将之前reversion+1
((KG_BUILD=${KG_BUILD}+1))
echo "${BUILD}" > ${SVN_LOG}/${REPOSITORY[$ARR]}.version
fi
#ago 小于等于 after
if [ ${KG_BUILD} -le ${BUILD} ];then
RunStophttp stop
if [[ ${WEEKDAY} = 'Fri' ]];then
##为什么是周五,原因在周末做全备此脚本是不可能的,当然你可以改下我里面的判断逻辑是可以改的。但发这个版本我并没有时间去做修改了,希望理解!
svnadmin dump ${SVNROOT}/${REPOSITORY[$ARR]} > ${SVNALL}/backup.all.${REPOSITORY[$ARR]}.${BUILD}.${DAYTIME}.dump 2> ${SVNALL}/log.${DAYTIME} && sleep 30
echo -e "已执行全备信息如下:\r\n `ls -l ${SVNALL}/backup.all.${REPOSITORY[$ARR]}.${BUILD}.${DAYTIME}.dump`" >> ${SVN_LOG}/svn.mail
fi
echo "${REPOSITORY[$ARR]}:${YM}:${KG_BUILD}:${BUILD}" >> ${SVN_LOG}/svn.important
svnadmin dump ${SVNROOT}/${REPOSITORY[$ARR]} -r ${KG_BUILD}:${BUILD} --incremental > ${SVNDATA}/${REPOSITORY[$ARR]}/${REPOSITORY[$ARR]}.${KG_BUILD}_${BUILD}.dump.${TIME} 2>> ${SVN_LOG}/${REPOSITORY[$ARR]}.log && sleep 30
echo -e "已备份${REPOSITORY[$ARR]}代码库 \r\n `ls -l ${SVNDATA}/${REPOSITORY[$ARR]}/${REPOSITORY[$ARR]}.${KG_BUILD}_${BUILD}.dump.${TIME}`" >> ${SVN_LOG}/svn.mail
RunStophttp start
else
echo -e "代码库:${REPOSITORY[$ARR]} , 前一版本:${KG_BUILD} 大于后一版本:${BUILD} ,没有执行备份操作!" >> ${SVN_LOG}/svn.mail
fi
((ARR=$ARR+1))
unset KG_BUILD BUILD BUILD_TEMP
done
echo "`cat ${SVN_LOG}/svn.mail`" |mutt -s "Svn incremental backup ${TIME}" ${TOMAIL}
/var/spool/cron/ftpRemote.cron.sh > /root/svn.ftp.log 2>&1
[root@kinggoo cron]# cat ftpRemote.cron.sh
其实可以用传参来做,但我们这每天备份都是有规律的,所以直接用最新文件来标记
#!/bin/bash
## function: upload to remote
# $1:本地文件路径+文件名,$2:远程目录
function funFtp()
{
CDLOAD="`dirname $1`";FTP_SNAME="`basename $1`";FTP_RNAME="$2"
/usr/bin/ftp -n<
之前忘记把定期清理的任务写到文章里了,你可以设置为,每天或者每周都可以,当尽量不要太久才清理一次
#每天三点执行下面信息(记得如果路径你使用变量写到脚本里了,千万要把删除的这条命令放到unset的前面)
#ftp端也要写定期清理的任务
0 3 * * * find /back/ -ctime +7 -exec rm -f {} \;
希望有帮助,有问题及建议请留言,或微博我!联系方式请访问我的关于界面。
[20130408] - 增加忘记写到文章中的定期清理备份数据任务
如果你觉得好,请大家到公众号给个红心支持一下!!

- THE END -

玩趣儿

我是将ftp自动上传的这段脚本,直接加在全量备份脚本的下面的。
我查看了全量备份完成的时间和dump上传的时间,发现一个问题:
全量备份还没有结束,那边的自动上传就开始执行了。我以为要等到备份结束,才会执行FTP上传
估计你是改脚本之后,把类是这个功能的语句内的&&去掉了,他的意思是完全执行完前面的并且正确才会执行后面的语句 。如果 是没备份完就去执行 ftp了 那估计就是这个问题
svnadmin dump ${SVNROOT}/${REPOSITORY[$ARR]} -r ${KG_BUILD}:${BUILD} –incremental > ${SVNDATA}/${REPOSITORY[$ARR]}/${REPOSITORY[$ARR]}.${KG_BUILD}_${BUILD}.dump.${TIME} 2>> ${SVN_LOG}/${REPOSITORY[$ARR]}.log && sleep 30
我现在全量备份脚本中,是如下这样的:
svnadmin dump ${xxx}/hgj > ${SVN_DATA}/hgj_$TIME.dump 2> ${SVN_DATA}/svn.hgj.build.version && sleep 300 & svnadmin dump ${xxx}/nb2 > ${SVN_DATA}/nb2_$TIME.dump 2> ${SVN_DATA}/svn.nb2.build.version && sleep 300 & svnadmin dump ${xxx}/ft_bbp > ${SVN_DATA}/ft_bbp_$TIME.dump 2> ${SVN_DATA}/svn.ft_bbp.build.version && sleep 300 & svnadmin dump ${xxx}/cxzt > ${SVN_DATA}/cxzt_$TIME.dump 2> ${SVN_DATA}/svn.cxzt.build.version && sleep 300 & svnadmin dump ${xxx}/nfscloud > ${SVN_DATA}/nfscloud_$TIME.dump 2> ${SVN_DATA}/svn.nfscloud.build.version && sleep 10 && sleep 10 && /etc/init.d/httpd start |grep -i OK && I=$? ;
ftp的命令,就加在了这个的下面
把最后的 & 符号去掉 这个是后台运行了
问题解决了,确实要把最后的 &符号去掉。
十分感谢!
😉
请教一个问题:
我的FTP是这样写的
ftp -n<<!
open 192.168.213.250
user yuanjie yuanjie
binary
hash
cd /opt/svn_backup/192.168.201.15/weekly_backup
lcd /home/svn_backup/weekly_backup
prompt
mput hgj_$TIME.dump nb2_$TIME.dump ft_bbp_$TIME.dump cxzt_$TIME.dump nfscloud_$TIME.dump
close
bye
!
要上传5个全量备份dump文件,但每次上传都出现大容量的dump文件才上传20分之一就自动中断了。这5个dump文件,最大的是16.5g,最小的是98M
下面是vsftpd.log中的信息:
Thu Jun 27 14:30:45 2013 68 192.168.201.15 2450758348 /opt/svn_backup/192.168.201.15/weekly_backup/hgj_20130627.dump b _ i r yuanjie ftp 0 * c
Thu Jun 27 14:30:49 2013 4 192.168.201.15 60935504 /opt/svn_backup/192.168.201.15/weekly_backup/nb2_20130627.dump b _ i r yuanjie ftp 0 * c
Thu Jun 27 14:30:57 2013 8 192.168.201.15 75443605 /opt/svn_backup/192.168.201.15/weekly_backup/ft_bbp_20130627.dump b _ i r yuanjie ftp 0 * c
Thu Jun 27 14:30:58 2013 1 192.168.201.15 97684272 /opt/svn_backup/192.168.201.15/weekly_backup/cxzt_20130627.dump b _ i r yuanjie ftp 0 * c
Thu Jun 27 14:30:59 2013 1 192.168.201.15 44967103 /opt/svn_backup/192.168.201.15/weekly_backup/nfscloud_20130627.dump b _ i r yuanjie ftp 0 * c
这个问题 你可以试试把之前那个改完后 手动执行一下,看看什么情况
把hash去掉,没啥用 刚查了下 大概是显示进度的意思