安装时无法通过的话
pip install dlib
需要下面的方案，多数是因为版本没有对应上。先查看pip版本
win32常用：
import pip;
print(pip.pep425tags.get_supported())
amd64常用：
import pip._internal
print(pip._internal.pep425tags.get_supported())
或
import pip._internal.pep425tags
或
import wheel.pep425tags as w
但是这些在我的电脑上都不管用，有用的命令为在[……]
记录下,python MySQL 批量插入 例
# coding:utf-8
import pymysql
# 打开数据库连接
db = pymysql.connect(host=’localhost’, port=3306,
user=’username’, passwd=’password’, db=’database_name’, charset=’utf8′)
# 使用cursor()方法获取操作游标
cursor = db.cursor()
# SQL 插入语句
sql = “INSERT INTO EMPLOYEE(FIRST_N[……]
本地同步备份
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 |
#!/bin/bash #author kinggoo # shell.sh [hourly|daily|weekly|month] #inotify-slave的ip地址 backupdatapath="/data2/backupdata/" dsrc="${backupdatapath}htdocs" #本地监控的目录 src=/data1/htdocs/ #exclude-from excludeFrom="/var/spool/cron/rsync.exclude" #日志 log="${backupdatapath}/log/`date +%Y%m`" inotify_home=/usr/bin/ #inotify的安装目录 if [ ! -e "${inotify_home}/inotifywait" ] \ || [ ! -e "/usr/bin/rsync" ]; then echo "Check File and Folder" exit 9 fi if [ ! -d "${backupdatapath}/log/" ]; then mkdir "${backupdatapath}/log/" fi if [[ "0"$1 == "0" ]];then echo "shell file.sh [hourly|daily|weekly|month]" exit 9 fi case "${1}" in "hourly") dsrc=${dsrc}.hourly echo "`date +%F\ %T` - rsync every 8 hours" >> $log ;; "daily") dsrc=${dsrc}.daily echo "`date +%F\ %T` - rsync daily" >> $log ;; "weekly") dsrc=${dsrc}.weekly echo "`date +%F\ %T` - rsync weekly" >> $log ;; "month") dsrc=${dsrc}.month echo "`date +%F\ %T` - rsync month" >> $log ;; "year") dsrc=${dsrc}.year echo "`date +%F\ %T` - rsync year" >> $log ;; esac if [ ! -d "$dsrc" ]; then echo "Backupdata folder not found." exit 9 fi # rsync -avzP --delete --timeout=100 --password-file=${rsync_passfile} $src $user@$host01::$dst >/dev/null 2>&1 cd $src && /usr/bin/rsync -aruztD -R --delete --exclude-from=${excludeFrom} --timeout=100 ./ $dsrc >/dev/null 2>&1 echo "rsync done `date +%F\ %T` ${1}" > ${dsrc}/sync.log exit 0 |
crond计划
|
1 2 3 4 5 |
0 3,11,15 * * * /usr/bin/sh /var/spool/cron/inotify_backupdata.sh hourly 0 0 * * * /usr/bin/sh /var/spool/cron/inotify_backupdata.sh daily 58 3 * * fri /usr/bin/sh /var/spool/cron/inotify_backupdata.sh weekly 30 6 2 * * /usr/bin/sh /var/spool/cron/inotify_backupdata.sh month 10 1 2 1,7 * /usr/bin/sh /var/spool/cron/inotify_backupdata.sh year |
[……]
sed在处理文本时是逐行读取文件内容，读到匹配的行就根据指令做操作，不匹配就跳过。
sed是Linux下一款功能强大的非交互流式文本编辑器，可以对文本文件进行增、删、改、查等操作，支持按行、按字段、按正则匹配文本内容，灵活方便，特别适合于大文件的编辑。本文主要介绍sed的一些基本用法，并通过shell脚本演示sed的使用实例。
1.sed的使用方法，调用sed 命令的语法有两种：
一.在命令行指定sed指令对文本进行处理：sed +选项 ‘指令’ 文件
二.先将sed指令保存到文件中，将该文件作为参数进行调用：sed +选项 -f[……]
爬虫的时候由于很多打包下载zip的文件，而zip压缩包内的文件却是中文的，导致解压出来的文件是乱码的情况。
解压后的文件名大概是这个样子的 ╩Θ╔·╧└.txt 正常编码是 书生侠.txt 。
而这其实并不是因为文件编码问题导致，仅仅是文件名的编码。所以只处理文件名部分。如果要处理文件部分可以直接百度搜索即可【其实就是把对应用encode(‘cp437’).decode(‘gbk’)处理下，我这里只是处理了文件名字】
）。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 |
#!/usr/bin/env python3 # -*- coding: utf-8 -*- # @Author : kinggoo # @Software: 鳗鱼是条狗 # @Cnblogs ：https://kinggoo.com/pyzipfilenamebad.htm import os from pathlib import Path import zipfile def file_name(file_dir): i=0 for root, dirs, files in os.walk(file_dir): for file in files: if os.path.splitext(file)[1] == '.zip': i = i + 1 zippath = file_dir + '\\' + file zfile = zipfile.ZipFile(zippath, 'r', zipfile.ZIP_DEFLATED) for zip_file in zfile.namelist(): try: zipn = zip_file.encode('cp437').decode('gbk') except: zipn = zip_file.encode('utf-8').decode('utf-8') print("在处理的压缩包文件名：%s" %zipn) if os.path.isfile(file_dir + '/' +zipn): print("被解压文件已存在：%s" % file_dir + '/' +zipn) continue zfile.extract(zip_file,file_dir + '/tmp/') os.chdir(file_dir + '/tmp/') os.rename(zip_file,file_dir + '/' + zipn) print("%s - %s "%(zip_file,file_dir + '/' +zipn)) print("已处理第 %s 个压缩包" %i) print("完成"+str(i)) if __name__=="__main__": file_name(r'Z:\txt\9') |
[……]
处理ansi编码转utf8
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 |
#!/usr/bin/env python3 # -*- coding: UTF-8 -*- # @Author : kinggoo # @Software: 鳗鱼是条狗 # @blog ：https://kinggoo.com/pyansitoutf8.htm import os import sys import time import codecs import chardet """ 主要是GB2312转utf-8格式，其他格式可以通过chardet来获取类型转换。 kinggoo.com """ if __name__=="__main__": file_path = "./txt" file_path_new = "./txtnew" files = os.listdir(file_path) for file in files: file_name = file_path + '/' + file # 不重复 if os.path.isfile(file_path_new + '/' + file): print("已存在文件 %s"%file_path_new + '/' + file) continue f_2 = open(file_name, 'rb') # 注意此处打开方式 'rb' str_1 = f_2.readline() chardet_1 = chardet.detect(str_1) print("编码为:%s"%chardet_1) if chardet_1['encoding'] == 'GB2312': f = codecs.open(file_name, 'r', 'ansi') ff = f.read() file_object = codecs.open(file_path_new + '/' + file, 'w', 'utf-8') file_object.write(ff) else: print("文件:%s 格式:%s"%(file_name,chardet_1['encoding'])) |
[……]
参考链接：
http://blog.csdn.net/onlyanyz/article/details/45009697
https://www.cnblogs.com/fendou-999/p/3822028.html
UnboundLocalError： local variable ‘xxx’ referenced before assignment
在函数外部已经定义了变量n，在函数内部对该变量进行运算，运行时会遇到了这样的错误：
主要是因为没有让解释器清楚变量是全局变量还是局部变量。
如下代码片所示：
[crayon-647a8b1fb84fa6[……]
文本文件内容如下：
|
1 2 3 4 5 6 7 |
标题###URL###字段###数字###{'sort': ['7120992', '7120993', '7120994'], 'aDict': {'7120994': '/kinggoo.com/49512/7120994/', '7120993': '/kinggoo.com/49512/7120993/', '7120992': '/kinggoo.com/49512/7120992/'}} 标题###URL###字段###数字###{'sort': ['7120992', '7120993', '7120994'], 'aDict': {'7120994': '/kinggoo.com/49512/7120994/', '7120993': '/kinggoo.com/49512/7120993/', '7120992': '/kinggoo.com/49512/7120992/'}} ... ... x N条 ... |
直接读取词典字段
|
1 |
{'sort': ['7120992', '7120993', '7120994'], 'aDict': {'7120994': '/kinggoo.com/49512/7120994/', '7120993': '/kinggoo.com/49512/7120993/', '7120992': '/kinggoo.com/49512/7120992/'}} |
读取上面字典类型
|
1 2 |
for i in alist['sort']: print("%s-%s"%(i,c['aDict'][i])) #直接读取词典字段 |
读取文件被的字典内容（已经过滤只保留字典字符串）
|
1 2 3 4 5 6 7 |
f = open('./urltest.txt', encoding='utf-8') for line in f: # 读取文本内的字典型字符串 需要将单引号替换成双引号，否则使用json的方式来读取，否则报错。 line = line.replace("'", '"') #关键一步 aa = json.loads(line) for i in aa['sort']: print("%s-%s" % (i, aa['aDict'][i])) #效果同上 |
[……]
”’ 找到列表中字符串最长的位置索引
先获取列表中每个字符串的长度，查找长度最大位置的索引值即可
str_list 是一个列表，返回最大的数组值的元素位置
”’
|
1 2 |
num_list=[len(one) for one in str_list] return num_list.index(max(num_list)) |
[……]
思路仅供参考。。。仅测试、练习、学习、参考，如有违规删之。
如果有拷贝，请留下链接地址。
你是村里的骄傲~
针对题目有两个方式：
一种是买完ssr服务后，在本地局域网搭建一台母机。然后在母机上搭建sslocal，在使用privoxy将本地全局http转sock。
另一种，买完 ssr后，如果密码和端口一样，直接使用nginx做负载转发即可，省事便捷（非限客户端情况下）。
如果不妥之处，请告知，相互学习。
安装 pip
|
1 |
yum install -y pip |
yum安装不管用的话
|
1 2 |
curl "https://bootstrap.pypa.io/get-pip.py" -o "get-pip.py" python get-pip.py |
S[……]
因为阿里的原因，导致疏忽被工信部把备案号取消了，身份证到期还没办法更新备案信息，坑爹！
临时借用好朋友服务器来使用，环境搭建急急忙忙，导致偶尔会有各种小状况出现，所以临时怼两个简单的脚本。
检测Mysql
|
1 2 3 4 5 6 7 8 9 |
#!/bin/bash count=`/usr/bin/pgrep mysql|wc -l` if (($count<=1));then #- 条件数字1根据情况自己设置 /usr/bin/pkill mysql sleep 3 /usr/bin/systemctl restart mariadb.service echo -e "`date +\%F\ \%T`\tmysql\trestart\t$count" >> /tmp/log fi |
检测PHP
|
1 2 3 4 5 6 7 8 9 10 |
#!/bin/bash count=`/usr/bin/pgrep php|wc -l` if (($count<=6));then #- 条件数字6根据自己情况设置 /usr/bin/pkill php nohup /usr/sbin/php-fpm2 -y /etc/php-fpm2.conf >/dev/null 2>&1 & sleep 3 nohup /usr/sbin/php-fpm1 -y /etc/php-fpm1.conf >/dev/null 2>&1 & echo -e "`date +\%F\ \%T`\tphp-fpm\trestart\t$count" >> /tmp/log fi |
[……]
比如运行tomcat时，使用了非root用户执行，如：
|
1 2 3 |
sudo -u tomcat8 -s /bin/bash -c /tomcathome/bin/startup.sh # 下面是我真实的cron记录 # shell>> */1 * * * * /bin/bash /var/spool/cron/checkTomcatService.cron > /dev/null 2>&1 |
将其添加到crond任务内，你会发现这条任务虽然执行了，并且没有任何错误，但却并没有将tomcat进程启动并后台运行（跟加不加&无关），但直接执行脚本无任何问题。
查找原因，总后排查到是sudo的问题（与没有写/sbin/sudo也无关）
java JDK的环境变量是否存在问题；
PATH 系统环境变量是否存在问题；
查看/var/log/cron日志看有误错误或警告；
将脚本结果输出到空设备 >[……]
sohu 获取公网IP地址方式 http://txt.go.sohu.com/ip/soip
|
1 2 3 4 5 6 7 8 9 10 11 |
#!/usr/bin/python # -*- coding:utf8 -*- import urllib2 import re url = urllib2.urlopen("http://txt.go.sohu.com/ip/soip") text = url.read() ip = re.findall(r'\d+.\d+.\d+.\d+',text) print ip[0] |
|
1 |
echo $(curl -s http://txt.go.sohu.com/ip/soip)| grep -P -o -i "(\d+\.\d+.\d+.\d+)" |
[……]
大文件传输的时候有时真的让人苦恼，压缩很费时间，也一样要下载。苦苦寻找，找到可以用wget来批量下载数据。哪怕是文件夹有多级。
shell>># wget -nH -m –ftp-user=kinggoo_UserName –ftp-password=kinggoo_FtpPasswd ftp://kinggoo.com:62111/*
参数：
-nH ， –no-host-directories 不建立含有远端主机名称的目录
–protocol-directories 在目录中加上通讯协定[……]
文章有些地方可能介绍的不一样，因为我直接本地用nginx做了一个代理。属于本人留存！
还有就是这个已经写了好久了，断断续续修修改改，尽管我已经检查了但可能发到博客上的这份有些位置还是难免忘记解释什么。我及时修正。
当时我遇到一个无法查找到原因的难题，是关于tomcat在运行时被rm -rf掉了（你懂的）。然后使用备份的配置文件重新部署上，发现tomcat可以起来并且不报任何错误，但项目全部都不会被tomcat加载。这个问题困扰了我一天一夜，奋战到早上4点多，测试了无数方法，估计搞出无数的状况，也进行了无数次配置调试。问题原因依然没解决。
针对这个问题的解决办法是：把项目重新部署一[……]
玩趣儿
最新评语