python MySQL 批量插入

作者: Tscccn | 日期: 2022 年 10 月 20 日 | 围观: 122次+ | 没有评论

记录下,python MySQL 批量插入例

# coding:utf-8
import pymysql

# 打开数据库连接
db = pymysql.connect(host='localhost', port=3306,
                     user='username', passwd='password', db='database_name', charset='utf8')

# 使用cursor()方法获取操作游标
cursor = db.cursor()

# SQL 插入语句
sql = "INSERT INTO EMPLOYEE(FIRST_N[......]继续阅读

Python langid识别字符串属于哪个国家语言(中文、汉语、英语、日语等等)

作者: Tscccn | 日期: 2022 年 06 月 09 日 | 围观: 941次+ | 没有评论

有时做项目时，会识别字符串是什么语种：中文、韩语、日语等，筛选掉其他不需要的语种，这里我们使用 python中的第三方库langid 库来实现识别字符串是什么语言 1.首先，安装langid

pip install langid

1	pip install langid

测试语种

import langid 
str1 = '你好'
str2 = 'hello world'
str3 = '你好 hello world'
#韩文
str4='.'
#日语
str5='こんにちは'
str6='你好，根據所寫的文字，進行語種的識別'
str1_1 = langid.classify(str1)
str2_2 = langid.classify(str2)
str3_3 = langid.classify(str3)
str4_4 = langid.classify(str4)
str5_5 = langid.classify(str5)

1

2

3

4

5

6

7

8

9

10

11

12

13

14

import langid

str1 = '你好'

str2 = 'hello world'

str3 = '你好 hello world'

#韩文

str4='.'

#日语

str5='こんにちは'

str6='你好，根據所寫的文字，進行語種的識別'

str1_1 = langid.classify(str1)

str2_2 = langid.classify(str2)

str3_3 = langid.classify(str3)

str4_4 = langid.classify(str4)

str5_5 = langid.classify(str5)

langid.classify() 方法会返回一个元组，第一项为语言的种类，第二项为占比

str1_1 = langid.classify(str1)[0]
print('汉语:'+str1_1)
str2_2 = langid.classify(str2)[0]
print('英语：'+str2_2)
str3_3 = langid.classify(str3)[0]
print('汉语：'+str3_3)
str4_4 = langid.classify(str4)[0]
print('韩语：'+str4_4)
str5_5 = langid.classify(str5)[0]
print('日语：'+str5_5)

1

2

3

4

5

6

7

8

9

10

str1_1 = langid.classify(str1)[0]

print('汉语:'+str1_1)

str2_2 = langid.classify(str2)[0]

print('英语：'+str2_2)

str3_3 = langid.classify(str3)[0]

print('汉语：'+str3_3)

str4_4 = langid.classify(str4)[0]

print('韩语：'+str4_4)

str5_5 = langid.classify(str5)[0]

print('日语：'+str5_5)

[……]

继续阅读

python使用zipfile解压后中文文件名乱码的问题

作者: Tscccn | 日期: 2020 年 11 月 20 日 | 围观: 2309次+ | 没有评论

爬虫的时候由于很多打包下载zip的文件，而zip压缩包内的文件却是中文的，导致解压出来的文件是乱码的情况。解压后的文件名大概是这个样子的 ╩Θ╔·╧└.txt 正常编码是 书生侠.txt 。而这其实并不是因为文件编码问题导致，仅仅是文件名的编码。所以只处理文件名部分。如果要处理文件部分可以直接百度搜索即可【其实就是把对应用encode(‘cp437’).decode(‘gbk’)处理下，我这里只是处理了文件名字】）。

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
# @Author  : kinggoo
# @Software: 鳗鱼是条狗
# @Cnblogs ：https://kinggoo.com/pyzipfilenamebad.htm
import os
from pathlib import Path
import zipfile

def file_name(file_dir):
    i=0
    for root, dirs, files in os.walk(file_dir):
        for file in files:
            if os.path.splitext(file)[1] == '.zip':
                i = i + 1
                zippath = file_dir + '\\' + file
                zfile = zipfile.ZipFile(zippath, 'r', zipfile.ZIP_DEFLATED)
                for zip_file in zfile.namelist():
                    try:
                        zipn = zip_file.encode('cp437').decode('gbk')
                    except:
                        zipn = zip_file.encode('utf-8').decode('utf-8')

                    print("在处理的压缩包文件名：%s" %zipn)
                    if os.path.isfile(file_dir + '/' +zipn):
                        print("被解压文件已存在：%s" % file_dir + '/' +zipn)
                        continue

                    zfile.extract(zip_file,file_dir + '/tmp/')
                    os.chdir(file_dir + '/tmp/')
                    os.rename(zip_file,file_dir + '/' + zipn)
                    print("%s -  %s "%(zip_file,file_dir + '/' +zipn))
                print("已处理第 %s 个压缩包"  %i)


    print("完成"+str(i))
if __name__=="__main__":
    file_name(r'Z:\txt\9')

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

#!/usr/bin/env python3

# -*- coding: utf-8 -*-

# @Author : kinggoo

# @Software: 鳗鱼是条狗

# @Cnblogs ：https://kinggoo.com/pyzipfilenamebad.htm

import os

from pathlib import Path

import zipfile

def file_name(file_dir):

i=0

for root, dirs, files in os.walk(file_dir):

for file in files:

if os.path.splitext(file)[1] == '.zip':

i = i + 1

zippath = file_dir + '\\' + file

zfile = zipfile.ZipFile(zippath, 'r', zipfile.ZIP_DEFLATED)

for zip_file in zfile.namelist():

try:

zipn = zip_file.encode('cp437').decode('gbk')

except:

zipn = zip_file.encode('utf-8').decode('utf-8')

print("在处理的压缩包文件名：%s" %zipn)

if os.path.isfile(file_dir + '/' +zipn):

print("被解压文件已存在：%s" % file_dir + '/' +zipn)

continue

zfile.extract(zip_file,file_dir + '/tmp/')

os.chdir(file_dir + '/tmp/')

os.rename(zip_file,file_dir + '/' + zipn)

print("%s - %s "%(zip_file,file_dir + '/' +zipn))

print("已处理第 %s 个压缩包" %i)

print("完成"+str(i))

if __name__=="__main__":

file_name(r'Z:\txt\9')

[……]

继续阅读

python文件格式转换ansi文本转utf8

作者: Tscccn | 日期: 2020 年 11 月 19 日 | 围观: 3978次+ | 1 条评论

处理ansi编码转utf8

#!/usr/bin/env python3
# -*- coding: UTF-8 -*-
# @Author  : kinggoo
# @Software: 鳗鱼是条狗
# @blog ：https://kinggoo.com/pyansitoutf8.htm
import os
import sys
import time
import codecs
import chardet

"""
主要是GB2312转utf-8格式，其他格式可以通过chardet来获取类型转换。
kinggoo.com
"""



if __name__=="__main__":
	file_path = "./txt"
	file_path_new = "./txtnew"

	files = os.listdir(file_path)

	for file in files:
		file_name = file_path + '/' + file
		# 不重复
		if os.path.isfile(file_path_new + '/' + file):
			print("已存在文件 %s"%file_path_new + '/' + file)
			continue
		f_2 = open(file_name, 'rb')  # 注意此处打开方式 'rb'
		str_1 = f_2.readline()
		chardet_1 = chardet.detect(str_1)
		print("编码为:%s"%chardet_1)
		if chardet_1['encoding'] == 'GB2312':
			f = codecs.open(file_name, 'r', 'ansi')
			ff = f.read()
			file_object = codecs.open(file_path_new + '/' + file, 'w', 'utf-8')
			file_object.write(ff)
		else:
			print("文件:%s 格式:%s"%(file_name,chardet_1['encoding']))

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

#!/usr/bin/env python3

# -*- coding: UTF-8 -*-

# @Author : kinggoo

# @Software: 鳗鱼是条狗

# @blog ：https://kinggoo.com/pyansitoutf8.htm

import os

import sys

import time

import codecs

import chardet

"""

主要是GB2312转utf-8格式，其他格式可以通过chardet来获取类型转换。

kinggoo.com

"""

if __name__=="__main__":

file_path = "./txt"

file_path_new = "./txtnew"

files = os.listdir(file_path)

for file in files:

file_name = file_path + '/' + file

# 不重复

if os.path.isfile(file_path_new + '/' + file):

print("已存在文件 %s"%file_path_new + '/' + file)

continue

f_2 = open(file_name, 'rb') # 注意此处打开方式 'rb'

str_1 = f_2.readline()

chardet_1 = chardet.detect(str_1)

print("编码为:%s"%chardet_1)

if chardet_1['encoding'] == 'GB2312':

f = codecs.open(file_name, 'r', 'ansi')

ff = f.read()

file_object = codecs.open(file_path_new + '/' + file, 'w', 'utf-8')

file_object.write(ff)

else:

print("文件:%s 格式:%s"%(file_name,chardet_1['encoding']))

[……]

继续阅读

Python问题：UnboundLocalError： local variable ‘xxx’ referenced before assignment

作者: Tscccn | 日期: 2020 年 04 月 15 日 | 围观: 1407次+ | 没有评论

参考链接： http://blog.csdn.net/onlyanyz/article/details/45009697 https://www.cnblogs.com/fendou-999/p/3822028.html

【解析】

UnboundLocalError： local variable ‘xxx’ referenced before assignment 在函数外部已经定义了变量n，在函数内部对该变量进行运算，运行时会遇到了这样的错误：主要是因为没有让解释器清楚变量是全局变量还是局部变量。

【案例】

如下代码片所示： [crayon-638e31fac5f991[……]

继续阅读

python 从文本读取字典类型字符串的方式

作者: Tscccn | 日期: 2020 年 04 月 14 日 | 围观: 1598次+ | 没有评论

文本文件内容如下：

标题###URL###字段###数字###{'sort': ['7120992', '7120993', '7120994'], 'aDict': {'7120994': '/kinggoo.com/49512/7120994/', '7120993': '/kinggoo.com/49512/7120993/', '7120992': '/kinggoo.com/49512/7120992/'}}
标题###URL###字段###数字###{'sort': ['7120992', '7120993', '7120994'], 'aDict': {'7120994': '/kinggoo.com/49512/7120994/', '7120993': '/kinggoo.com/49512/7120993/', '7120992': '/kinggoo.com/49512/7120992/'}}

...
...
x N条
...

1

2

3

4

5

6

7

标题###URL###字段###数字###{'sort': ['7120992', '7120993', '7120994'], 'aDict': {'7120994': '/kinggoo.com/49512/7120994/', '7120993': '/kinggoo.com/49512/7120993/', '7120992': '/kinggoo.com/49512/7120992/'}}

...

x N条

...

直接读取词典字段

{'sort': ['7120992', '7120993', '7120994'], 'aDict': {'7120994': '/kinggoo.com/49512/7120994/', '7120993': '/kinggoo.com/49512/7120993/', '7120992': '/kinggoo.com/49512/7120992/'}}

1	{'sort': ['7120992', '7120993', '7120994'], 'aDict': {'7120994': '/kinggoo.com/49512/7120994/', '7120993': '/kinggoo.com/49512/7120993/', '7120992': '/kinggoo.com/49512/7120992/'}}

读取上面字典类型

for i in alist['sort']:
	print("%s-%s"%(i,c['aDict'][i])) #直接读取词典字段

1 2	for i in alist['sort']: print("%s-%s"%(i,c['aDict'][i])) #直接读取词典字段

读取文件被的字典内容（已经过滤只保留字典字符串）

f = open('./urltest.txt', encoding='utf-8')
for line in f:
	# 读取文本内的字典型字符串 需要将单引号替换成双引号，否则使用json的方式来读取，否则报错。
	line = line.replace("'", '"') #关键一步
	aa = json.loads(line)
	for i in aa['sort']:
            print("%s-%s" % (i, aa['aDict'][i])) #效果同上

1

2

3

4

5

6

7

f = open('./urltest.txt', encoding='utf-8')

for line in f:

# 读取文本内的字典型字符串需要将单引号替换成双引号，否则使用json的方式来读取，否则报错。

line = line.replace("'", '"') #关键一步

aa = json.loads(line)

for i in aa['sort']:

print("%s-%s" % (i, aa['aDict'][i])) #效果同上

[……]

继续阅读

python 找到列表中字符串最长的位置索引先获取列表中每个字符串的长度，查找长度最大位置的索引值即可

作者: Tscccn | 日期: 2020 年 04 月 13 日 | 围观: 2524次+ | 没有评论

”’ 找到列表中字符串最长的位置索引
先获取列表中每个字符串的长度，查找长度最大位置的索引值即可
str_list 是一个列表，返回最大的数组值的元素位置
”’

num_list=[len(one) for one in str_list]
return num_list.index(max(num_list))

1 2	num_list=[len(one) for one in str_list] return num_list.index(max(num_list))

[……]

继续阅读

通过sohu公共ip库获取本机公网ip

作者: Tscccn | 日期: 2015 年 10 月 28 日 | 围观: 7964次+ | 3 条评论

sohu 获取公网IP地址方式 http://txt.go.sohu.com/ip/soip

python方式

#!/usr/bin/python
# -*- coding:utf8 -*-

import urllib2
import re

url = urllib2.urlopen("http://txt.go.sohu.com/ip/soip")
text = url.read()
ip = re.findall(r'\d+.\d+.\d+.\d+',text)

print ip[0]

1

2

3

4

5

6

7

8

9

10

11

#!/usr/bin/python

# -*- coding:utf8 -*-

import urllib2

import re

url = urllib2.urlopen("http://txt.go.sohu.com/ip/soip")

text = url.read()

ip = re.findall(r'\d+.\d+.\d+.\d+',text)

print ip[0]

shell

echo  $(curl -s http://txt.go.sohu.com/ip/soip)|  grep -P -o -i "(\d+\.\d+.\d+.\d+)"

1	echo $(curl -s http://txt.go.sohu.com/ip/soip)\| grep -P -o -i "(\d+\.\d+.\d+.\d+)"

[……]

继续阅读

描述IT民工在家的故事，记录生活点滴！

python MySQL 批量插入

Python langid识别字符串属于哪个国家语言(中文、汉语、英语、日语等等)

python使用zipfile解压后中文文件名乱码的问题

python文件格式转换ansi文本转utf8

Python问题：UnboundLocalError： local variable ‘xxx’ referenced before assignment

【解析】

【案例】

python 从文本读取字典类型字符串的方式

python 找到列表中字符串最长的位置索引先获取列表中每个字符串的长度，查找长度最大位置的索引值即可

通过sohu公共ip库获取本机公网ip

python方式

shell

文章分类

最新评语

友情连接

我的