十一 06

python MySQLdb中cursor操作数据库

Posted on by

python 操作数据库，要安装一个Python和MySQLdb，这样就可以进行数据库操作了。

操作步骤如下：

1、建立数据库连接

import MySQLdb
conn=MySQLdb.connect(host=”localhost”,user=”root”,passwd=”sa”,db=”mytable”)
cursor=conn.cursor()

2、执行数据库操作

n=cursor.execute(sql,param)
我们要使用连接对象获得一个cursor对象,接下来,我们会使用cursor提供的方法来进行工作.
这些方法包括两大类:1.执行命令,2.接收返回值

3、cursor用来执行命令的方法:

callproc(self, procname, args):用来执行存储过程,接收的参数为存储过程名和参数列表,返回值为受影响的行数
execute(self, query, args):执行单条sql语句,接收的参数为sql语句本身和使用的参数列表,返回值为受影响的行数
executemany(self, query, args):执行单挑sql语句,但是重复执行参数列表里的参数,返回值为受影响的行数
nextset(self):移动到下一个结果集

4、cursor用来接收返回值的方法:

fetchall(self):接收全部的返回结果行.
fetchmany(self, size=None):接收size条返回结果行.如果size的值大于返回的结果行的数量,则会返回cursor.arraysize条数据.
fetchone(self):返回一条结果行.
scroll(self, value, mode=’relative’):移动指针到某一行.如果mode=’relative’,则表示从当前所在行移动value条,如果mode=’absolute’,则表示从结果集的第一 行移动value条.

5、下面的代码是一个完整的例子.

0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
#使用sql语句,这里要接收的参数都用%s占位符.要注意的是,无论你要插入的数据是什么类型,占位符永远都要用%s
sql="insert into cdinfo values(%s,%s,%s,%s,%s)"
#param应该为tuple或者list
param=(title,singer,imgurl,url,alpha)
#执行,如果成功,n的值为1
n=cursor.execute(sql,param)
#再来执行一个查询的操作
cursor.execute("select * from cdinfo")
#我们使用了fetchall这个方法.这样,cds里保存的将会是查询返回的全部结果.每条结果都是一个tuple类型的数据,这些tuple组成了一个tuple
cds=cursor.fetchall()
#因为是tuple,所以可以这样使用结果集
print cds[0][3]
#或者直接显示出来,看看结果集的真实样子
print cds
#如果需要批量的插入数据,就这样做
sql="insert into cdinfo values(0,%s,%s,%s,%s,%s)"
#每个值的集合为一个tuple,整个参数集组成一个tuple,或者list
param=((title,singer,imgurl,url,alpha),(title2,singer2,imgurl2,url2,alpha2))
#使用executemany方法来批量的插入数据.这真是一个很酷的方法!
n=cursor.executemany(sql,param)

需要注意的是(或者说是我感到奇怪的是),在执行完插入或删除或修改操作后,需要调用一下conn.commit()方法进行提交.这样,数据才会真正保 存在数据库中.如果不用commit,那数据就不会保留在数据库中,但是,数据 确实在数据库呆过.因为自动编号进行了累积,而且返回的受影响的行数并不为0.

6、关闭数据库连接

需要分别的关闭指针对象和连接对象.他们有名字相同的方法
cursor.close()
conn.close()

Django操作数据库
django是一个出色的用于python的web框架。django连接有操作数据库的api，使用起来十分简洁。我们在settings.py中配置好所要连接的数据库，然后在modules、view、urls中分别写好业务逻辑

十一 06

命令行运行Python脚本时传入参数的三种方式

Posted on by

如果在运行python脚本时需要传入一些参数，例如gpus与batch_size，可以使用如下三种方式。

0
1
2
python script.py 0,1,2 10
python script.py -gpus=0,1,2 --batch-size=10
python script.py -gpus=0,1,2 --batch_size=10

这三种格式对应不同的参数解析方式，分别为sys.argv, argparse, tf.app.run, 前两者是python自带的功能，后者是tensorflow提供的便捷方式。

sys.argv

sys模块是很常用的模块， 它封装了与python解释器相关的数据，例如sys.modules里面有已经加载了的所有模块信息，sys.path里面是PYTHONPATH的内容，而sys.argv则封装了传入的参数数据。
使用sys.argv接收上面第一个命令中包含的参数方式如下：

0
1
2
3
4
5
import sys
gpus = sys.argv[1]
#gpus = [int(gpus.split(','))]
batch_size = sys.argv[2]
print gpus
print batch_size

需要模块：sys
参数个数：len(sys.argv)
脚本名：    sys.argv[0]
参数1：     sys.argv[1]
参数2：     sys.argv[2]

test.py

0
1
2
3
4
5
import sys
print "脚本名：", sys.argv[0]
for i in range(1, len(sys.argv)):
    print "参数", i, sys.argv[i]
 
>>>python test.py hello world

脚本名：test.py
参数 1 hello
参数 2 world

python中使用命令行选项：
例如我们需要一个convert.py脚本。它的作用是处理一个文件,并将处理后的结果输出到另一个文件中。
要求该脚本满足以下条件：
1.通过-i -o选项来区别参数是输入文件还是输出文件.
>>> python convert.py -i inputfile -o outputfile
2.当不知道convert.py需要哪些参数时，用-h打印出帮助信息
>>> python convert.py -h

getopt函数原形:
getopt.getopt(args, options[, long_options])

convert.py

0
1
2
3
4
5
6
7
8
9
10
11
12
import sys, getopt
 
opts, args = getopt.getopt(sys.argv[1:], "hi:o:")
input_file=""
output_file=""
for op, value in opts:
    if op == "-i":
        input_file = value
    elif op == "-o":
        output_file = value
    elif op == "-h":
        usage()
        sys.exit()

代码解释：
a) sys.argv[1:]为要处理的参数列表，sys.argv[0]为脚本名，所以用sys.argv[1:]过滤掉脚本名。
b) ”hi:o:”: 当一个选项只是表示开关状态时，即后面不带附加参数时，在分析串中写入选项字符。当选项后面是带一个附加参数时，在分析串中写入选项字符同时后面加一个”:”号。所以”hi:o:”就表示”h”是一个开关选项；”i:”和”o:”则表示后面应该带一个参数。
c) 调用getopt函数。函数返回两个列表：opts和args。opts为分析出的格式信息。args为不属于格式信息的剩余的命令行参数。opts是一个两元组的列表。每个元素为：(选项串,附加参数)。如果没有附加参数则为空串”。

getopt函数的第三个参数[, long_options]为可选的长选项参数，上面例子中的都为短选项(如-i -o)
长选项格式举例:
--version
--file=error.txt
让一个脚本同时支持短选项和长选项
getopt.getopt(sys.argv[1:], "hi:o:", ["version", "file="]) Continue reading →

十一 06

python的日志模块logging

Posted on by

1.简单的将日志打印到屏幕

0
1
2
3
4
import logging
 
logging.debug('This is debug message')
logging.info('This is info message')
logging.warning('This is warning message')

 

屏幕上打印:
WARNING:root:This is warning message
默认情况下，logging将日志打印到屏幕，日志级别为WARNING；
日志级别大小关系为：CRITICAL > ERROR > WARNING > INFO > DEBUG > NOTSET，当然也可以自己定义日志级别。
2.通过logging.basicConfig函数对日志的输出格式及方式做相关配置

0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
import logging
 
logging.basicConfig(level=logging.DEBUG,
                format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s',
                datefmt='%a, %d %b %Y %H:%M:%S',
                filename='myapp.log',
                filemode='w')
 
logging.debug('This is debug message')
logging.info('This is info message')
logging.warning('This is warning message')
 
./myapp.log文件中内容为:
Sun, 24 May 2009 21:48:54 demo2.py[line:11] DEBUG This is debug message
Sun, 24 May 2009 21:48:54 demo2.py[line:12] INFO This is info message
Sun, 24 May 2009 21:48:54 demo2.py[line:13] WARNING This is warning message

 

logging.basicConfig函数各参数:
filename: 指定日志文件名
filemode: 和file函数意义相同，指定日志文件的打开模式，’w'或’a’
format: 指定输出的格式和内容，format可以输出很多有用信息，如上例所示:
%(levelno)s: 打印日志级别的数值
%(levelname)s: 打印日志级别名称
%(pathname)s: 打印当前执行程序的路径，其实就是sys.argv[0]
%(filename)s: 打印当前执行程序名
%(funcName)s: 打印日志的当前函数
%(lineno)d: 打印日志的当前行号
%(asctime)s: 打印日志的时间
%(thread)d: 打印线程ID
%(threadName)s: 打印线程名称
%(process)d: 打印进程ID
%(message)s: 打印日志信息
datefmt: 指定时间格式，同time.strftime()
level: 设置日志级别，默认为logging.WARNING
stream: 指定将日志的输出流，可以指定输出到sys.stderr,sys.stdout或者文件，默认输出到sys.stderr，当stream和filename同时指定时，stream被忽略
3.将日志同时输出到文件和屏幕

0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
import logging
 
logging.basicConfig(level=logging.DEBUG,
                format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s',
                datefmt='%a, %d %b %Y %H:%M:%S',
                filename='myapp.log',
                filemode='w')
 
#################################################################################################
#定义一个StreamHandler，将INFO级别或更高的日志信息打印到标准错误，并将其添加到当前的日志处理对象#
console = logging.StreamHandler()
console.setLevel(logging.INFO)
formatter = logging.Formatter('%(name)-12s: %(levelname)-8s %(message)s')
console.setFormatter(formatter)
logging.getLogger('').addHandler(console)
#################################################################################################
 
logging.debug('This is debug message')
logging.info('This is info message')
logging.warning('This is warning message')
 
屏幕上打印:
root        : INFO     This is info message
root        : WARNING  This is warning message
./myapp.log文件中内容为:
Sun, 24 May 2009 21:48:54 demo2.py[line:11] DEBUG This is debug message
Sun, 24 May 2009 21:48:54 demo2.py[line:12] INFO This is info message
Sun, 24 May 2009 21:48:54 demo2.py[line:13] WARNING This is warning message

 

4.logging之日志回滚

0
1
2
3
4
5
6
7
8
9
10
import logging
from logging.handlers import RotatingFileHandler
 
#################################################################################################
#定义一个RotatingFileHandler，最多备份5个日志文件，每个日志文件最大10M
Rthandler = RotatingFileHandler('myapp.log', maxBytes=10*1024*1024,backupCount=5)
Rthandler.setLevel(logging.INFO)
formatter = logging.Formatter('%(name)-12s: %(levelname)-8s %(message)s')
Rthandler.setFormatter(formatter)
logging.getLogger('').addHandler(Rthandler)
################################################################################################

 

从上例和本例可以看出，logging有一个日志处理的主对象，其它处理方式都是通过addHandler添加进去的。
logging的几种handle方式如下：

0
1
2
3
4
5
6
7
8
9
10
11
12
logging.StreamHandler: 日志输出到流，可以是sys.stderr、sys.stdout或者文件
logging.FileHandler: 日志输出到文件
日志回滚方式，实际使用时用RotatingFileHandler和TimedRotatingFileHandler
logging.handlers.BaseRotatingHandler
logging.handlers.RotatingFileHandler
logging.handlers.TimedRotatingFileHandler
logging.handlers.SocketHandler: 远程输出日志到TCP/IP sockets
logging.handlers.DatagramHandler:  远程输出日志到UDP sockets
logging.handlers.SMTPHandler:  远程输出日志到邮件地址
logging.handlers.SysLogHandler: 日志输出到syslog
logging.handlers.NTEventLogHandler: 远程输出日志到Windows NT/2000/XP的事件日志
logging.handlers.MemoryHandler: 日志输出到内存中的制定buffer
logging.handlers.HTTPHandler: 通过"GET"或"POST"远程输出到HTTP服务器

 

由于StreamHandler和FileHandler是常用的日志处理方式，所以直接包含在logging模块中，而其他方式则包含在logging.handlers模块中，
上述其它处理方式的使用请参见python2.5手册！
5.通过logging.config模块配置日志

0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
#logger.conf
###############################################
[loggers]
keys=root,example01,example02
[logger_root]
level=DEBUG
handlers=hand01,hand02
[logger_example01]
handlers=hand01,hand02
qualname=example01
propagate=0
[logger_example02]
handlers=hand01,hand03
qualname=example02
propagate=0
###############################################
[handlers]
keys=hand01,hand02,hand03
[handler_hand01]
class=StreamHandler
level=INFO
formatter=form02
args=(sys.stderr,)
[handler_hand02]
class=FileHandler
level=DEBUG
formatter=form01
args=('myapp.log', 'a')
[handler_hand03]
class=handlers.RotatingFileHandler
level=INFO
formatter=form02
args=('myapp.log', 'a', 10*1024*1024, 5)
###############################################
[formatters]
keys=form01,form02
[formatter_form01]
format=%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s
datefmt=%a, %d %b %Y %H:%M:%S
[formatter_form02]
format=%(name)-12s: %(levelname)-8s %(message)s
datefmt=

上例3：

0
1
2
3
4
5
6
7
8
import logging
import logging.config
 
logging.config.fileConfig("logger.conf")
logger = logging.getLogger("example01")
 
logger.debug('This is debug message')
logger.info('This is info message')
logger.warning('This is warning message')

上例4：

0
1
2
3
4
5
6
7
8
import logging
import logging.config
 
logging.config.fileConfig("logger.conf")
logger = logging.getLogger("example02")
 
logger.debug('This is debug message')
logger.info('This is info message')
logger.warning('This is warning message')

 

十一 05

CentOS设置服务开机启动的两种方法

Posted on by

1、利用 chkconfig 来配置启动级别

在CentOS或者RedHat其他系统下，如果是后面安装的服务，如httpd、mysqld、postfix等，安装后系统默认不会自动启动的。就算手动执行 /etc/init.d/mysqld start 启动了服务，只要服务器重启后，系统仍然不会自动启动服务。 在这个时候，我们就需要在安装后做个设置，让系统自动启动这些服务，避免不必要的损失和麻烦。 其实命令很简单的，使用chkconfig即可。

比如要将mysqld设置为开机自动启动：

# chkconfig mysqld on

要取消掉某个服务自动启动，只需要将最后的参数 “on” 变更为 “off” 即可。
比如要取消 postfix 的自动启动：

# chkconfig postfix off

值得注意的是，如果这个服务尚未被添加到 chkconfig 列表中，则现需要使用 –-add 参数将其添加进去：

# chkconfig –-add postfix

如果要查询当前所有自动启动的服务，可以输入：

# chkconfig -–list

如果只想看指定的服务，只需要在 “–-list” 之后加上服务名就好了，比如查看httpd服务是否为自动启动：

# chkconfig –-list httpd

httpd 0:off 1:off 2:off 3:off 4:off 5:off 6:off

此时0~6均为off，则说明httpd服务不会在系统启动的时候自动启动。我们输入：
# chkconfig httpd on

则此时为：
httpd 0:off 1:off 2:on 3:on 4:on 5:on 6:off

这个时候2~5都是on，就表明会自动启动了。

2、修改 /etc/rc.d/rc.local 这个文件：

例如将 apache、mysql、samba、svn 等这些服务的开机自启动问题一起搞定：

# vim /etc/rc.d/rc.local
#添加以下命令
/usr/sbin/apachectl start
/etc/rc.d/init.d/mysqld start
/etc/rc.d/init.d/smb start
# -d 表示svnserve将会作为一个服务程序运行在后台
/usr/local/subversion/bin/svnserve -d

十一 05

centos中crontab（计时器）定时任务用法详解

Posted on by

关于crontab：

crontab命令常见于Unix和类Unix的操作系统之中，用于设置周期性被执行的指令。该命令从标准输入设备读取指令，并将其存放于“crontab”文件中，以供之后读取和执行。该词来源于希腊语 chronos(χρ?νο?)，原意是时间。
通常，crontab储存的指令被守护进程激活， crond常常在后台运行，每一分钟检查是否有预定的作业需要执行。这类作业一般称为cron jobs。

安装crontab:

0
1
[root@CentOS ~]# yum install vixie-cron
[root@CentOS ~]# yum install crontabs

说明：

vixie-cron软件包是cron的主程序；
crontabs软件包是用来安装、卸装、或列举用来驱动 cron 守护进程的表格的程序。

cron 是linux的内置服务，但它不自动起来，可以用以下的方法启动、关闭这个服务：

0
1
2
3
/sbin/service crond start #启动服务
/sbin/service crond stop #关闭服务
/sbin/service crond restart #重启服务
/sbin/service crond reload #重新载入配置

查看crontab服务状态：

0
service crond status

手动启动crontab服务：

0
service crond start

其他命令： Continue reading →

十一 05

更改vim默认的 “换行缩进值”

Posted on by

CentOS如何更改vim缩进，默认的 “换行缩进值”
找到/etc/vimrc文件在文件，用vim将其打开，在此文件开头加上如下
1）设置（软）制表符宽度为4
set tabstop=4
set softtabstop=4
2）设置缩进的空格数为4
set shiftwidth=4
3）设置自动缩进：即每行的缩进值与上一行相等；使用 noautoindent 取消设置：
set autoindent
4）设置使用 C/C++ 语言的自动缩进方式：
set cindent
5）设置C/C++语言的具体缩进方式（以我的windows风格为例）：
set cinoptions={0,1s,t0,n-2,p2s,(03s,=.5s,>1s,=1s,:1s
6）如果想在左侧显示文本的行号，可以用以下语句：
set nunber
在此文件尾部加入如下信息：
最后，如果没有下列语句，就加上吧：
if &term==”xterm”
set t_Co=8
set t_Sb=^[[4%dm
set t_Sf=^[[3%dm
endif
还有中文显示问题,
可以添加：
let &termencoding=&encoding
set fileencodings=utf-8,gbk,ucs-bom,cp936
上面这两行命令即可

修改vi显示行号或vim显示行号的请到这里

十一 05

vim打开多个文件、同时显示多个文件、在文件之间切换（使用远程工具时同样可用）

Posted on by

远程工具MobaXterm

打开多个文件：
1.vim还没有启动的时候：
输入
vim file1 file2 … filen便可以打开所有想要打开的文件
2.vim已经启动
输入
:open
可以再打开一个文件，并且此时vim里会显示出file文件的内容。

分屏显示多个文件：
:split
:vsplit
:sp
:vsp

在文件之间切换：
1.文件间切换
Ctrl+6—下一个文件
:bn—下一个文件
:bp—上一个文件
对于用(v)split在多个窗格中打开的文件，这种方法只会在当前窗格中切换不同的文件。
2.在窗格间切换的方法
Ctrl+w+方向键——切换到前／下／上／后一个窗格
Ctrl+w+h/j/k/l ——同上
Ctrl+ww——依次向后切换到下一个窗格中

十一 05

MySQLdb ImportError: libmysqlclient.so.18解决方法

Posted on by

ImportError: libmysqlclient.so.18: cannot open shared object file: No such file or directory

初装系统，运行制作完成的python项目，出现上面提示信息，说明缺少文件libmysqlclient.so.18，解决方案：

1、全局搜索libmysqlclient.so.18

# find / -name libmysqlclient.so.18

结果为：/www/wdlinux/mysql-5.5.58/lib/libmysqlclient.so.18

2、做软连接

32位系统
# ln -s /www/wdlinux/mysql-5.5.58/lib/libmysqlclient.so.18 /usr/lib/libmysqlclient.so.18

64位系统
# ln -s /www/wdlinux/mysql-5.5.58/lib/libmysqlclient.so.18 /usr/lib64/libmysqlclient.so.18

3、测试是否成功

# python
# import MySQLdb
#
如果这里不报错，则说明问题解决。

十一 05

初装CentOS6.x系统常用安装模块

Posted on by

CentOS安装zip、unzip

# yum install -y zip unzip

安装setuptools，下载页面https://pypi.org/project/setuptools/#files

# get https://pypi.python.org/packages/45/29/8814bf414e7cd1031e1a3c8a4169218376e284ea2553cc0822a6ea1c2d78/setuptools-36.6.0.zip#md5=74663b15117d9a2cc5295d76011e6fd1
# unzip setuptools-36.6.0.zip
# cd setuptools-36.6.0
# python setup.py install

安装pip，下载页面https://pypi.org/project/pip/#files

# wget https://pypi.python.org/packages/11/b6/abcb525026a4be042b486df43905d6893fb04f05aac21c32c638e939e447/pip-9.0.1.tar.gz#md5=35f01da33009719497f01a4ba69d63c9
# tar -zxvf pip-9.0.1.tar.gz
# cd pip-9.0.1.tar
# python setup.py install

十一 05

CentOS6.x安装python2.7.14

Posted on by

python安装,python多版本并存

1、 CentOS系统python默认版本是2.6.x，现在我们要在这种环境下安装2.7.14

　　python所有版本

　　下载：# wget https://www.python.org/ftp/python/2.7.14/Python-2.7.14.tar.xz

　　用xz解压工具：# xz -d Python-2.7.14.tar.xz

               　　　　   #tar -xf Python-2.7.14.tar

　　　　　　　　   进入安装文件目录进行安装

　　　　　　　　　#cd Python-2.7.14

　　　　　　　　　# ./configure

　　　　　　　　　# make

　　　　　　　　　# make install

2.1、 检查python版本，如果依然是2.6，则将系统指向的python从2.6修改到2.7版本

#/usr/local/bin/python2.7 -V
备份一份python
# mv /usr/bin/python  /usr/bin/python.bak
创建文件链接
# ln -s /usr/local/bin/python2.7 /usr/bin/python

2.2、分支：或者不使用2.1的方法和后续方法，直接在/usr/bin文件夹下创建python27文件链接，之后在使用python时的命令就使用python27就可以了，如果是想python2x与python3x并存的话创建文件链接就使用python3。方法如下：

创建python2.7版本的文件链接
# ln -s /usr/local/bin/python2.7 /usr/bin/python27

3、特别的，yum是基于python2.6才能正常工作，需单独将yum指向python2.6版本

命令：用vi打开yum文本
#vi /usr/bin/yum
将文件里的头一行，也就是指定python环境的那行代码!/usr/bin/python，修改成：!/usr/bin/python2.6

命令：# a：在光标后插入文本

Esc退出文本编辑，输入：#：wq 保存修改并退出vi编辑。

4、检查python版本：#python –v 可以看到版本是2.7了

5、其它，关于ln命令

ln -s 源文件 目标文件

举例：

在目录/usr/bin下创建一个名为python的/usr/local/bin/python2.7（这个文件）的链接，
# ln -s /usr/local/bin/python2.7 /etc/bin/python
建立两者之间的链接,
即访问/etc/bin/python时，实际是在访问/usr/local/bin/python2.7