四 07

获取redis库中所有键值对

Posted on 2019年4月7日 by 织梦先生

python获取所有数据,获取redis库中所有键值对

import redis

pool = redis.ConnectionPool(host='127.0.0.1', port=6379, db=0)
r = redis.Redis(connection_pool=pool)
len = 0
key_list = []
print r.pipeline()
keys = r.keys()
for key in keys:
	key_list.append(key)
	pipe.get(key)
	if len < pipe_size:
		len += 1
	else:
		for (k, v) in zip(key_list, pipe.execute()):
			print k, v
		len = 0
		key_list = []

for (k, v) in zip(key_list, pipe.execute()):
	print k, v

import redis

pool = redis.ConnectionPool(host='127.0.0.1', port=6379, db=0)

r = redis.Redis(connection_pool=pool)

len = 0

key_list = []

print r.pipeline()

keys = r.keys()

for key in keys:

key_list.append(key)

pipe.get(key)

if len < pipe_size:

len += 1

else:

for (k, v) in zip(key_list, pipe.execute()):

print k, v

len = 0

key_list = []

for (k, v) in zip(key_list, pipe.execute()):

print k, v

Redis 安装及常用命令

Redis可视化管理工具、集群管理工具

四 07

Python Redis pipeline操作

Posted on 2019年4月7日 by 织梦先生

Redis是建立在TCP协议基础上的CS架构，客户端client对redis server采取请求响应的方式交互。

一般来说客户端从提交请求到得到服务器相应，需要传送两个tcp报文。

设想这样的一个场景，你要批量的执行一系列redis命令，例如执行100次get key，这时你要向redis请求100次+获取响应100次。如果能一次性将100个请求提交给redis server，执行完成之后批量的获取相应，只需要向redis请求1次，然后批量执行完命令，一次性结果，性能是不是会好很多呢？

答案是肯定的，节约的时间是客户端client和服务器redis server之间往返网络延迟的时间。这个时间可以用ping命令查看。

网络延迟高：批量执行，性能提升明显

网络延迟低（本机）：批量执行，性能提升不明显

某些客户端（java和python）提供了一种叫做pipeline的编程模式用来解决批量提交请求的方式。

这里我们用python客户端来举例说明一下。 Continue reading →

四 07

python连接redis操作数据

Posted on 2019年4月7日 by 织梦先生

1、python连接redis操作数据

#!/usr/bin/env python 
# -*- coding:utf8 -*-

import redis

r = redis.Redis(host='localhost', port=6379, db=0)

r.set('foo', 'Bar')
print (r.get('foo'))
# 输出 Bar

#!/usr/bin/env python

# -*- coding:utf8 -*-

import redis

r = redis.Redis(host='localhost', port=6379, db=0)

r.set('foo', 'Bar')

print (r.get('foo'))

# 输出 Bar

2、python连接redis操作线程池

#!/usr/bin/env python 
# -*- coding:utf8 -*-

import redis

pool = redis.ConnectionPool(host='localhost', port=6379, db=0)
r = redis.Redis(connection_pool=pool)

pipe = r.pipeline()  
pipe_size = 100000

r.set('foo2', 'Bar2')
print (r.get('foo2'))
# 输出 Bar2

pipe = r.pipeline()  
pipe_size = 100000

#!/usr/bin/env python

# -*- coding:utf8 -*-

import redis

pool = redis.ConnectionPool(host='localhost', port=6379, db=0)

r = redis.Redis(connection_pool=pool)

pipe = r.pipeline()

pipe_size = 100000

r.set('foo2', 'Bar2')

print (r.get('foo2'))

# 输出 Bar2

pipe = r.pipeline()

pipe_size = 100000

3、decode_responses=True:这样写存的数据是字符串格式

import redis

r = redis.Redis('127.0.0.1', 6379,decode_responses=True)

import redis

r = redis.Redis('127.0.0.1', 6379,decode_responses=True)

4、获取库中所有键名

keys = r.keys()
print(keys)

0 1	keys = r.keys() print(keys)

下面详细介绍redis数据库的使用 Continue reading →

四 03

python中安装pip3使pip与pip3共存的方法

Posted on 2019年4月3日 by 织梦先生

安装pip3,pip3安装,pip共存

一、安装setuptools

1) 到页面（https://pypi.org/project/setuptools/#files）查找最新版本链接，下载，解压。

# wget --no-check-certificate https://files.pythonhosted.org/packages/c2/f7/c7b501b783e5a74cf1768bc174ee4fb0a8a6ee5af6afa92274ff964703e0/setuptools-40.8.0.zip
# unzip setuptools-40.8.0.zip

0 1	# wget --no-check-certificate https://files.pythonhosted.org/packages/c2/f7/c7b501b783e5a74cf1768bc174ee4fb0a8a6ee5af6afa92274ff964703e0/setuptools-40.8.0.zip # unzip setuptools-40.8.0.zip

2) 构建安装

# cd setuptools-40.8.0
# python3 setup.py build
# python3 setup.py install

# cd setuptools-40.8.0

# python3 setup.py build

# python3 setup.py install

Continue reading →

三 24

ImportError: No module named ‘xxx’

Posted on 2019年3月24日 by 织梦先生

ImportError: No module named ‘xxx’

解决方法如下：
1. 使用PYTHONPATH环境变量，在这个环境变量中输入相关的路径，不同的路径之间用逗号
（英文的！)分开，如果PYTHONPATH 变量还不存在，可以创建它！
这里的路径会自动加入到sys.path中，永久存在于sys.path中而且可以在不同的python版本
中共享，应该是一样较为方便的方法。
C:\Users\Administrator\Desktop\test\module1.py:
def func1():
print(“func1″)

将C:\Users\Administrator\Desktop\test添加到PYTHONPATH即可直接import module1,然后
调用：module1.func1()即可。 Continue reading →

三 24

python获取当前文件路径

Posted on 2019年3月24日 by 织梦先生

python获取当前文件路径

import os,sys

使用sys.path[0]、sys.argv[0]、os.getcwd()、os.path.abspath(__file__)、os.path.realpath(__file__)

sys.path是Python会去寻找模块的搜索路径列表，sys.path[0]和sys.argv[0]是一回事因为Python会自动把sys.argv[0]加入sys.path。

如果你在C:\test目录下执行python getpath\getpath.py，那么os.getcwd()会输出“C:\test”，sys.path[0]会输出“C:\test\getpath”。 Continue reading →

三 22

自动生成和安装python项目的依赖

Posted on 2019年3月22日 by 织梦先生

自动生成和安装python项目的依赖

生成依赖包

pip freeze > Requirements.txt

可以到需要存放的文件夹下，按下shift键同时鼠标点击右键选择在此处打开命令行,或者cd到目标文件夹执行此语句

安装依赖包

pip install -r Requirements.txt

同理cd到Requirements.txt文件的位置执行安装语句即可

一 16

用Python爬取金融市场数据

Posted on 2019年1月16日 by 织梦先生

一、写在前面

由于在平时的工作中，需要对某信托网的信托在售和资管在售数据进行统计分析，但是一条一条的输入，显然太过耗时耗力，于是萌生了写个爬虫的想法。

一门计算机语言，可以当做是在模仿人的目的或意图来进行一系列行为或动作，所以在写代码之前，首先要弄清楚你要干什么，如果是你，你每一步的动作是什么，然后将这一步步的动作通过代码传递给计算机，让计算机高效的帮你完成即可。

本文结合正则表达式和比较流行的beautifulsoup(bs4)，对网页进行解析并提取数据，因此在正式进行之前，有必要简单介绍下正则表达式和bs4. Continue reading →

10个Python库

Quote

Posted on 2019年1月16日 by 织梦先生

1. BeautifulSoup

Beautiful Soup是一个可以从HTML，XML进行提取文件的Python库，日常我们使用爬虫进行数据抓取回来之后，往往需要进行数据解析。

使用它能让你开心愉快提取里面的爬回来的数据。

2. Arrow

用过datetime标准库的同学都知道，这个库每次需要import各种时间模块格式化，非常不友好，arrow直接接受各种时间(datetime，date，timestamp)类型转化为Arrow类型，然后进行各种格式化操作，非常方便。很是人性化，简直是居家旅行必备良药 Continue reading →

必备！人工智能和数据科学的七大 Python 库

Quote

Posted on 2019年1月15日 by 织梦先生

【导读】作者汇总了2018年针对数据科学家/AI的最佳库、repos、包和工具。本文对其进行了梳理，列举了人工智能和数据科学的七大Python库。

本文作者Favio Vázquez从2018年开始发布《数据科学和人工智能每周文摘：Python & R》系列文章，为数据科学家介绍最好的库、repos、packages以及工具。

一年结束，作者列出了2018年的7大最好的Python库，这些库确实地改进了研究人员的工作方式。 Continue reading →

Page 2 of 6123 4 5 6

织梦先生

一个从零开始并且为了自己心底的理想不断奋斗中的人

Category Archives: Python

获取redis库中所有键值对

Python Redis pipeline操作

python连接redis操作数据

下面详细介绍redis数据库的使用 Continue reading →

python中安装pip3使pip与pip3共存的方法

一、安装setuptools

ImportError: No module named ‘xxx’

python获取当前文件路径

自动生成和安装python项目的依赖

用Python爬取金融市场数据

10个Python库

Quote

必备！人工智能和数据科学的七大 Python 库

Quote