顺便记录一下vim的配置：https://blog.csdn.net/sinat_33741547/article/details/74781591
https://blog.csdn.net/zwbill/article/details/78475705
这个很简单但是这里重复写一下，主要是记录一下后面的内存检测和分部调试！！！
codes.open参考地址：https://blog.csdn.net/weay/article/details/80946152
随手搜索python读写文件的教程，很经常看到read()与readlines()这对函数。所以我们会常常看到如下代码：
with open(file_path, 'rb') as f:
sha1Obj.update(f.read())or
with open(file_path, 'rb') as f:
for line in f.readlines():
print(line)这对方法在读取小文件时确实不会产生什么异常，但是一旦读取大文件，很容易会产生MemoryError，也就是内存溢出的问题。
####Why Memory Error？
我们首先来看看这两个方法：
当默认参数size=-1时，read方法会读取直到EOF，当文件大小大于可用内存时，自然会发生内存溢出的错误。
同样的，readlines会构造一个list。list而不是iter，所以所有的内容都会保存在内存之上，同样也会发生内存溢出的错误。
在实际运行的系统之中如果写出上述代码是十分危险的，这种”坑“十分隐蔽。所以接下来我们来了解一下正确用，正确的用法也很简单，依照API之中对函数的描述来进行对应的编码就OK了：
如果是二进制文件推荐用如下这种写法，可以自己指定缓冲区有多少byte。显然缓冲区越大，读取速度越快。
with open(file_path, 'rb') as f:
while True:
buf = f.read(1024)
if buf:
sha1Obj.update(buf)
else:
break而如果是文本文件，则可以用readline方法或直接迭代文件（python这里封装了一个语法糖，二者的内生逻辑一致，不过显然迭代文件的写法更pythonic ）每次读取一行，效率是比较低的。笔者简单测试了一下，在3G文件之下，大概性能和前者差了20%.
with open(file_path, 'rb') as f:
while True:
line = f.readline()
if buf:
print(line)
else:
break
with open(file_path, 'rb') as f:
for line in f:
print(line)对于python代码的内存占用问题，对于代码进行内存监控十分必要。这里笔者这里推荐两个小工具来检测python代码的内存占用。
####memory_profiler
首先先用pip安装memory_profiler
pip install memory_profilermemory_profiler是利用python的装饰器工作的，所以我们需要在进行测试的函数上添加装饰器。
from hashlib import sha1
import sys
@profile
def my_func():
sha1Obj = sha1()
with open(sys.argv[1], 'rb') as f:
while True:
buf = f.read(10 * 1024 * 1024)
if buf:
sha1Obj.update(buf)
else:
break
print(sha1Obj.hexdigest())
if __name__ == '__main__':
my_func()之后在运行代码时加上** -m memory_profiler**
就可以了解函数每一步代码的内存占用了
依样画葫芦，仍然是通过pip先安装guppy
pip install guppy之后可以在代码之中利用guppy直接打印出对应各种python类型（list、tuple、dict等）分别创建了多少对象，占用了多少内存。
from guppy import hpy
import sys
def my_func():
mem = hpy()
with open(sys.argv[1], 'rb') as f:
while True:
buf = f.read(10 * 1024 * 1024)
if buf:
print(mem.heap())
else:
break如下图所示，可以看到打印出对应的内存占用数据：
通过上述两种工具guppy与memory_profiler可以很好地来监控python代码运行时的内存占用问题。
.单步执行代码,通过命令 python -m pdb xxx.py 启动脚本，进入单步执行模式
命令参考：
https://blog.csdn.net/wyb_009/article/details/8896744
https://www.cnblogs.com/xiaohai2003ly/p/8529472.html
ipdb参考：
https://blog.csdn.net/sinat_33741547/article/details/74781745
运行到目标位置中断程序，出现提示符，进入ipython环境
常用命令
n（下一步）
ENTER（重复上次命令）
c（继续）
s（进入子程序）
p 变量 （打印变量）
l（当前位置）
r（运行直到程序结束）
q（退出）