很多朋友对于无法找到脚本文件和实用运维脚本编写不太懂,今天就由小编来为大家分享,希望可以帮助到大家,下面一起来看看吧!
Python在很大程度上可以对shell脚本进行替代。笔者一般单行命令用shell,复杂点的多行操作就直接用Python了。这篇文章就归纳一下Python的一些实用脚本操作。
1.执行外部程序或命令我们有以下C语言程序cal.c(已编译为.out文件),该程序负责输入两个命令行参数并打印它们的和。该程序需要用Python去调用C语言程序并检查程序是否正常返回(正常返回会返回0)。
#include<stdio.h>n#include<stdlib.h>nintmain(intargc,char*argv[]){ninta=atoi(argv[1]);nintb=atoi(argv[2]);nintc=a+b;nprintf("%d+%d=%d\n",a,b,c);nreturn0;n}n
那么我们可以使用subprocess模块的run函数来spawn一个子进程:
res=subprocess.run(["Python-Lang/cal.out","1","2"])nprint(res.returncode)n
可以看到控制台打印出进程的返回值0:
1+2=3n0n
当然,如果程序中途被杀死。如我们将下列while.c程序写为下列死循环(已编译为.out文件):
#include<stdio.h>n#include<stdlib.h>nintmain(intargc,char*argv[]){nwhile(1);nreturn0;n}n
我们同样用run函数接收其返回值:
res=subprocess.run("Python-Lang/while.out")nprint(res.returncode)n
不过我们在程序运行中用shell命令将其终止掉:
(base)orion-orion@MacBook-ProPython-Lang%ps-a|grepwhilen11829ttys0010:17.49Python-Lang/while.outn11891ttys0050:00.00grepwhilen(base)orion-orion@MacBook-ProPython-Lang%kill11829n
可以看到控制台打印输出的进程返回值为-15(因为负值-N表示子进程被信号N终止,而kill命令默认的信号是15,该信号会终止进程):
-15n
如果程序陷入死循环不能正常终止,我们总不能一直等着吧?此时,我们可以设置超时机制并进行异常捕捉:
try:nres=subprocess.run(["Python-Lang/while.out"],capture_output=True,timeout=5)nexceptsubprocess.TimeoutExpiredase:nprint(e)n
此时会打印输出异常结果:
Command'['Python-Lang/while.out']'timedoutafter5secondsn
有时需要获取程序的输出结果,此时可以加上capture_output参数,然后访问返回对象的stdout属性即可:
res=subprocess.run(["netstat","-a"],capture_output=True)nout_bytes=res.stdoutn
输出结果是以字节串返回的,如果想以文本形式解读,可以再增加一个解码步骤:
out_text=out_bytes.decode("utf-8")nprint(out_text)n
可以看到已正常获取文本形式的输出结果:
...nkctl00336com.apple.netsrcnkctl00346com.apple.netsrcnkctl0017com.apple.network.statisticsnkctl0027com.apple.network.statisticsnkctl0037com.apple.network.statisticsnn(base)orion-orion@MacBook-ProLearn-Python%n
一般来说,命令的执行不需要依赖底层shell的支持(如sh,bash等),我们提供的字符串列表会直接传递给底层的系统调用,如os.execve()。如果希望命令通过shell来执行,只需要给定参数shell=True并将命令以简单的字符串形式提供即可。比如我们想让Python执行一个涉及管道、I/O重定向或其它复杂的Shell命令时,我们就可以这样写:
out_bytes=subprocess.run("ps-a|wc-l>out",shell=True)n2.文件和目录操作(命名、删除、拷贝、移动等)
我们想要和文件名称和路径打交道时,为了保证获得最佳的移植性(尤其是需要同时运行与Unix和Windows上时),最好使用os.path中的函数。例如:
importosnfile_name="/Users/orion-orion/Documents/LocalCode/Learn-Python/Python-Lang/test.txt"nprint(os.path.basename(file_name))n#test.txtnprint(os.path.dirname(file_name))n#/Users/orion-orion/Documents/LocalCode/Learn-Python/Python-Langnprint(os.path.split(file_name))n#('/Users/orion-orion/Documents/LocalCode/Learn-Python/Python-Lang','test.txt')nprint(os.path.join("/new/dir",os.path.basename(file_name)))n#/new/dir/test.txtnprint(os.path.expanduser("~/Documents"))n#/Users/orion-orion/Documentsn
其中os.path.expanduser当用户或$HOME未知时,将不做任何操作。如我们这里的$HOME就为/Users/orion-orion:
(base)orion-orion@MacBook-Pro~%echo$HOMEn/Users/orion-orionn
如果要删除文件,请用os.remove(在删除前注意先判断文件是否存在):
file_name="Python-Lang/test.txt"nifos.path.exists(file_name):nos.remove(file_name)n
接下来我们看如何拷贝文件。当然最直接的方法是调用Shell命令:
os.system("cpPython-Lang/test.txtPython-Lang/test2.txt")n
当然这不够优雅。如果不像通过调用shell命令来实现,可以使用shutil模块,该模块提供了一系列对文件和文件集合的高阶操作,其中就包括文件拷贝和移动/重命名。这些函数的参数都是字符串,用来提供文件或目录的名称。以下是示例:
nsrc="Python-Lang/test.txt"ndst="Python-Lang/test2.txt"nn#对应cpsrcdst(拷贝文件,存在则覆盖)nshutil.copy(src,dst)nnnsrc="Python-Lang/sub_dir"ndst="Python-Lang/sub_dir2"n#对应cp-Rsrcdst(拷贝整个目录树)nshutil.copytree(src,dst)nnsrc="Python-Lang/test.txt"ndst="Python-Lang/sub_dir/test2.txt"n#对应mvsrcdst(移动文件,可选择是否重命名)nshutil.move(src,dst)n
可以看到,正如注释所言,这些函数的语义和Unix命令类似。
默认情况下,如果源文件是一个符号链接,那么目标文件将会是该链接所指向的文件的拷贝。如果只想拷贝符号链接本身,可以提供关键字参数follow_symlinks:
shutil.copy(src,dst,follow_symlinks=True)n
如果想在拷贝的目录中保留符号链接,可以这么做:
shutil.copytree(src,dst,symlinks=True)n
有时在拷贝整个目录时需要对特定的文件和目录进行忽略,如.pyc这种中间过程字节码。我们可以为copytree提供一个ignore函数,该函数已目录名和文件名做为输入参数,返回一列要忽略的名称做为结果(此处用到字符串对象的.endswith方法,该方法用于获取文件类型):
defignore_pyc_files(dirname,filenames):nreturn[namefornameinfilenamesifname.endswith('pyc')]nnnshutil.copytree(src,dst,ignore=ignore_pyc_files)n
不过由于忽略文件名这种模式非常常见,已经有一个实用函数ignore_patterns()提供给我们使用了(相关模式使用方法类似.gitignore):
shutil.copytree(src,dst,ignore=shutil.ignore_patterns("*~","*.pyc"))n
注:此处的"*~"模式匹配是文本编辑器(如Vi)产生的以"~"结尾的中间文件。
忽略文件名还常常用在os.listdir()中。比如我们在数据密集型(如机器学习)应用中,需要遍历data目录下的所有数据集文件并加载,但是需要排除.开头的隐藏文件,如.git,否则会出错,此时可采用下列写法:importosimportosfilenames=[filenameforfilenameinos.listdir("Python-Lang/data")ifnotfilename.startswith(".")]#注意,os.listdir返回的是不带路径的文件名
让我们回到copytree()。用copytree()来拷贝目录时,一个比较棘手的问题是错误处理。比如在拷贝的过程中遇到已经损坏的符号链接,或者由于权限问题导致有些文件无法访问等。对于这种情况,所有遇到的异常会收集到一个列表中并将其归组为一个单独的异常,在操作结束时抛出。示例如下:
importshutilnnsrc="Python-Lang/sub_dir"ndst="Python-Lang/sub_dir2"nntry:nshutil.copytree(src,dst)nexceptshutil.Errorase:nforsrc,dst,msgine.args[0]:nprint(src,dst,msg)n
如果提供了ignore_dangling_symlinks=True,那么copytree将会忽略悬垂的符号链接。
更多关于shutil的使用(如记录日志、文件权限等)可参见shutil文档[4]。
接下来我们看如何使用os.walk()函数遍历层级目录以搜索文件。只需要将顶层目录提供给它即可。比如下列函数用来查找一个特定的文件名,并将所有匹配结果的绝对路径打印出来:
importosndeffindfile(start,name):nforrelpath,dirs,filesinos.walk(start):nifnameinfiles:n#print(relpath)nfull_path=os.path.abspath(os.path.join(relpath,name))nprint(full_path)nnstart="."nname="test.txt"nfindfile(start,name)n
可以看到,os.walk可为为我们遍历目录层级,且对于进入的每个目录层级它都返回一个三元组,包含:正在检视的目录的相对路径(相对脚本执行路径),正在检视的目录中包含的所有目录名列表,正在捡视的目录中包含的所有文件名列表。这里的os.path.abspath接受一个可能是相对的路径并将其组成绝对路径的形式。
我们还能够附加地让脚本完成更复杂的功能,如下面这个函数可打印出所有最近有修改过的文件:
importosnimporttimendefmodified_within(start,seconds):nnow=time.time()nforrelpath,dirs,filesinos.walk(start):nfornameinfiles:nfull_path=os.path.join(relpath,name)nmtime=os.path.getmtime(full_path)nifmtime>(now-seconds):nprint(full_path)nnstart="."nseconds=60nmodified_within(start,60)n3.创建和解包归档文件
如果仅仅是想创建或解包归档文件,可以直接使用shutil模块中的高层函数:
importshutilnshutil.make_archive(base_name="data",format="zip",root_dir="Python-Lang/data")nshutil.unpack_archive("data.zip")n
其中第二个参数format为期望输出的格式。要获取所支持的归档格式列表,可以使用get_archive_formats()函数:
print(shutil.get_archive_formats())n#[('bztar',"bzip2'edtar-file"),('gztar',"gzip'edtar-file"),('tar','uncompressedtarfile'),('xztar',"xz'edtar-file"),('zip','ZIPfile')]n
Python也提供了诸如tarfile、zipfile、gzip等模块来处理归档格式的底层细节。比如我们想要创建然后解包.zip归档文件,可以这样写:
importzipfilennnwithzipfile.ZipFile('Python-Lang/data.zip','w')aszout:nzout.write(filename='Python-Lang/data/test1.txt',arcname="test1.txt")nzout.write(filename='Python-Lang/data/test2.txt',arcname="test2.txt")nwithzipfile.ZipFile('Python-Lang/data.zip','r')aszin:nzin.extractall('Python-Lang/data2')#没有则自动创建data2目录
说明:本文限于篇幅,故而只展示部分的内容,需要的朋友可以找我要
如果本文对你有帮助,别忘记给我个3连,点赞,转发,评论,
咱们下期见。
关于无法找到脚本文件和实用运维脚本编写的介绍到此就结束了,不知道你从中找到你需要的信息了吗 ?如果你还想了解更多这方面的信息,记得收藏关注本站。