linux提交任务命令 linux完成任务命令

Linux集群使用命令

存储NAS 文件操作

创新互联公司-专业网站定制、快速模板网站建设、高性价比格尔木网站开发、企业建站全套包干低至880元,成熟完善的模板库,直接使用。一站式格尔木网站制作公司更省心,省钱,快速模板网站建设找我们,业务覆盖格尔木地区。费用合理售后完善,十载实体公司更值得信赖。

df -h查看空间使用情况

警惕超大 nohup.out

任务提交

任务提交前

qhost--查看集群负载状态

qsub / qsub-sge.pl--提交任务

qstat--查看任务状态

qdel / qmod--任务控制

任务查看

qhost -j---列出所有用户在每个节点上的任务

qhost -q---列出每个节点上每个队列的任务数

qhost -u username---列出某个用户在每个节点上的任务

提交命令

qsub -cwd -q queue.q test.sh

qsub-sge.pl --maxproc 50 --resource vf=5G --queue queue.q test.sh

任务查看2

qstat -u username---查看某个用户的任务

qstat -u *,---查看所有用户的任务

qstat –j jobs_ID---查看某个任务的详细信息

查看.e和.o文件

.e:错误信息

.o:标准输出

任务控制

qdel jobID---删除某个任务

qdel -u username---删除某个用户的所有任务

qmod -s jobID--挂起某个任务

qmod -us jobID---继续运行某个挂起的任务

按任务占用内存大小选择相应的队列

查看队列 qstat -g c

QUEUE

PE.q--并行

cloud.q--云平台

general.q--96G节点

middle.q--96G节点

great.q--大内存节点

plus.q--大内存节点

single.q--Trinity组装

single._p.q---Trinity组装(占用内存较大)

TOP监视

编辑于 2017-04-21

Linux 多种提交作业的指令

    1、前台进程就是用户使用的有控制终端的进程,一旦这个终端关闭,这个进程也随之消失。

       2、后台进程也叫守护进程,是运行在后台的一种特殊进程,不受终端控制。

       3、后台程序基本上不和用户交互,优先级别稍微低一点 ; 前台的程序和用户交互,需要较高的响应速度,优先级别稍微高一点。

方法一 :切换到shell脚本所在的目录(此时,称为工作目录)执行shell脚本:./test.sh

方法二: 以绝对路径的方式去执行bash shell脚本:/home/user1/test.sh

方法三: 直接使用bash 或sh 来执行bash shell脚本:sh test.sh bash test.sh。该方法执行脚本,可以不必事先设定shell的执行权限,甚至都不用写shell文件中的第一行(指定bash路径)。因为方法三是将test.sh作为参数传给sh(bash)命令来执行的。这时不是test.sh自己来执行,而是被人家调用执行,所以不要执行权限

方法四: 在当前的shell环境中执行bash shell脚本: . test.sh  source test.sh

几种方法的对比:

前三种方法执行shell脚本时都是在当前shell(称为父shell)开启一个子shell环境,此shell脚本就在这个子shell环境中执行。shell脚本执行完后子shell环境随即关闭,然后又回到父shell中。而方法四则是在当前shell中执行的 。

可以使用nohup命令忽略所有挂断(SIGHUP)信号,来实现在终端关闭后,命令不挂断地运行,nohup就是不挂起的意思( no hang up)。

Linux集群常用指令

姓名:张昊楠   学号:21021210691

存储NAS 文件操作

df -h查看空间使用情况

警惕超大 nohup.out

ls   当前路径下的文件列表

pwd  查看当前路径

cd    进入某个文件夹

任务提交

任务提交前

qhost--查看集群负载状态

qsub / qsub-sge.pl--提交任务

qstat--查看任务状态

qdel / qmod--任务控制

任务查看

qhost -j---列出所有用户在每个节点上的任务

qhost -q---列出每个节点上每个队列的任务数

qhost -u username---列出某个用户在每个节点上的任务

提交命令

qsub -cwd -q queue.q test.sh

qsub-sge.pl --maxproc 50 --resource vf=5G --queue queue.q test.sh

任务查看2

qstat -u username---查看某个用户的任务

qstat -u *,---查看所有用户的任务

qstat –j jobs_ID---查看某个任务的详细信息

查看.e和.o文件

.e:错误信息

.o:标准输出

任务控制

qdel jobID---删除某个任务

qdel -u username---删除某个用户的所有任务

qmod -s jobID--挂起某个任务

qmod -us jobID---继续运行某个挂起的任务

按任务占用内存大小选择相应的队列

查看队列 qstat -g c

QUEUE

PE.q--并行

cloud.q--云平台

general.q--96G节点

middle.q--96G节点

great.q--大内存节点

plus.q--大内存节点

single.q--Trinity组装

single._p.q---Trinity组装(占用内存较大)

集群任务提交及相关命令

~ 代表根目录 /public/home/wangyantao/

#任务提交命令

qsub -l mem=1G,nodes=1:ppn=1 *.sh (#*.sh代表脚本)

ll #根目录下的文件

less #查看脚本文件内容#

vim

star建索引

以下是脚本信息

/public/home/liuxiaofeng/biosoft/STAR-master/bin/Linux_x86_64_static/STAR --runThreadN 4 --runMode genomeGenerate --genomeDir $path/04.00.star.index/ref.fa --genomeFastaFiles $path/00.ref/*.fasta --sjdbGTFfile $path/00.ref/*.gff3

/public/home/liuxiaofeng/biosoft/STAR-master/bin/Linux_x86_64_static/STAR --runThreadN 4 --runMode genomeGenerate --genomeDir ref.fa --genomeFastaFiles /vol3/agis/zhoushaoqun_group/wangyantao/reference/S_aethiopicum_genome_fasta --sjdbGTFfile /vol3/agis/zhoushaoqun_group/wangyantao/reference/S_aeth_gene.gff

/public/home/liuxiaofeng/biosoft/STAR-master/bin/Linux_x86_64_static/STAR --runThreadN 4 --runMode genomeGenerate --limitGenomeGenerateRAM 115005046144 --genomeDir ref.fa --genomeFastaFiles /vol3/agis/zhoushaoqun_group/wangyantao/reference/S_aethiopicum_genome_fasta --sjdbGTFfile /vol3/agis/zhoushaoqun_group/wangyantao/reference/S_aeth_gene.gff

PBS脚本 提交任务

#如何在linux下创建一个可运行shell脚本

#新建一个.sh文件

touch cellranger.count.sh

#编辑test.sh文件

vi test.sh

#键入i,输入内容;#!/bin/sh必须放在第一行;然后键入esc键,输入:wq保存退出

#给test.sh赋予可执行权限

chmod +x test.sh 

#执行脚本

sh test.sh 

PBS 脚本格式 :PBS脚本为.pbs文件,将提交任务的命令写在PBS脚本中提交,PBS脚本由抬头的任务详情和具体命令组成:

抬头任务详情格式:

#PBS -N myjob

#PBS -o /home/jz/my.out

#PBS -e /home/jz/my.err

#PBS –l nodes=2:ppn=1

#########################创建自己的

这里的#不是注释的意思

#PBS -N cellranger.f

#PBS -o /home/yifan/project/LJ.22.02.sc/cellranger/my.out

#PBS -e /home/yifan/project/LJ.22.02.sc/cellranger/my.err

#PBS –l nodes=2:ppn=1

cd /home/yifan/project/LJ.22.02.sc

for id in KOAC KONC WTAC WTNC

do

/home/yifan/software/cellranger-6.1.2/cellranger count --localcores=40 --localmem=120 --id=${id}2 --transcriptome=/home/yifan/data/ref/cellranger.mm10/refdata-gex-mm10-2020-A --nosecondary --fastqs=/home/yifan/project/LJ.22.02.sc --sample=${id}

done

一般格式:qsub + 脚本名称,

如:qsub myname.pbs

cd /home/yifan/project/LJ.22.02.sc

qsub cellranger.count.sh

65690.mu01  #给出了任务号

命令格式:qatat[-f][-a][-i] [-n][-s] [-R] [-Q][-q][-B][-u]

qstat -an

参数说明:

-f jobid 列出指定作业的信息

-a 列出系统所有作业

-i 列出不在运行的作业

-n 列出分配给此作业的结点

-s 列出队列管理员与scheduler 所提供的建议

-R 列出磁盘预留信息

-Q 操作符是destination id,指明请求的是队列状态

-q 列出队列状态,并以alternative 形式显示

-au userid 列出指定用户的所有作业

-B 列出PBS Server 信息

-r 列出所有正在运行的作业

-Qf queue 列出指定队列的信息

-u 若操作符为作业号,则列出其状态。

若操作符为destination id,则列出运行在其上的属于user_list中用户的作业状态。

例:# qstat -f 211 查询作业号为211 的作业的具体信息。


本文题目:linux提交任务命令 linux完成任务命令
转载来于:http://ybzwz.com/article/hhdhce.html