hpc_slurm_pbs
slurm与pbs对比
[liupei@cg 2zk]$ cat sub.slurm
#!/bin/bash
#SBATCH -J gf1cnn #作业名是 gf1cnn
#SBATCH -p v3_ib #提交到 v3_ib 分区
#SBATCH -N 1 #使用一个节点
#SBATCH -n 1 #cpu数
#SBATCH --cpus-per-task 24 #每个进程占用24个cpu核心
#SBATCH --gres=gpu:1 #申请1块gpu
#SBATCH -o gf1cnn.out #将屏幕输出结果保存到当前文件夹的 gf1cnn.out
source activate cnn #切换python环境
./run_bass.sh 13 #执行我的 ./run_bass.sh 程序
slurm并行超算
查看模块
# 载入远程复制 module
module load papp_cloud/2.6.18/2.6.18-cjj
# 载入预装的 python module
module load anaconda/3-Python3.6.5-fgl
# 查看可用 module
module avail 或 module avail anaconda
# 查看分区
sinfo
并行的slurm脚本
#!/bin/bash
#SBATCH -p v3_ib
#SBATCH -N 1
#SBATCH -n 1
#SBATCH -c 24
#srun matlab <testCascade.m
matlab -nodisplay < matlab_parfor.m
参考文献：CHICAGO
作业操作
| 说明 | SLURM | PBS |
|---|---|---|
| 提交作业脚本 | sbatch run.slurm |
qsub run.pbs |
| 查看作业状态 | squeue |
qstat |
| 追踪作业 | scontrol show job 1234 |
|
| 取消作业 | scancel 1234 |
qdel 1234 |
作业/节点详细信息查询-scontrol
- 查看分区信息
scontrol show partition 节点名称scontrol show partition debug - 查看节点信息
scontrol show node 节点名称scontrol show node comput1 - 查看作业信息
scontrol show job 作业IDscontrol show job 15 - 删除作业
scancel 作业IDscancel 15
pbs系统命令
北京大学的 HPC 教程，REF
pbs常用命令
qsub a.pbs # 提交作业a
qstat -an # 列出队列中所有作业及其分配的节点
qstat -q # 查看所有队列
qstat -Q # 列出队列的一些限制信息
qstat -Qf bdog # 列粗指定队列的所有信息
pestat # 查看当前所有节点的占用状态
# excl 所有cpu已被占用
# busy cpu已接近满负荷运行
# free 部分或全部cpu空闲
# offl 管理员手动指定离线状态
查看当前所有任务的运行状态
qstat # 可以查看当前所有任务的运行状态
ch_cumtlp3@mgr:~> qstat
Job ID Name User Time Use S Queue
---------- -------- --------- -------------------
375817.mgr 600470 ch_cumtlp3 155:47:3 R l
作业 375817 在节点 mgr 上运行，作业名称 600470
pbs脚本配置
-N name:作业名，限15 个字符，首字符为字母，无空格
-o path:重定向标准输出到path
-l resource_list:定义资源列表。
nodes=N:ppn=M：请求N个结点，每个结点M个处理器。
mem =N[K|M|G][B|W]：请求N大小的内存。
cput =N:请求N秒CPU时间;N也可以是hh:mm:ss形式。
-m mail_options:给用户发信；a(作业abort), b(作业开始运行发信)；e(作业结束时发信)。若无此选项，默认为a。
-M user_list:定义发给哪些用户,有关此作业的mail
pbs作业例子
#!/bin/sh
#PBS -N rfrk
#PBS -j oe # out put file
#PBS -l nodes=1:ppn=32
#PBS -q l
#PBS -m be
#PBS -M cumtlp@qq.com
cd $PBS_O_WORKDIR
/public3/home/ch_cumtlp3/installed/app/matlab/r2019b/bin/matlab -nodesktop -nosplash -nojvm \
-r "addpath('pcode');main('roi_pixel','rfrk',{'r',{[50,10,500]}}); exit;"
/public3/apps/matlab-2016b/bin/matlab -nosplash -nodesktop -nojvm \
-r "addpath('../../code/'); pbs_mlc(1:4,0.7); exit;"
pbs运行脚本
qsub test.pbs:提交作业
pbsnodes -l free:以行的行式列出空闲的节点
qstat -q:查看所有队列状态
qstat:查看作业运行状态
状态说明: E:退出; Q:排队;H:挂起; R:运行; C:结束
qstat -an:列出队列中所有作业及其分配的节点
qstat -an 93:显示作业运行在哪些节点上
qdel 93:删除自己的作业
ip配置hky
使用以下IP地址：
IP地址： 10.10.10.11
子网掩码：255.255.255.0
默认网关：10.10.10.254
使用以下 DNS 服务器地址：
首选DNS服务器：202.100.199.8
备用DNS服务器：202.100.192.68
static静态IP配置
- 修改网卡配置
cat /etc/sysconfig/network-scripts/ifcfg-ens31f0
TYPE=Ethernet
BOOTPROTO=static
NAME=ens31f0
NM_CONTROLLED=no
IPV6INIT=no
DEVICE=ens31f0
ONBOOT=yes
IPADDR=10.10.10.3
NETMASK=255.255.0.0
GATEWAY=10.10.10.254
注意:不同机子的 NAME, IPADDR 不一样
- 修改网关
cat /etc/sysconfig/network
# Created by anaconda
- 修改
DNS配置
cat /etc/resolv.conf
nameserver 202.100.199.8
nameserver 202.100.192.68
- 重启网络
service network restart
参考来源：cloud.tencent.com
本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 星辰大海！
相关推荐
2024-02-29
PDF操作convert
使用latex等生成pdf格式的文件时，若其中包含过多的高清图片，会导致PDF文件过大，不便于传输和存储。特别是论文投稿时候会对pdf大小有一定要求,这里介绍几种在linux平台下压缩PDF文件的工具。linux下pdf编辑工具convert等命令能够实现图片转pdf，pdf压缩、合并、拆分、旋转、加密，等 ImageMagick安装sudo apt-get install imagemagick 修改分辨率可强制修改分辨率，注意数字之间是个小写的字母x，不是乘号 convert -resize 720x1280! in.jpg out720x1280.jpg 调整图像大小缩减图像为原来的50%x50%， convert -sample 50%x50% in.jpg out.jpg 压缩图像压缩图像大小 convert antialias -quality 80 压缩质量为80% 裁剪convert in.jpg -crop wxh+dx+dy out.jpg 格式转换 通用格式之间转换 convert in.jpg out.png convert in.gif ...
2020-01-25
英文字典goldendict
如果百度翻译、谷歌翻译、Linguee、网易有道词典、金山词霸、Mdict、Lingoes 不能满足你的需求…… 用 Goldendict 。Windows、Linux、Android 平台都有对应版本。它很强大，而且可以自定义界面。 GoldenDict（Goldendict 简介REF，知乎Verbred）是一种开源的辞典软体，可为不同语言提供词汇、词组释义。其允许同时使用多种流行的辞典档案格式且无需转换。。WordNet是由Princeton 大学的心理学家，语言学家和计算机工程师联合设计的一种基于认知语言学的英语词典。它不是光把单词以字母顺序排列，而且按照单词的意义组成一个“单词的网络”。 安装GoldenDictsudo apt install goldendict goldendict-wordnet 离线辞典/字典 Longman Dictionary of Contemporary English 5th...
2024-12-12
everything
Everything软件是大家使用非常频繁的软件，方便搜索到需要的文档，但是每次搜索的时候，经常出现相同名称的.lnk后缀的文件，反而影响找到目标文件。 什么是.lnk文件. lnk文件是用于指向其他文件的一种文件。. 这些文件通常称为快捷方式文件.通常它以快捷方式放在硬盘上.以方便使用者快速的调用。. 其扩展名为.lnk。 简单而言，.lnk文件不是我们的目标搜索文件 如何不显示.lnk文件1）打开工具选项页面 1-快捷方式访问everything 工具视图：ctrl+P 2-工具->选项 索引-排除列表页面 1-勾选启动排除列表 2-在排除文件框内，填写 *.lnk 即可 参考来源： csdn
2024-02-29
evolution_mutt
mutt“All mail clients suck. This one just sucks less” Mutt is a small but very powerful text-based MIME mail client. Mutt is highly configurable, and is well suited to the mail power user with advanced features like key bindings, keyboard macros, mail threading, regular expression searches and a powerful pattern matching language for selecting groups of messages. 安装组建完全搬家 sudo apt install mutt msmtp gnutls-bin sudo apt install fetchmail procmail 如需要对TLS/SSL的支持，还需要安装 GnuTLS 或者...
2022-05-19
find快速查找
在使用linux时，经常需要进行文件查找。常用的有 find , which, whereis, grep 等。 find基本格式：find path expression filename 按照文件名查找 find / -name httpd.conf #在根目录下查找文件httpd.conf，表示在整个硬盘查找 find /etc -name httpd.conf #在/etc目录下文件httpd.conf find / -name '*srm*' #使用通配符*。表示在整个硬盘查找文件名中含有字符串‘srm’的文件 find . -name 'srm*' #表示当前目录下查找文件名开头是字符串‘srm’的文件 按照文件特征查找 find / -amin -10 # 查找在系统中最后10分钟访问的文件(access time) find / -atime -2 # 查找在系统中最后48小时访问的文件 find / -mmin -5 #...
2024-12-08
flatpak
概述Flatpak 是一种 Linux应用程序打包和部署技术，它允许应用程序以独立的容器形式运行在各种Linux发行版上，无需依赖特定的库或版本。Flatpak提供了一个安全、简单和可靠的方式，让开发人员和用户在不同Linux发行版之间共享应用程序。Flatpak应用程序被称为“Flatpak包”或“Flatpak应用”。 如何安装Flatpak？在大多数Linux发行版中，Flatpak已经预安装，但如果您的系统没有安装Flatpak，您可以按照以下步骤安装它：打开终端并输入以下命令以安装Flatpak： 对于Debian/Ubuntu发行版： sudo apt install flatpak 对于Fedora发行版： sudo dnf install flatpak 对于OpenSUSE发行版： sudo zypper install flatpak 添加Flatpak官方仓库： flatpak remote-add –if-not-exists flathub...
