Skip to content
Snippets Groups Projects
Select Git revision
  • ef4ef5823a6613a33d329cb1f2998bfa4cf51c9d
  • main default protected
2 results

submit_job_venv.sh

Blame
  • Jannis Klinkenberg's avatar
    Jannis Klinkenberg authored
    ef4ef582
    History
    submit_job_venv.sh 1.27 KiB
    #!/usr/bin/zsh
    ############################################################
    ### Slurm flags
    ############################################################
    
    #SBATCH --time=00:15:00
    #SBATCH --partition=c23g
    #SBATCH --nodes=1
    #SBATCH --ntasks-per-node=2
    #SBATCH --cpus-per-task=24
    #SBATCH --gres=gpu:2
    
    ############################################################
    ### Load modules or software
    ############################################################
    
    # TODO: load/activate your desired modules and virtual environment
    
    ############################################################
    ### Parameters and Settings
    ############################################################
    
    # print some information about current system
    echo "Job nodes: ${SLURM_JOB_NODELIST}"
    echo "Current machine: $(hostname)"
    nvidia-smi
    
    export NCCL_DEBUG=INFO
    export TF_CPP_MIN_LOG_LEVEL=1 # disable info messages
    export TF_GPU_THREAD_MODE='gpu_private'
    export NCCL_SOCKET_NTHREADS=8 # multi-threading for NCCL communication
    
    ############################################################
    ### Execution (Model Training)
    ############################################################
    
    # each process sets required environment variables and
    # runs the python script
    srun zsh -c '\
        source set_vars.sh && \
        zsh ./execution_wrapper.sh'