denovoSE

###############################################################################
##########################          CONFIG          ###########################
###############################################################################
configfile: "/home/seqWorkflows/config/configDenovoSE.yaml"

###############################################################################
########################          LIBRARIES          ##########################
###############################################################################
import io 
import os
import pandas as pd
import pathlib
from snakemake.exceptions import print_exception, WorkflowError

###############################################################################
######################          SET VARIABLES          ########################
###############################################################################
THREADS = config["threads"]

STEP_QC = config["step_qC"] # quality control
STEP_ASSEMBLY = config["step_assembly"] # indexing and mapping
STEP_MAP = config["step_map"]
STEP_COUNTS = config["step_counts"] # quantify counts
STEP_TRANSDECODER = config["step_transdecoder"]
STEP_CDHIT = config["step_cdhit"]
STEP_ANNOTATION = config["step_annotation"]

SAMPLES = config["samples"].split() # sample files
LANE = config["lane"]
NUM = config["reads"].split()
FQ = config['fq']
ADAPTERS = config['adapters']
READS = config['reads']

INPUTDIR = config["raw_data_dir"] #  /home/dataset/raw_data - fastq reads
DIR = config["base_dir"] # /home/user/
TRIMMEDDIR =  config['trimmed_dir'] # os.path.join(DIR, "/trimmed/")
ASSEMBLYDIR = config['assembly_dir']
ASSEMBLY = config['assembly_name']

OUT_STEP_QC = os.path.join(INPUTDIR, STEP_QC) # /home/dataset/qC
OUT_STEP_ASSEMBLY = os.path.join(INPUTDIR, STEP_ASSEMBLY) # /home/dataset/map
OUT_STEP_MAP = os.path.join(INPUTDIR, STEP_MAP) # /home/dataset/map
OUT_STEP_COUNTS = os.path.join(INPUTDIR, STEP_COUNTS) # /home/dataset/counts
OUT_STEP_TRANSDECODER = os.path.join(INPUTDIR, STEP_TRANSDECODER) # /home/dataset/transdecoder
OUT_STEP_CDHIT = os.path.join(INPUTDIR, STEP_CDHIT) # /home/dataset/cdHit
OUT_STEP_ANNOTATION = os.path.join(INPUTDIR, STEP_ANNOTATION) # /home/dataset/annotation
OUT_STEP_DOWNLOAD = os.path.join(DIR, 'data/') # /home/data

###############################################################################
#########################          RULE ALL          ##########################
###############################################################################
rule all:
    input:
 #################################################------ QUALITY CONTROL ------##################################################
#     fastqc output before trimming
       # fastq_html = expand("{out_dir_name}fastqcRaw/{sample}{lane}_fastqc.html", out_dir_name=OUT_STEP_QC, sample=SAMPLES, lane=LANE),
    # fastqc output after trimming
        trimmed = expand("{trim_dir}{sample}{lane}_trimmed.fq.gz", trim_dir = TRIMMEDDIR, sample=SAMPLES, lane=LANE),
      #  html_trim = expand("{out_dir_name}fastqcTrim/{sample}{lane}_trimmed_fastqc.html", out_dir_name=OUT_STEP_QC, sample=SAMPLES, lane=LANE),
   #     zip_trim = expand("{out_dir_name}/fastqcTrim/{sample}{lane}_trimmed_fastqc.zip", out_dir_name=OUT_STEP_QC, sample=SAMPLES, lane=LANE),
    # merged reports before trimming
      #  raw_html = OUT_STEP_QC + "fastqcRaw/multiqc_report.html",
    # merged reports after trimming
       # trim_html = OUT_STEP_QC + "fastqcTrim/multiqc_report.html",


   #################################################------ ASSEMBLY ------######################################################
    # trinity assembly
        assembly = ASSEMBLYDIR + ASSEMBLY,
    # cdhit
        assemblyfilt = OUT_STEP_CDHIT + "NRCDS_Trinity.fasta.cdhit",
    # busco
        busco = OUT_STEP_ANNOTATION + "busco/out/short_summary.specific.hymenoptera_odb10.out.txt",


    #################################################------ ANNOTATION ------###################################################
    # transDecoder
        long_orfs = OUT_STEP_TRANSDECODER + "longest_orfs.pep",
        pep = OUT_STEP_TRANSDECODER + ASSEMBLY + ".transdecoder.pep",
    # uniprot
        uniprotdb = OUT_STEP_DOWNLOAD + "uniprot_sprot.fasta",
        blastdb = OUT_STEP_DOWNLOAD + "uniprot_sprot.fasta.pdb",
    # blast
        blastp = OUT_STEP_ANNOTATION + "uniprot.blastp.outfmt6",
        blastx = OUT_STEP_ANNOTATION + "uniprot.blastx.outfmt6",
    # pfam
        pfamdb = OUT_STEP_DOWNLOAD + "Pfam-A.hmm",
    # hmmscan
        hmmscan = OUT_STEP_ANNOTATION + "TrinotatePFAM.out",
    # signal p
        signalp = OUT_STEP_ANNOTATION + "signalp/prediction_results.txt",
    # trinotate
      #  sqlite = OUT_STEP_ANNOTATION + "Trinotate.sqlite",
     #   xlsReport1 = OUT_STEP_ANNOTATION + "trinotate_annotation_reportv1.xls",
     #   xlsReport2 = OUT_STEP_ANNOTATION + "trinotate_annotation_reportv2.xls",
        go = OUT_STEP_ANNOTATION + "go_annotations.txt",


    ############################################------ DIFFERENTIAL EXPRESSION ------############################################
        counts = expand("{out_dir}{sample}{lane}/RSEM.genes.results", out_dir = OUT_STEP_COUNTS,  sample=SAMPLES, lane=LANE),
        mtx =  OUT_STEP_COUNTS + "RSEM.isoform.counts.matrix",
     #   assemblyfiltexp = ASSEMBLYDIR + "Trinity.filt.fasta",


    ##############################################------ GO ANALYSIS ------######################################################
        factorLabel = INPUTDIR + "diff_exp/DESeq2_gene/factor_labeling.txt",
        seqLens = INPUTDIR + "diff_exp/Trinity.fasta.seq_lens",
        gene_lengths = INPUTDIR + "Trinity.gene_lengths.txt",
        go_res = INPUTDIR + "diff_exp/DESeq2_gene/A_B.GOseq.enriched",

#>>>>>>>>>>>>>>------           QUALITY CONTROL        --------<<<<<<<<<<<<<<<<

###############################################################################
#################          QUALITY REPORT RAW DATA          ###################
###############################################################################
#include:	"rules/SE/fastqcRAW.smk"

###############################################################################
#########################          TRIMMING          ##########################
###############################################################################
include:	"rules/SE/trimmomatic.smk"

###############################################################################
###############          QUALITY REPORT TRIMMED DATA          #################
###############################################################################
include:	"rules/SE/fastqcTRIM.smk"

###############################################################################
######################          MERGE REPORTS          ########################
###############################################################################
include:	"rules/BOTH/multiqc.smk"

#>>>>>>>>>>>>>>------              ASSEMBLY            --------<<<<<<<<<<<<<<<<

###############################################################################
######################        TRINITY ASSEMBLY         ########################
###############################################################################
include:	"rules/SE/trinity_assembly.smk"

###############################################################################
######################          BOWTIE BUILD           ########################
###############################################################################
#include:	"rules/BOTH/bowtie2_build.smk"

###############################################################################
###################             BOWTIE MAP               ######################
###############################################################################
#include:	"rules/SE/bowtie2.smk"

###############################################################################
#####################             BUSCO                ########################
###############################################################################
include:	"rules/BOTH/busco.smk"

###############################################################################
###################               REMOVE REDUNDANCE      ######################
###############################################################################
include:	"rules/BOTH/cdhit.smk"

#>>>>>>>>>>>>>>------      DIFFERENTIAL EXPRESSION     --------<<<<<<<<<<<<<<<<

###############################################################################
###################               COUNTS                 ######################
###############################################################################
include:	"rules/SE/trinity_align_and_estimate_abundance.smk"

###############################################################################
###################           FILTER BY EXPRESSION       ######################
###############################################################################
#include:	"rules/BOTH/trinity_filter_by_rsem.smk"

###############################################################################
###################           ABUNDANCE TO MATRIX        ######################
###############################################################################
include:	"rules/BOTH/trinity_abundance_to_matrix.smk"

###############################################################################
######################          DE ANALYSIS            ########################
###############################################################################
include:	"rules/BOTH/trinity_run_DE_analysis.smk"

#>>>>>>>>>>>>>>------              ANNOTATION          --------<<<<<<<<<<<<<<<<

###############################################################################
###################           TRANSDECODER ORFS          ######################
###############################################################################
include:	"rules/BOTH/transDecoderOrf.smk"

###############################################################################
###################               PREDICT GENES          ######################
###############################################################################
include:	"rules/BOTH/transDecoderPred.smk"

###############################################################################
###################               UNIPROT DB             ######################
###############################################################################
include:	"rules/BOTH/uniprotdb.smk"

###############################################################################
###################               BLAST DB             ######################
###############################################################################
include:	"rules/BOTH/blastuniprotdb.smk"

###############################################################################
###################                BLASTP                ######################
###############################################################################
include:	"rules/BOTH/blastp.smk"

###############################################################################
###################                 BLASTX               ######################
###############################################################################
include:	"rules/BOTH/blastx.smk"

###############################################################################
###################               PFAM DB             ######################
###############################################################################
include:	"rules/BOTH/pfamdb.smk"

###############################################################################
###################               HMMER SCAN             ######################
###############################################################################
include:	"rules/BOTH/hmmscan.smk"

###############################################################################
###################               SIGNAL P               ######################
###############################################################################
include:	"rules/BOTH/signalp.smk"

###############################################################################
###################           BUILD DB                   ######################
###############################################################################
include:	"rules/BOTH/trinotate_builddb.smk"

###############################################################################
###################           ANNOTATION                 ######################
###############################################################################
include:	"rules/BOTH/trinotate_db.smk"

###############################################################################
#####################             TRINONATE            ########################
###############################################################################
include:	"rules/BOTH/trinotate_report.smk"

#>>>>>>>>>>>>>>------          GOSEQ ANALYSIS          --------<<<<<<<<<<<<<<<<

###############################################################################
#####################             EXTRACT GO           ########################
###############################################################################
include:	"rules/BOTH/trinotate_extract_GO.smk"

###############################################################################
#####################             FACTOR LEN           ########################
###############################################################################
include:	"rules/BOTH/factor_len.smk"

###############################################################################
#####################             RUN GOSEQ            ########################
###############################################################################
include:	"rules/BOTH/trinity_run_GOseq.smk"