用户工具

站点工具


框架图新流程

单菌框架图新流程运行方法

框架图新流程手动分析目前只测试了细菌项目,流程还有不完善的地方。

现整理了相关流程步骤如下:

准备工作

1. 切换liuqingqing账号:

###刘庆庆账号已无法使用,需要使用个人账号进行测试###

该流程是根据分期号自动抓取数据路径,所以需要liuqingqing账号权限才可以进行抓取

运行步骤

#######以下是新流程(数据库更新)#######

1. 如果是重分析,可以根据分期号,自动生成分析的json文件:

/TJPROJ7/GB_MICRO/PUBLIC/source/Denovo_v3/denovo_main_pipline.py config -s X101SC24032793-Z01-F001

2. 假设是新下机路径或合并重分析或提供结果文件分析,此时不可根据分期号自动生成分析的json文件,需要手动生成json: 需要配置以下脚本生成json:

/TJPROJ7/GB_MICRO/PUBLIC/source/Denovo_v3/denovo_main_pipline.py config \
    -s X101SC24032793-Z01-F005 \
    -r raw.list \
    -w /TJPROJ7/META_ASS/16s/chenjiawei/X101SC24032793-Z01/X101SC24032793-Z01-F005/kjt-20240409 \
    -c Y \
    -i true \
    -p 天津医科李静老师单菌分析技术服务(委托)合同 \
    -t H101SC24032793

参数说明:

/TJPROJ7/GB_MICRO/PUBLIC/source/Denovo_v3/denovo_main_pipline.py config -h
Usage: denovo_main_pipline.py config [OPTIONS]

Options:
  -s, --stageid TEXT          分期号  [required]
  -r, --rawlist TEXT          下机路径信息[诺禾ID\t样本名\t路径\tinsertSize\t基因组大小\t文库]
  -w, --workdir TEXT          工作路径
  -c, --cleandata [Y|N]       是否交付clean
  -i, --chinese [true|false]  是否为国内项目
  -p, --pjname TEXT           合同名
  -t, --contractid TEXT       合同编号
  -h, --help                  Show this message and exit.

rawlist格式示例:

FKDN230602972-1A HSCGJ01 /TJPROJ4/XJ/department_data-nova/5001/240403_A00783_1544_BH7YMYDSXC-new 350     1000    FDSW230602972-2r

3. 根据生成的json文件,打印分析脚本:

/TJPROJ7/GB_MICRO/PUBLIC/source/Denovo_v3/denovo_main_pipline.py  bac -c  analysis.json

注:细菌:bac 真菌:fun

此步执行后会生成sjm投递的work.sh

4. sjm投递任务:

nohup sh work.sh &

#######以下是旧流程#######

1. 如果是重分析,可以根据分期号,自动生成分析的json文件:

/TJPROJ7/GB_MICRO/PUBLIC/source/Denovo_v2/denovo_main_pipline.py config -s X101SC24032793-Z01-F001

2. 假设是新下机路径或合并重分析或提供结果文件分析,此时不可根据分期号自动生成分析的json文件,需要手动生成json:

需要配置以下脚本生成json:

/TJPROJ7/GB_MICRO/PUBLIC/source/Denovo_v2/denovo_main_pipline.py config \
    -s X101SC24032793-Z01-F005 \
    -r raw.list \
    -w /TJPROJ7/META_ASS/16s/chenjiawei/X101SC24032793-Z01/X101SC24032793-Z01-F005/kjt-20240409 \
    -c Y \
    -i true \
    -p 天津医科李静老师单菌分析技术服务(委托)合同 \
    -t H101SC24032793

参数说明:

/TJPROJ7/GB_MICRO/PUBLIC/source/Denovo_v2/denovo_main_pipline.py config -h
Usage: denovo_main_pipline.py config [OPTIONS]

Options:
  -s, --stageid TEXT          分期号  [required]
  -r, --rawlist TEXT          下机路径信息[诺禾ID\t样本名\t路径\tinsertSize\t基因组大小\t文库]
  -w, --workdir TEXT          工作路径
  -c, --cleandata [Y|N]       是否交付clean
  -i, --chinese [true|false]  是否为国内项目
  -p, --pjname TEXT           合同名
  -t, --contractid TEXT       合同编号
  -h, --help                  Show this message and exit.

rawlist格式示例:

FKDN230602972-1A HSCGJ01 /TJPROJ4/XJ/department_data-nova/5001/240403_A00783_1544_BH7YMYDSXC-new 350     1000    FDSW230602972-2r

3. 根据生成的json文件,打印分析脚本:

/TJPROJ7/GB_MICRO/PUBLIC/source/Denovo_v2/denovo_main_pipline.py  bac -c  analysis.json

注:细菌:bac 真菌:fun

此步执行后会生成sjm投递的work.sh

4. sjm投递任务:

nohup sh work.sh &

注: 最后三步有顺序问题,前端还未修改,all_statFunc_*,result_report_*,get_Delivery_*,整个流程跑完后需要重新按顺序跑一遍这三步。

指定spade软件进行后续分析方法

与旧框架图逻辑一致,细菌框架图还是使用三种软件进行组装soap denovo,spade,adyss;然后使用CISA整合,客户会反馈组装结果碎,需要更换软件进行组装的需求,一般情况下更换spade即可。

执行以下脚本即可完成流程修改用于仅使用spade组装结果进行后续分析:

#移动到job文件目录
cd */script
#备份原job文件
mv *.job *job.ori 
#生成修改后的job,并完成脚本替换
perl /TJPROJ5/META_ASS/16s/chenjiawei/script/danjun/new-kjt/spade.pl *job.ori *.job
sjm script/*.job

流程测试路径:

/TJPROJ7/META_ASS/16s/chenjiawei/X101SC24032793-Z01/X101SC24032793-Z01-F001/kjt-20240329

需要排污进行后续分析方法

排污方法与旧流程逻辑一致,如果遇到GC-depth图中有多个中心的情况,可以使用脚本进行排污,具体操作顺序是:

①将框架图流程第二步组装跑完。

②到02.Assembly/01.run_assembly/*/04.gapclose下完成不同中心的序列提取。

③将提取中心的序列到microNT中进行比对注释,获取各个中心序列的物种信息,再决定保留哪个中心的序列进行后续分析。

④重新跑第二步组装的后续步骤,接入到整个流程中。

运行步骤

1. 前面刷出重分析脚本,得到sjm文件,在第二步组装的最后一步脚本最后加入exit 1:

sed -i '$a\exit 1' script/02.Assemble/*getFinal*sh

2. sjm投递重分析,由于加入了exit 1,流程跑到第二步结束后会failed停止:

3. 可以观察各样本的GC-depth图,完成不同中心的序列提取,microNT比对,保留序列步骤

注:该部分均需要手动操作,需要看图决定脚本参数 提取序列脚本如下:

/TJPROJ5/META_ASS/16s/chenjiawei/script/danjun/dup/dup.sh

和microNT比对脚本如下:

/TJPROJ5/META_ASS/16s/chenjiawei/script/danjun/dup/blast.sh

备份原始的02.Assembly/01.run_assembly/*/04.gapclose/all.scafSeq.500 为02.Assembly/01.run_assembly/*/04.gapclose/all.scafSeq.500.ori

将保留的序列替换为02.Assembly/01.run_assembly/*/04.gapclose/all.scafSeq.500

4. 生成新的sjm job脚本,用于投递第二步的最后一步05.remove_pulution

perl /TJPROJ5/META_ASS/16s/chenjiawei/script/danjun/new-kjt/dup.pl *.job *.dup.job

5. sjm投递第二步的最后一步05.remove_pulution

source /home/liuqingqing/bash_profile_for_meta
sjm *.dup.job

注:由于最后一步的结尾仍是exit 1,流程结束后,可以查看去污效果,若不理想可反复执行4-5步骤,直到得到理想去污结果

6. 接入到后续标准流程

若得到理想的去污结果,需要将首次的sjm job的stat文件中的failed 替换为done,然后sjm投递*job.status

框架图新流程.txt · 最后更改: 2024/07/11 10:09 由 chenjiawei