框架图新流程手动分析目前只测试了细菌项目,流程还有不完善的地方。
现整理了相关流程步骤如下:
1. 切换liuqingqing账号:
###刘庆庆账号已无法使用,需要使用个人账号进行测试###
该流程是根据分期号自动抓取数据路径,所以需要liuqingqing账号权限才可以进行抓取
#######以下是新流程(数据库更新)#######
1. 如果是重分析,可以根据分期号,自动生成分析的json文件:
/TJPROJ7/GB_MICRO/PUBLIC/source/Denovo_v3/denovo_main_pipline.py config -s X101SC24032793-Z01-F001
2. 假设是新下机路径或合并重分析或提供结果文件分析,此时不可根据分期号自动生成分析的json文件,需要手动生成json: 需要配置以下脚本生成json:
/TJPROJ7/GB_MICRO/PUBLIC/source/Denovo_v3/denovo_main_pipline.py config \ -s X101SC24032793-Z01-F005 \ -r raw.list \ -w /TJPROJ7/META_ASS/16s/chenjiawei/X101SC24032793-Z01/X101SC24032793-Z01-F005/kjt-20240409 \ -c Y \ -i true \ -p 天津医科李静老师单菌分析技术服务(委托)合同 \ -t H101SC24032793
参数说明:
/TJPROJ7/GB_MICRO/PUBLIC/source/Denovo_v3/denovo_main_pipline.py config -h Usage: denovo_main_pipline.py config [OPTIONS] Options: -s, --stageid TEXT 分期号 [required] -r, --rawlist TEXT 下机路径信息[诺禾ID\t样本名\t路径\tinsertSize\t基因组大小\t文库] -w, --workdir TEXT 工作路径 -c, --cleandata [Y|N] 是否交付clean -i, --chinese [true|false] 是否为国内项目 -p, --pjname TEXT 合同名 -t, --contractid TEXT 合同编号 -h, --help Show this message and exit.
rawlist格式示例:
FKDN230602972-1A HSCGJ01 /TJPROJ4/XJ/department_data-nova/5001/240403_A00783_1544_BH7YMYDSXC-new 350 1000 FDSW230602972-2r
3. 根据生成的json文件,打印分析脚本:
/TJPROJ7/GB_MICRO/PUBLIC/source/Denovo_v3/denovo_main_pipline.py bac -c analysis.json
注:细菌:bac 真菌:fun
此步执行后会生成sjm投递的work.sh
4. sjm投递任务:
nohup sh work.sh &
#######以下是旧流程#######
1. 如果是重分析,可以根据分期号,自动生成分析的json文件:
/TJPROJ7/GB_MICRO/PUBLIC/source/Denovo_v2/denovo_main_pipline.py config -s X101SC24032793-Z01-F001
2. 假设是新下机路径或合并重分析或提供结果文件分析,此时不可根据分期号自动生成分析的json文件,需要手动生成json:
需要配置以下脚本生成json:
/TJPROJ7/GB_MICRO/PUBLIC/source/Denovo_v2/denovo_main_pipline.py config \ -s X101SC24032793-Z01-F005 \ -r raw.list \ -w /TJPROJ7/META_ASS/16s/chenjiawei/X101SC24032793-Z01/X101SC24032793-Z01-F005/kjt-20240409 \ -c Y \ -i true \ -p 天津医科李静老师单菌分析技术服务(委托)合同 \ -t H101SC24032793
参数说明:
/TJPROJ7/GB_MICRO/PUBLIC/source/Denovo_v2/denovo_main_pipline.py config -h Usage: denovo_main_pipline.py config [OPTIONS] Options: -s, --stageid TEXT 分期号 [required] -r, --rawlist TEXT 下机路径信息[诺禾ID\t样本名\t路径\tinsertSize\t基因组大小\t文库] -w, --workdir TEXT 工作路径 -c, --cleandata [Y|N] 是否交付clean -i, --chinese [true|false] 是否为国内项目 -p, --pjname TEXT 合同名 -t, --contractid TEXT 合同编号 -h, --help Show this message and exit.
rawlist格式示例:
FKDN230602972-1A HSCGJ01 /TJPROJ4/XJ/department_data-nova/5001/240403_A00783_1544_BH7YMYDSXC-new 350 1000 FDSW230602972-2r
3. 根据生成的json文件,打印分析脚本:
/TJPROJ7/GB_MICRO/PUBLIC/source/Denovo_v2/denovo_main_pipline.py bac -c analysis.json
注:细菌:bac 真菌:fun
此步执行后会生成sjm投递的work.sh
4. sjm投递任务:
nohup sh work.sh &
注: 最后三步有顺序问题,前端还未修改,all_statFunc_*,result_report_*,get_Delivery_*,整个流程跑完后需要重新按顺序跑一遍这三步。
与旧框架图逻辑一致,细菌框架图还是使用三种软件进行组装soap denovo,spade,adyss;然后使用CISA整合,客户会反馈组装结果碎,需要更换软件进行组装的需求,一般情况下更换spade即可。
执行以下脚本即可完成流程修改用于仅使用spade组装结果进行后续分析:
#移动到job文件目录 cd */script #备份原job文件 mv *.job *job.ori #生成修改后的job,并完成脚本替换 perl /TJPROJ5/META_ASS/16s/chenjiawei/script/danjun/new-kjt/spade.pl *job.ori *.job sjm script/*.job
流程测试路径:
/TJPROJ7/META_ASS/16s/chenjiawei/X101SC24032793-Z01/X101SC24032793-Z01-F001/kjt-20240329
排污方法与旧流程逻辑一致,如果遇到GC-depth图中有多个中心的情况,可以使用脚本进行排污,具体操作顺序是:
①将框架图流程第二步组装跑完。
②到02.Assembly/01.run_assembly/*/04.gapclose下完成不同中心的序列提取。
③将提取中心的序列到microNT中进行比对注释,获取各个中心序列的物种信息,再决定保留哪个中心的序列进行后续分析。
④重新跑第二步组装的后续步骤,接入到整个流程中。
1. 前面刷出重分析脚本,得到sjm文件,在第二步组装的最后一步脚本最后加入exit 1:
sed -i '$a\exit 1' script/02.Assemble/*getFinal*sh
2. sjm投递重分析,由于加入了exit 1,流程跑到第二步结束后会failed停止:
3. 可以观察各样本的GC-depth图,完成不同中心的序列提取,microNT比对,保留序列步骤
注:该部分均需要手动操作,需要看图决定脚本参数 提取序列脚本如下:
/TJPROJ5/META_ASS/16s/chenjiawei/script/danjun/dup/dup.sh
和microNT比对脚本如下:
/TJPROJ5/META_ASS/16s/chenjiawei/script/danjun/dup/blast.sh
备份原始的02.Assembly/01.run_assembly/*/04.gapclose/all.scafSeq.500 为02.Assembly/01.run_assembly/*/04.gapclose/all.scafSeq.500.ori
将保留的序列替换为02.Assembly/01.run_assembly/*/04.gapclose/all.scafSeq.500
4. 生成新的sjm job脚本,用于投递第二步的最后一步05.remove_pulution
perl /TJPROJ5/META_ASS/16s/chenjiawei/script/danjun/new-kjt/dup.pl *.job *.dup.job
5. sjm投递第二步的最后一步05.remove_pulution
source /home/liuqingqing/bash_profile_for_meta sjm *.dup.job
注:由于最后一步的结尾仍是exit 1,流程结束后,可以查看去污效果,若不理想可反复执行4-5步骤,直到得到理想去污结果
6. 接入到后续标准流程
若得到理想的去污结果,需要将首次的sjm job的stat文件中的failed 替换为done,然后sjm投递*job.status