OpenFDA不良事件管道
用于处理OpenFDA FAERS DB的OpenTargets ETL管道。
开放式FDA药物不良事件API返回从FDA不良事件报告系统(FAERS)收集的数据,该数据库包含有关提交给FDA的不良事件和用药错误报告的信息。
管道支持可以在配置文件中指定的三种输出格式(Parquet,CSV和JSON)。 对于开放式目标,使用两种格式:
CSV:当前管道中的不利事件
JSON:ETL管道中的openfda索引
该项目应作为Spark作业运行,以生成药品不良事件的汇总输出。
概要
下载OpenFDA“ FAERS”(〜1000个文件-2020年5月)
阶段1:对该数据进行预处理(OpenFdaEtl.scala):
过滤条件:
仅由卫生专业人员提交的报告((1,2,3)中的primarysource.qualification )。
排除导致死亡的报
2021-05-09 22:49:52
115KB
Scala
1