Kaggle Competition Related COVID19

2 minute read

COVID19 & Pandemic

코로나 19로 인해 WHO가 Pandemic을 선언한 가운데, 최근 Kaggle에서 코로나 관련 Dataset과 Competition이 등장하고 있어 이번 Post에서 소개해 볼까 합니다.

먼저 Kaggle에 등록된 코로나 19 관련 Dataset들을 살펴보도록 하겠습니다.

매우 다양한 Dataset이 공개되어 있습니다. 또한, 대한민국에서 공개한 Dataset도 꽤 많이 눈이 띄네요.

그 중에서도 초기에 공개되어 인기를 끌었던, 한양대 대학원생 김지후님이 공개하신 Dataset도 있습니다.

국격 높아지는 소리가 들리네요~!

이번에는 코로나 19와 관련된 Kaggle Task를 알아보도록 하겠습니다.
관련 Dataset은 아래의 Link에서 확인하실 수 있습니다.
- COVID-19 Open Research Dataset Challenge (CORD-19) : https://www.kaggle.com/allen-institute-for-ai/CORD-19-research-challenge
이 Dataset은 백악관과 몇몇의 연구 그룹에서 배포한 것입니다.
이 Dataset은 COVID-19, SARS-CoV-2 및 코로나 바이러스에 관한 44,000 개가 넘는 학술 자료를 제공하며, 그 중에 29,000 개는 전문으로 제공됩니다.
Text 형태의 학술 자료이기 때문에 자연어 처리 혹은 기타 AI 기술을 이용하여 다양한 작업을 할 수 있을 것이라고 기대됩니다.
이 Datset은 주기적으로 Update되며, 최신 Dataset은 아래 Link에서 확인하시면 됩니다.
- https://pages.semanticscholar.org/coronavirus-research
저는 3월 13일자 Dataset을 Download하였습니다. Directory 구조는 아래와 같았습니다.

각 Folder는 아래와 같은 문서를 제공합니다.
- Commercial use subset (includes PMC content)
- Non-commercial use subset (includes PMC content)
- Custom license subset
- bioRxiv/medRxiv subset (pre-prints that are not peer reviewed)
개별 문서는 JSON 형태의 File로 제공되며, Schema는 다음과 같습니다.
- JSON Schema
CSV 형태로 Metadata가 제공되며, 개별 문서의 제목은 각 문서의 Hash값( SHA )값과 Match 됩니다.

Dataset에서 코로나 19의 Risk Factor를 조사해 보라는 Task네요.
제출된 Submission 중 하나를 살펴보도록 하겠습니다.
- https://www.kaggle.com/shiromiyuki/covid-19-risk-factors-using-tf-idf

현재 Kaggle에 코로나 19 관련 Competition은 2개가 있습니다.
- COVID-19 Global Forecasting Challenge : https://www.kaggle.com/c/covid19-global-forecasting-week-1/overview
- COVID-19 California Forecasting Challenge : https://www.kaggle.com/c/covid19-local-us-ca-forecasting-week-1/overview

이 2개의 Competition은 유사한 Competition이며, 백악관의 OSTP(Science and Technology Policy)에서 코로나 19 문제를 해결하기 위해 Kaggle을 포함한 다양한 연구 그룹에 배포하였습니다.
이 Competition의 주요 목적은 지역별로 사망자를 예측하는 것이라기 보다는 코로나 19의 전파에 영향을 미치는 중요 요인이 무엇인지를 예측하는 것입니다.
Data File을 받아서 어떤 Data가 포함되어 있는지 한 번 살펴보도록 하겠습니다.