n4okins / 主要データセットのリンク集

Created Mon, 08 Jul 2024 14:55:30 +0900 Modified Mon, 08 Jul 2024 14:55:30 +0900

236 Words

Tips Links

カッコ内は大まかな容量

ImageNet-1K (165GB)

Kaggle版

ImageNet Object Localization Challenge | Kaggle

Tiny-ImageNet (240MB) :

Tiny ImageNet | Kaggle

Open Images Dataset V7 (560GB)

Open Images V7 - Download

storage.googleapis.com

COCO - MSCOCO 2014, 2017 (25GB)

COCO - Common Objects in Context

cocodataset.org

Tiny-Stories (2GB)

TinyStories | Kaggle

IWSLT 2014 (20MB, 直リンク)

http://dl.fbaipublicfiles.com/fairseq/data/iwslt14/de-en.tgzにアクセスできませんでした

dl.fbaipublicfiles.com

Prepare_IWSLT14.sh (自動DL+前処理スクリプト？) 実行時は/bin/bash -c "$(curl -fsSL 'https://raw.githubusercontent.com/facebookresearch/fairseq/main/examples/translation/prepare-iwslt14.sh')" こんな感じ

fairseq/examples/translation/prepare-iwslt14.sh at main · facebookresearch/fairseq · GitHub

github.com

Wikipedia - Image/Caption Matching (75GB + 275GB)

文章 (75GB):

Wikipedia - Image/Caption Matching | Kaggle

www.kaggle.com
画像 (275GB, 直リンク):

Sign in - Google Accounts

storage.cloud.google.com

Edinburgh NLP

edinburghnlp.inf.ed.ac.uk

CMU Question-Answering Dataset

Question-Answer Dataset