S3からファイルをダウンロードするAWS CLIコマンド : Tipsメモ

こんにちは。てぃろです。

今回はただのコマンドメモです。

aws-cli/2.2.38 Python/3.8.8 Darwin/20.6.0 exe/x86_64 prompt/off

会社の研修課題でここに紹介されているデータセットをダウンロードしたいというのがモチベーションです。

こちらは、Amazonの商品レビューのデータセットでレビュー商品の商品カテゴリとレーティング（星）、レビュータイトルとレビュー本文が入ったデータです。

ファイル形式はjsonですが、結構な容量なものです。

まず、これが存在することを確認します。

上記のデータ紹介ページにアクセスすると、その右側にこのようなコマンドがあるので打ってみます。公開されているものなので、アクセス権限は気にしなくても良いみたいです。

S3にデータがあるか確認するコマンドは書き直すとコチラです。

aws s3 ls s3://amazon-reviews-ml/ --no-sign-request

今回は認証不要なので、うしろにオプションがついている。

次に、これをダウンロードします。

コマンドはこちらです。

aws s3 cp s3://amazon-reviews-ml/ ./ --recursive --no-sign-request

これでディレクトリごとダウンロードすることができる。

今回は以上です。