Athenaのpartition一覧

表題を単なるメモ。

■ 環境

  • AWS Athena

■ athena

AWS Athenaを使用し始めている。とりあえずCSVのデータを投入し触ってみている。で、キレイにパーティションが分かれそうなデータ構造なので年月毎でパーティションを分けている。テーブルを作成した時はこんな感じ。

CREATE EXTERNAL TABLE IF NOT EXISTS test.table1 (
  :
) PARTITIONED BY (
  year string,
  month string
)
  :
) LOCATION 's3://withsin/testtable/'
TBLPROPERTIES ('has_encrypted_data'='false');

この”s3://withsin/testtable/“配下に”2017/04/“といったディレクトリ(?)を掘って、日付毎にデータを投入している。パーティションは下記のように作成。

ALTER TABLE table1 ADD PARTITION (year='2017', month='04') location 's3://withsin/testtable/2017/04/';

パーティションをいくつか作っていて、このパーティションは作ったっけ?となってしまった…。作成済みのパーティション一覧を取得したかったが、`SHOW CREATE TABLE`では情報が得られなかった。また管理画面からも確認する項目が見つけられず。というわけでこれもクエリを実行する。

show partitions table1;

これで下記のような結果が得られた。

year=2017/month=04
year=2016/month=08
year=2017/month=01
  :

MySQLでパーティションは使ったことがないのだが、MySQLでも同じように取得できるのであろう。

以上。

コメントを残す

メールアドレスが公開されることはありません。

CAPTCHA