aws s3 ls bucket

知らなかったので表題をメモ。

■ 環境

  • awscli 1.11.113
  • Mac OSX El Capitan

■ aws s3 ls

いつもは下記のようにやっていた。

$ aws s3 ls s3://withsin/
                           PRE project1/
                           PRE project2/
$

何の気なしに下記のようにやっても同じ結果が得られた。

$ aws s3 ls withsin
                           PRE project1/
                           PRE project2/
$

s3://“のスキームはなくても良いらしい。知らなかった。

以上。

AmazonLinuxでJSTに固定

AmazonLinuxにおいて表題の通り。”glibc“のパッケージを”update“した際に”JST“にしておいた時間が”UTC“に戻ってしまっていた。

■ 環境

  • Amazon Linux

■ /etc/localtime

/etc/localtime“はいつも変更をしている。

$ sudo cp /usr/share/zoneinfo/Japan /etc/localtime

これで”JST“に変わったと満足してしばらく放置してしまうことが多々ある。前述の通り”glibc“のパッケージを”update“した際に再度”UTC”に戻ってしまうという現象が発生する。

■ /etc/sysconfig/clock

このファイルも下記のように変更する。

$ cat /etc/sysconfig/clock
ZONE="Asia/Tokyo"
UTC=true
$

後はおとなしく次の”update“を待つべし。

以上。

AWS WAF metrics

表題の件についてのメモ。

■ 環境

  • AWS WAF
  • CloudWatch
  • awscli 1.11.80

■ list-metrics

まずはどんなメトリクスがあるのかを調べる。

$ aws cloudwatch list-metrics --namespace WAF

`–namespace WAF`を入れないと、全メトリクスが取得できてしまうので絞る。自身の環境の場合は下記のようなレスポンスが得られた。

$ aws cloudwatch list-metrics --namespace WAF
{
    "Metrics": [
        {
            "Namespace": "WAF",
            "Dimensions": [
                {
                    "Name": "WebACL",
                    "Value": "withsintest"
                },
                {
                    "Name": "Region",
                    "Value": "ap-northeast-1"
                },
                {
                    "Name": "Rule",
                    "Value": "testrule1"
                }
            ],
            "MetricName": "BlockedRequests"
        },
        {
            "Namespace": "WAF",
            "Dimensions": [
                {
                    "Name": "WebACL",
                    "Value": "withsintest"
                },
                {
                    "Name": "Region",
                    "Value": "ap-northeast-1"
                },
                {
                    "Name": "Rule",
                    "Value": "ALL"
                }
            ],
            "MetricName": "BlockedRequests"
        }
    ]
}
$

■ get-metric-statistics

続いてこれらのメトリクスデータを取得する。

$ aws cloudwatch get-metric-statistics

オプションが多々必要なようである。

  • –namespace WAF
  • –metric-name BlockedRequests
  • –start-time 2017-04-24T15:00:00Z
  • –end-time 2017-04-25T15:00:00Z
  • –period 3600

これら必須のオプションだけで取得できるかと思いきや、下記エラーが出た。

An error occurred (InvalidParameterCombination) when calling the GetMetricStatistics operation: At least one of the parameters Statistics and ExtendedStatistics must be specified.
  • –statistics Sum

これを追加したところ、エラーは出なくなったがデータは何も取得できず。

{
    "Datapoints": [],
    "Label": "BlockedRequests"
}

上記のように空である。続いて書きオプションも追加。

  • –dimensions

これも指定する必要がありそうだ。”MetricName“が同じだから”Dimensions“で判断するしかないということか。と自身の中では納得し、結果下記のように実行。

$ aws cloudwatch get-metric-statistics \
--namespace WAF \
--metric-name BlockedRequests \
--start-time 2017-04-24T15:00:00Z \
--end-time 2017-04-205T15:00:00Z \
--period 3600 \
--statistics Sum \
--dimensions Name=WebACL,Value=withsintest Name=Region,Value=ap-northeast-1 Name=Rule,Value=ALL
{
    "Datapoints": [
        {
            "Timestamp": "2017-04-24T19:00:00Z",
            "Sum": 3.0,
            "Unit": "None"
        },
        {
            "Timestamp": "2017-04-25T02:00:00Z",
            "Sum": 4.0,
            "Unit": "None"
        },
        {
            "Timestamp": "2017-04-25T02:00:00Z",
            "Sum": 2.0,
            "Unit": "None"
        }
    ],
    "Label": "BlockedRequests"
}
$

`–period`で指定した1時間ごとのデータが取得できた。”0“件の場合には省略されるようだ。

以上。

■ 関連

waf or waf-regional

waf or waf-regional

AWSの表題の件について。単なるメモである。

■ 環境

  • awscli 1.11.80
  • Mac OSX El Capitan

■ waf

WAFの設定をしたのだが、下記のように`awscli`で取得できない。

$ aws waf list-web-acls
{
    "WebACLs": []
}
$

さてなぜであろう???としばらく悩んでいたら気がついた。”waf-regional“なるものがあることに。

■ waf-regional

$ aws waf-regional list-web-acls
{
    "WebACLs": [
        {
            "WebACLId": "XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXXX",
            "Name": "withsintest"
        }
    ]
}
$

こちらでは思い通りの結果が得られた。管理コンソールから見てみると、”Filte“が下記で分かれていた。

  • CloudFront WAF resources:
    • Global (Cloudfront)
  • ALB WAF resources:
    • US East (N.Virginia)
    • US West (Oregon)
    • Eu (Ireland)
    • Asia Pacific (Tokyo)

なるほど。ALBで検証していたので”waf-regional“の方に入っていたようだ。それなのに`awscli`では”waf“でコマンド実行していた為、”Cloudfront“のリソースしか取得できていなかったのが原因であった。

waf-regional“にしかないサブコマンド。

  • associate-web-acl
  • disassociate-web-acl
  • get-web-acl-for-resource
  • list-resources-for-web-acl

これ以外はどちらでも同じように使えるようだ。

以上。

■ 関連

AWS WAF metrics

Athenaのpartition一覧

表題を単なるメモ。

■ 環境

  • AWS Athena

■ athena

AWS Athenaを使用し始めている。とりあえずCSVのデータを投入し触ってみている。で、キレイにパーティションが分かれそうなデータ構造なので年月毎でパーティションを分けている。テーブルを作成した時はこんな感じ。

CREATE EXTERNAL TABLE IF NOT EXISTS test.table1 (
  :
) PARTITIONED BY (
  year string,
  month string
)
  :
) LOCATION 's3://withsin/testtable/'
TBLPROPERTIES ('has_encrypted_data'='false');

この”s3://withsin/testtable/“配下に”2017/04/“といったディレクトリ(?)を掘って、日付毎にデータを投入している。パーティションは下記のように作成。

ALTER TABLE table1 ADD PARTITION (year='2017', month='04') location 's3://withsin/testtable/2017/04/';

パーティションをいくつか作っていて、このパーティションは作ったっけ?となってしまった…。作成済みのパーティション一覧を取得したかったが、`SHOW CREATE TABLE`では情報が得られなかった。また管理画面からも確認する項目が見つけられず。というわけでこれもクエリを実行する。

show partitions table1;

これで下記のような結果が得られた。

year=2017/month=04
year=2016/month=08
year=2017/month=01
  :

MySQLでパーティションは使ったことがないのだが、MySQLでも同じように取得できるのであろう。

以上。