aws s3 ls bucket

知らなかったので表題をメモ。

■ 環境

  • awscli 1.11.113
  • Mac OSX El Capitan

■ aws s3 ls

いつもは下記のようにやっていた。

$ aws s3 ls s3://withsin/
                           PRE project1/
                           PRE project2/
$

何の気なしに下記のようにやっても同じ結果が得られた。

$ aws s3 ls withsin
                           PRE project1/
                           PRE project2/
$

s3://“のスキームはなくても良いらしい。知らなかった。

以上。

AWS WAF metrics

表題の件についてのメモ。

■ 環境

  • AWS WAF
  • CloudWatch
  • awscli 1.11.80

■ list-metrics

まずはどんなメトリクスがあるのかを調べる。

$ aws cloudwatch list-metrics --namespace WAF

`–namespace WAF`を入れないと、全メトリクスが取得できてしまうので絞る。自身の環境の場合は下記のようなレスポンスが得られた。

$ aws cloudwatch list-metrics --namespace WAF
{
    "Metrics": [
        {
            "Namespace": "WAF",
            "Dimensions": [
                {
                    "Name": "WebACL",
                    "Value": "withsintest"
                },
                {
                    "Name": "Region",
                    "Value": "ap-northeast-1"
                },
                {
                    "Name": "Rule",
                    "Value": "testrule1"
                }
            ],
            "MetricName": "BlockedRequests"
        },
        {
            "Namespace": "WAF",
            "Dimensions": [
                {
                    "Name": "WebACL",
                    "Value": "withsintest"
                },
                {
                    "Name": "Region",
                    "Value": "ap-northeast-1"
                },
                {
                    "Name": "Rule",
                    "Value": "ALL"
                }
            ],
            "MetricName": "BlockedRequests"
        }
    ]
}
$

■ get-metric-statistics

続いてこれらのメトリクスデータを取得する。

$ aws cloudwatch get-metric-statistics

オプションが多々必要なようである。

  • –namespace WAF
  • –metric-name BlockedRequests
  • –start-time 2017-04-24T15:00:00Z
  • –end-time 2017-04-25T15:00:00Z
  • –period 3600

これら必須のオプションだけで取得できるかと思いきや、下記エラーが出た。

An error occurred (InvalidParameterCombination) when calling the GetMetricStatistics operation: At least one of the parameters Statistics and ExtendedStatistics must be specified.
  • –statistics Sum

これを追加したところ、エラーは出なくなったがデータは何も取得できず。

{
    "Datapoints": [],
    "Label": "BlockedRequests"
}

上記のように空である。続いて書きオプションも追加。

  • –dimensions

これも指定する必要がありそうだ。”MetricName“が同じだから”Dimensions“で判断するしかないということか。と自身の中では納得し、結果下記のように実行。

$ aws cloudwatch get-metric-statistics \
--namespace WAF \
--metric-name BlockedRequests \
--start-time 2017-04-24T15:00:00Z \
--end-time 2017-04-205T15:00:00Z \
--period 3600 \
--statistics Sum \
--dimensions Name=WebACL,Value=withsintest Name=Region,Value=ap-northeast-1 Name=Rule,Value=ALL
{
    "Datapoints": [
        {
            "Timestamp": "2017-04-24T19:00:00Z",
            "Sum": 3.0,
            "Unit": "None"
        },
        {
            "Timestamp": "2017-04-25T02:00:00Z",
            "Sum": 4.0,
            "Unit": "None"
        },
        {
            "Timestamp": "2017-04-25T02:00:00Z",
            "Sum": 2.0,
            "Unit": "None"
        }
    ],
    "Label": "BlockedRequests"
}
$

`–period`で指定した1時間ごとのデータが取得できた。”0“件の場合には省略されるようだ。

以上。

■ 関連

waf or waf-regional

waf or waf-regional

AWSの表題の件について。単なるメモである。

■ 環境

  • awscli 1.11.80
  • Mac OSX El Capitan

■ waf

WAFの設定をしたのだが、下記のように`awscli`で取得できない。

$ aws waf list-web-acls
{
    "WebACLs": []
}
$

さてなぜであろう???としばらく悩んでいたら気がついた。”waf-regional“なるものがあることに。

■ waf-regional

$ aws waf-regional list-web-acls
{
    "WebACLs": [
        {
            "WebACLId": "XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXXX",
            "Name": "withsintest"
        }
    ]
}
$

こちらでは思い通りの結果が得られた。管理コンソールから見てみると、”Filte“が下記で分かれていた。

  • CloudFront WAF resources:
    • Global (Cloudfront)
  • ALB WAF resources:
    • US East (N.Virginia)
    • US West (Oregon)
    • Eu (Ireland)
    • Asia Pacific (Tokyo)

なるほど。ALBで検証していたので”waf-regional“の方に入っていたようだ。それなのに`awscli`では”waf“でコマンド実行していた為、”Cloudfront“のリソースしか取得できていなかったのが原因であった。

waf-regional“にしかないサブコマンド。

  • associate-web-acl
  • disassociate-web-acl
  • get-web-acl-for-resource
  • list-resources-for-web-acl

これ以外はどちらでも同じように使えるようだ。

以上。

■ 関連

AWS WAF metrics

boto3の実行時エラー

Pythonでの実装は初めてで”boto3“を使ってAWSにアクセスしている。その中で下記のようなエラーが出て、さてどうしたものかと。

■ 環境

  • boto3
  • Python 2.7.12
  • Ubuntu 16.04

■ error message

当初は自身の実装内容がまずいのかと思っていたのだが、よく読んでみると実行しているホストの時間がズレているのが原因であるようだ。

botocore.exceptions.ClientError: An error occurred (SignatureDoesNotMatch) when calling the ListMetrics operation: Signature expired: 20170410T110918Z is now earlier than 20170411T100351Z (20170411T100851Z - 5 min.)

UbuntuはVirtualBoxで稼働させている。時間は特に合わせていない、かつVMを稼働させたままMacをsleepさせたりしているので、時間がズレているのであろう。時間を確認すると下記のようだ。

ubuntu@ubuntu-xenial:~$ date
Mon Apr 10 11:10:26 UTC 2017
ubuntu@ubuntu-xenial:~$

時間を同期する。`ntpdate`を使う。

ubuntu@ubuntu-xenial:~$ sudo apt-get update
ubuntu@ubuntu-xenial:~$ sudo apt-cache search ntpdate
  :
ntpdate - client for setting system time from NTP servers
  :
ubuntu@ubuntu-xenial:~$
ubuntu@ubuntu-xenial:~$ sudo apt-get install ntpdate

時間を合わせる。

ubuntu@ubuntu-xenial:~$ sudo ntpdate -v ntp.nict.jp

時間が現在時刻と同期したのを確認して再度実装したpythonのスクリプトを実行したところ、思い通りの結果が得られた。

エラーメッセージを見る感じでは、実際の時間と5分以内の誤差でないと正常に応答を返してくれないのであろうか。

以上。

S3の特定のパス配下のファイル総容量

表題の通り。awscliで、S3のあるパス配下にあるすべてのファイルの総容量を知りたい。

■ 環境

  • awk
  • awscli 1.11.47

■ s3

下記コマンドで取得することができる。

$ aws s3 ls s3://[bucket]/[path] --recursive | awk 'BEGIN {sum=0} {sum+=$3} END {print sum}'

肝となるところは”–recursive“で配下全てのファイルについて`ls`で詳細を取得しているところであろうか。`ls`の表記の中からファイル容量が3つ目の項目に表示されているので、この3つ目の項目を`awk`で総和計算している。

試しに自身のとある環境で行ってみたところ、下記のような結果を得られた。

$ aws s3 ls s3://[bucket]/[path] --recursive | awk 'BEGIN {sum=0} {sum+=$3} END {print sum}'
373689
$

表示はByteなので、`awk`の最後で`/1024`としていけば”KByte“や”MByte“で取得することも可能である。

以上。