Apache Kafka 0.10.0.1

最近まったく見ることができていない表題の件。

■ 環境

  • Apache Kafka 0.10.0.1
  • Homebrew
  • Mac OSX El Capitan

■ Apache Kafka 0.10.0.1

いつも通り下記コマンドを実行したところ、Apache KafkaがUpdateされていたのでUpgradeを実行した。

$ brew update
$ brew upgrade kafka

コマンドの一覧を見てみたところ、見覚えのないコマンドが存在する。

$ brew ls kafka
/usr/local/Cellar/kafka/0.10.0.1/bin/connect-distributed
/usr/local/Cellar/kafka/0.10.0.1/bin/connect-standalone
/usr/local/Cellar/kafka/0.10.0.1/bin/kafka-acls
/usr/local/Cellar/kafka/0.10.0.1/bin/kafka-configs
/usr/local/Cellar/kafka/0.10.0.1/bin/kafka-console-consumer
/usr/local/Cellar/kafka/0.10.0.1/bin/kafka-console-producer
/usr/local/Cellar/kafka/0.10.0.1/bin/kafka-consumer-groups
/usr/local/Cellar/kafka/0.10.0.1/bin/kafka-consumer-offset-checker
/usr/local/Cellar/kafka/0.10.0.1/bin/kafka-consumer-perf-test
/usr/local/Cellar/kafka/0.10.0.1/bin/kafka-mirror-maker
/usr/local/Cellar/kafka/0.10.0.1/bin/kafka-preferred-replica-election
/usr/local/Cellar/kafka/0.10.0.1/bin/kafka-producer-perf-test
/usr/local/Cellar/kafka/0.10.0.1/bin/kafka-reassign-partitions
/usr/local/Cellar/kafka/0.10.0.1/bin/kafka-replay-log-producer
/usr/local/Cellar/kafka/0.10.0.1/bin/kafka-replica-verification
/usr/local/Cellar/kafka/0.10.0.1/bin/kafka-run-class
/usr/local/Cellar/kafka/0.10.0.1/bin/kafka-server-start
/usr/local/Cellar/kafka/0.10.0.1/bin/kafka-server-stop
/usr/local/Cellar/kafka/0.10.0.1/bin/kafka-simple-consumer-shell
/usr/local/Cellar/kafka/0.10.0.1/bin/kafka-streams-application-reset
/usr/local/Cellar/kafka/0.10.0.1/bin/kafka-topics
/usr/local/Cellar/kafka/0.10.0.1/bin/kafka-verifiable-consumer
/usr/local/Cellar/kafka/0.10.0.1/bin/kafka-verifiable-producer
/usr/local/Cellar/kafka/0.10.0.1/bin/zookeeper-security-migration
/usr/local/Cellar/kafka/0.10.0.1/bin/zookeeper-server-start
/usr/local/Cellar/kafka/0.10.0.1/bin/zookeeper-server-stop
/usr/local/Cellar/kafka/0.10.0.1/bin/zookeeper-shell
/usr/local/Cellar/kafka/0.10.0.1/homebrew.mxcl.kafka.plist
/usr/local/Cellar/kafka/0.10.0.1/libexec/bin/ (27 files)
/usr/local/Cellar/kafka/0.10.0.1/libexec/clients/ (997 files)
/usr/local/Cellar/kafka/0.10.0.1/libexec/core/ (5639 files)
/usr/local/Cellar/kafka/0.10.0.1/libexec/examples/ (16 files)
$

`kafka-streams-application-reset`である。ひとつ前のversionである”0.10.0.0“を確認したが、その時には存在していない。”0.10“系からKafkaでストリーム処理のアプリケーションを書くことができる”Kafka Streams“が含まれたとのことなので、その辺りのものであろう。この辺りはきちんと把握しておきたいのだが、あまり時間が取れないので実現できていない…。

以上。

■ 関連

Kafkaのログ出力先

表題の通り。

■ 環境

  • Kafka 0.9.0.0
  • Homebrew
  • Mac OSX El Capitan

■ Kafka

HomebrewでインストールしたKafkaをデーモン起動させる。まずはZooKeeperから。

$ zkServer start
ZooKeeper JMX enabled by default
Using config: /usr/local/etc/zookeeper/zoo.cfg
Starting zookeeper ... STARTED
$

続いてKafkaを起動する。

$ kafka-server-start -daemon /usr/local/etc/kafka/server.properties

以前はフォアグラウンドで実行していたのでログを見つつ、別のターミナルで作業をしたりしていたが、デーモン起動にしたのでログがどこに出力されているのかを確認したところ下記に出力されていた

/usr/local/Cellar/kafka/0.9.0.0/libexec/logs

このディレクトリに下記ログが出力される。

  • controller.log
  • kafkaServer.out
  • kafkaServer-gc.log
  • server.log
  • state-change.log

以上。

■ 関連

Kafka 0.9系で増えたコマンド

Apache Kafkaにおいて表題の通り。

■ 環境

  • Mac OSX El Capitan
  • Kafka 0.9.0.0/0.8.2.2

■ Kafka 0.9

HomebrewでいつもMacにはインストールしているのだが、現時点で”0.9.0.1“がリリースされているはずであるがHomebrewでは”0.9.0.0“までしかインストールできない。よって今回は”0.9.0.0“をとりあえずインストールしている。

コマンドがいくつか追加されていたりするので増えたコマンドをまずは確認。

■ 増えたコマンド

  • connect-distributed
  • connect-standalone
  • kafka-acls
  • kafka-configs
  • kafka-consumer-groups
  • kafka-verifiable-consumer
  • kafka-verifiable-producer
  • zookeeper-security-migration

上記8個のコマンドが増えているようである。気になるコマンドがいくつか。今後これらのコマンドの動作を確認してみたい。

MacにHomebrewでインストールすると、以前は”*.sh“が用意されていたが全て拡張子が省略されたようである。中身は本来の”*.sh“を実行しに行っているのは変わらない。

以上。

■ 関連

KafkaをUpgrade

Apache Kafkaにおいて表題の通り。今日はサボりエントリ。

■ 環境

  • Apache Kafka 0.8.2.1 → 0.8.2.2
  • Mac OSX (10.10.5)

■ upgrade

0.8.2.2“がリリースされているのでupgradeする。

$ brew update
$ brew upgrade kafka

サーバを起動して、今まで通りに動くか確認。

$ kafka-server-start.sh -daemon /usr/local/etc/kafka/server.properties

以上。

■ 関連

KafkaToolでのZooKeeper/chroot

先日の1つのZooKeeperアンサンブルで複数のKafkaクラスタを管理させる件、KafkaToolで正常にできているかを見てみる事にする。

■ 環境

  • KafkaTool 1.0
  • Mac OSX (10.10.5)

■ KafkaTool

起動したままでは先日の設定がそのまま残っている。

kafkatool-chroot-001

Add Connection“から1つ目のKafkaクラスタの設定を追加する。”chroot path“を”/kafka1“に変更するのみである。”Test“を実行。

kafkatool-chroot-002

追加する。

kafkatool-chroot-003

2つ目のKafkaクラスタは1つ目の設定を”Clone“してみた。こちらも”chroot path“を”/kafka2“に変更するのみである。

kafkatool-chroot-004

無事認識されているようである。

kafkatool-chroot-005

以上。

■ 関連