Category Archives: Kafka

Apache Kafka関連

Kafka 1.0.0

by withsin | Leave a comment

少し前に表題がリリースされたというニュースを見た。試してみたいがしばらく触ってないし…と思いとりあえず情報を集めるだけ。

■ 環境

  • Apache Kafka 1.0.0
  • Mac OSX El Capitan

■ Apache Kafka

Apache Kafka
http://kafka.apache.org/

“2017/11/01“にリリースされているようだ。

Homebrewではまだインストールできない。

$ brew info kafka
kafka: stable 0.11.0.1 (bottled)
Publish-subscribe messaging rethought as a distributed commit log
https://kafka.apache.org
Not installed
From: https://github.com/Homebrew/homebrew-core/blob/master/Formula/kafka.rb
==> Dependencies
Required: zookeeper ✔
==> Requirements
Required: java = 1.8 ✔
==> Caveats
To have launchd start kafka now and restart at login:
  brew services start kafka
Or, if you don't want/need a background service you can just run:
  zookeeper-server-start /usr/local/etc/kafka/zookeeper.properties & kafka-server-start /usr/local/etc/kafka/server.properties
$

Homebrewではまだ”0.11.0.1“のようである。

公式のDockerコンテナは存在しないが、Starが一番付いていて有名(？)な下記コンテナはすでに”1.0.0“のタグが付いていたので対応しているだろう。

wurstmeister/kafka

“latest“が”1.0.0“に付いているのだが、versionがわからなくなるのでいつも下記のように落としている。

$ docker pull wurstmeister/kafka:1.0.0

少し時間ができたら触りたい。

以上。

Apache Kafka 0.10.0.1

by withsin | Leave a comment

最近まったく見ることができていない表題の件。

■ 環境

  • Apache Kafka 0.10.0.1
  • Homebrew
  • Mac OSX El Capitan

■ Apache Kafka 0.10.0.1

いつも通り下記コマンドを実行したところ、Apache KafkaがUpdateされていたのでUpgradeを実行した。

$ brew update
$ brew upgrade kafka

コマンドの一覧を見てみたところ、見覚えのないコマンドが存在する。

$ brew ls kafka
/usr/local/Cellar/kafka/0.10.0.1/bin/connect-distributed
/usr/local/Cellar/kafka/0.10.0.1/bin/connect-standalone
/usr/local/Cellar/kafka/0.10.0.1/bin/kafka-acls
/usr/local/Cellar/kafka/0.10.0.1/bin/kafka-configs
/usr/local/Cellar/kafka/0.10.0.1/bin/kafka-console-consumer
/usr/local/Cellar/kafka/0.10.0.1/bin/kafka-console-producer
/usr/local/Cellar/kafka/0.10.0.1/bin/kafka-consumer-groups
/usr/local/Cellar/kafka/0.10.0.1/bin/kafka-consumer-offset-checker
/usr/local/Cellar/kafka/0.10.0.1/bin/kafka-consumer-perf-test
/usr/local/Cellar/kafka/0.10.0.1/bin/kafka-mirror-maker
/usr/local/Cellar/kafka/0.10.0.1/bin/kafka-preferred-replica-election
/usr/local/Cellar/kafka/0.10.0.1/bin/kafka-producer-perf-test
/usr/local/Cellar/kafka/0.10.0.1/bin/kafka-reassign-partitions
/usr/local/Cellar/kafka/0.10.0.1/bin/kafka-replay-log-producer
/usr/local/Cellar/kafka/0.10.0.1/bin/kafka-replica-verification
/usr/local/Cellar/kafka/0.10.0.1/bin/kafka-run-class
/usr/local/Cellar/kafka/0.10.0.1/bin/kafka-server-start
/usr/local/Cellar/kafka/0.10.0.1/bin/kafka-server-stop
/usr/local/Cellar/kafka/0.10.0.1/bin/kafka-simple-consumer-shell
/usr/local/Cellar/kafka/0.10.0.1/bin/kafka-streams-application-reset
/usr/local/Cellar/kafka/0.10.0.1/bin/kafka-topics
/usr/local/Cellar/kafka/0.10.0.1/bin/kafka-verifiable-consumer
/usr/local/Cellar/kafka/0.10.0.1/bin/kafka-verifiable-producer
/usr/local/Cellar/kafka/0.10.0.1/bin/zookeeper-security-migration
/usr/local/Cellar/kafka/0.10.0.1/bin/zookeeper-server-start
/usr/local/Cellar/kafka/0.10.0.1/bin/zookeeper-server-stop
/usr/local/Cellar/kafka/0.10.0.1/bin/zookeeper-shell
/usr/local/Cellar/kafka/0.10.0.1/homebrew.mxcl.kafka.plist
/usr/local/Cellar/kafka/0.10.0.1/libexec/bin/ (27 files)
/usr/local/Cellar/kafka/0.10.0.1/libexec/clients/ (997 files)
/usr/local/Cellar/kafka/0.10.0.1/libexec/core/ (5639 files)
/usr/local/Cellar/kafka/0.10.0.1/libexec/examples/ (16 files)
$

`kafka-streams-application-reset`である。ひとつ前のversionである”0.10.0.0“を確認したが、その時には存在していない。”0.10“系からKafkaでストリーム処理のアプリケーションを書くことができる”Kafka Streams“が含まれたとのことなので、その辺りのものであろう。この辺りはきちんと把握しておきたいのだが、あまり時間が取れないので実現できていない…。

以上。

■ 関連

Kafkaのログ出力先

by withsin | Leave a comment

表題の通り。

■ 環境

  • Kafka 0.9.0.0
  • Homebrew
  • Mac OSX El Capitan

■ Kafka

HomebrewでインストールしたKafkaをデーモン起動させる。まずはZooKeeperから。

$ zkServer start
ZooKeeper JMX enabled by default
Using config: /usr/local/etc/zookeeper/zoo.cfg
Starting zookeeper ... STARTED
$

続いてKafkaを起動する。

$ kafka-server-start -daemon /usr/local/etc/kafka/server.properties

以前はフォアグラウンドで実行していたのでログを見つつ、別のターミナルで作業をしたりしていたが、デーモン起動にしたのでログがどこに出力されているのかを確認したところ下記に出力されていた

/usr/local/Cellar/kafka/0.9.0.0/libexec/logs

このディレクトリに下記ログが出力される。

  • controller.log
  • kafkaServer.out
  • kafkaServer-gc.log
  • server.log
  • state-change.log

以上。

■ 関連

Kafka 0.9系で増えたコマンド

by withsin | Leave a comment

Apache Kafkaにおいて表題の通り。

■ 環境

  • Mac OSX El Capitan
  • Kafka 0.9.0.0/0.8.2.2

■ Kafka 0.9

HomebrewでいつもMacにはインストールしているのだが、現時点で”0.9.0.1“がリリースされているはずであるがHomebrewでは”0.9.0.0“までしかインストールできない。よって今回は”0.9.0.0“をとりあえずインストールしている。

コマンドがいくつか追加されていたりするので増えたコマンドをまずは確認。

■ 増えたコマンド

  • connect-distributed
  • connect-standalone
  • kafka-acls
  • kafka-configs
  • kafka-consumer-groups
  • kafka-verifiable-consumer
  • kafka-verifiable-producer
  • zookeeper-security-migration

上記8個のコマンドが増えているようである。気になるコマンドがいくつか。今後これらのコマンドの動作を確認してみたい。

MacにHomebrewでインストールすると、以前は”*.sh“が用意されていたが全て拡張子が省略されたようである。中身は本来の”*.sh“を実行しに行っているのは変わらない。

以上。

■ 関連

KafkaをUpgrade

by withsin | Leave a comment

Apache Kafkaにおいて表題の通り。今日はサボりエントリ。

■ 環境

  • Apache Kafka 0.8.2.1 → 0.8.2.2
  • Mac OSX (10.10.5)

■ upgrade

“0.8.2.2“がリリースされているのでupgradeする。

$ brew update
$ brew upgrade kafka

サーバを起動して、今まで通りに動くか確認。

$ kafka-server-start.sh -daemon /usr/local/etc/kafka/server.properties

以上。

■ 関連