Kafka プラグインをインストールおよび設定し、フォールトトレラントで大容量のメッセージングミドルウェアであるKafkaを監視します。connection count、incoming and outgoing bytes rateなどの重要メトリクスを追跡して、十分な情報に基づいたトラブルシューティングを行います。
このページでは、Kafkaサーバーのパフォーマンス、可用性、使用統計を詳細に可視化するための、Apache Kafkaプラグインと監視メトリクスを設定する方法について説明します。
Apache Kafkaパフォーマンス監視メトリクス:
幅広いメトリクスを通して、注意を要する危険なエラー通知を受け取ります。メトリクスのグラフで予期せぬ傾向を追跡し、迅速にトラブルシューティングを行います。サポートしているメトリクスは以下の通りです:
Connection count
「connection_count」メトリクスは、アクティブなkafkaとの接続数を表示します。
Incoming/outgoing byte rate
「incoming_byte_rate」および「outgoing_byte_rate」メトリクスは、それぞれ1秒間に受信したバイト数と、送信したバイト数の平均を表示します。
Average request latency
「avg_request_latency」メトリクスは、プロデューサーがリクエストを送信してから、ブローカーからレスポンスを受信するまでにかかった時間を表示します。
Number of network operations
「network_io_rate」メトリクスは、1秒あたりの全接続上でのネットワーク操作(読み込みまたは書き込み)の平均数を表示します。
Request rate
「request_rate」メトリクスは、プロデューサーがブローカーにデータを送信する際のレートを計算します。
Response rate
「response_rate」メトリクスは、ブローカーが受信したレスポンスレートを表示します。
Time spent by the input/output thread
「io_time_ns_avg」メトリクスは、入出力スレッドがソケットを待機する平均時間を表示します(NS)。
手順
- Site24x7アカウントにログインします。アカウントをお持ちでない場合は、こちら からサインアップへお進みください。
- Site24x7 Linuxエージェント の最新バージョンをダウンロードおよびインストールします。
- Kafkaプラグインをインストールします。
- エージェントはKafkaプラグインを実行し、Site24x7サーバーにデータをプッシュします。
前提条件:
- https://pypi.python.org/pypi/kafka-python から[kafka-python-1.3.1.tar.gz]ファイルをダウンロードおよび抽出します。
sudo python setup.py buildsudo python setup.py install- からファイルをダウンロードします。https://pypi.python.org/pypi/kafka-python
sudo wget https://pypi.python.org/packages/81/94/f9151888b40339f2624759df8241080020acafed49d3a4369ceedd72c096/kafka-python-1.3.1.tar.gz#md5=2494d82f096d21af7a72b3c5bd26bdfa - ファイルを抽出します。
sudo tar -xvzf kafka-python-1.3.1.tar.gz - ファイルが抽出されたディレクトリーに移動します。
cd kafka-python-1.3.1/ - モジュールをインストールします。
Kafkaプラグインのインストール:
- Site24x7 Linuxエージェントプラグインディレクトリー[/opt/site24x7/monagent/plugins/]に、[kafka_producer]という名前のディレクトリーを作成します。
sudo mkdir kafka_producer - GitHubリポジトリ―から[kafka_producer.py]ダウンロード し、[kafka_producer]ディレクトリーに配置します。
- プラグインスクリプトで指定されているデフォルトのpythonパスは、[ #!/usr/bin/python]です。代替えのPythonパスを作成する場合は、shebang(シバン)文字[#!]が前に付いた既存パスを置き換えます。
Eg : #!/usr/local/bin/python3 - BROKER_NAME および PORTの値を変更して、設定を一致させます。
- サーバーエージェントは、Site24x7 Webクライアントの[プラグイン]タブから、Kafkaのパフォーマンス統計をリポートします。プラグインがSite24x7 Webクライアントにリストされていない場合は、エージェントを再起動してください。
sudo /etc/init.d/site24x7monagent restart