ヘルプ Amazon Elasticsearch Service
Amazon Elasticsearch Service
Elasticsearchは、ログ分析、データ検索などにおいて、Elasticsearchを簡単に配置、操作できるAWSのサービスです。Site24x7でAmazon ESを監視することで、パフォーマンス最適化などの運用面の管理、監視ができます。
目次
- 設定手順
- ポリシーと権限
- ポーリング間隔
- しきい値設定
- サポートしているメトリック
- EBSボリュームメトリック
- マスターノードメトリック
- インスタンスメトリック
- 高ウォームメトリック
- 予測
- Elasticsearch監視画面
設定手順
- まだ設定がお済みでない場合は、Site24x7をIAMユーザーとして作成するか、アカウントとSite24x7のAWSアカウント間にクロスアカウントのIAMロールを作成し、AWSリソースへのアクセスを有効にします。詳細はこちら
- AWSアカウント連携ページのサービス検索フィールドで、Elasticsearchのチェックボックスが選択されているか確認します。詳細はこちら
ポリシーと権限
Site24x7のエンティティに割り当てられているIAMポリシーに、以下の読み取りレベル別アクションが存在することを確認します。詳細はこちら
"es:Get*" : Elascticsearchサービスの設定情報を返します。
"es:List*": Elascticsearchサービスのリストを返します。
"es:Describe*": 指定したElasticsearchドメインについてのドメイン設定情報を返します。
ポーリング間隔
Site24x7では、AWSサービスレベルAPIとCloudWatch APIを5分毎にクエリして、パフォーマンスメトリックを収集します。詳細はこちら
しきい値設定
管理 > 設定プロファイル > しきい値と可用性 (+)の順にクリックし、監視タイプを選択します。そこで、対応するすべてのメトリックにしきい値を設定できます。さらに、Elasticsearchノードのしきい値フォームで、アラートのミュートを選択することもできます。
サポートしているメトリック
| 属性 | 詳細 | データタイプ | 統計 |
| クラスターステータス |
緑色 - すべてのインデックスのシャードがクラスターのノードに割り当てられていることを示します。 黄色 - すべてのインデックスのプライマリーシャードがクラスターのノードに割り当てられていることを示しますが、少なくとも1つのインデックスのレプリカシャードは割り当てられていません。 赤色 - 少なくとも1つのインデックスのプライマリーとレプリカの両方のシャードが、クラスターのノードに割り当てられないことを示しています。 |
ステータス | 最小 |
| CPU使用率 | クラスター内のデータノードで使用するCPUリソース使用率の最大パーセンテージです。 | パーセンテージ | 平均 |
| ストレージ | クラスター内ノードの空き容量と使用されている容量(GiB単位)です。 | GB | 合計、最大 |
| ノード | 専用マスターノードなどの、Amazon ESクラスターのノード数です。 | カウント | 最小 |
| ドキュメント |
検索可能ドキュメント- クラスター内すべてのインデックスで検索可能なドキュメントの合計数です。 編集可能ドキュメント- クラスター内すべてのインデックスで削除対象としてマークされており、検索結果に表示されないドキュメントの合計数です。 |
カウント | 最大 |
| Cluster Index Writes Blocked |
クラスターで、着信する書き込みリクエストを受け入れるか、ブロックするかを指定します。 0 - クラスターでリクエストを受け入れる, 1 - クラスターでリクエストをブロックする |
ステータス | 最大 |
| JVMメモリ負荷 | クラスター内のすべてのデータノードで使用するJavaヒープの最大パーセンテージです。 | パーセンテージ | 最大 |
| 自動スナップショットの失敗 | クラスターの失敗した自動スナップショットの数です。 | カウント | 最大 |
| CPUクレジットバランス | クラスター内の、データノードに使用できる残りのCPUクレジットバランスです。 | カウント | 最小 |
| Kibana Healthy Nodes | Kibanaのステータスチェックです。
1- 正常動作, 0- Kibanaアクセス不可 |
ステータス | 最小 |
| KMSキーのエラー | 保存時のデータを暗号化するために使用されるKMSカスタマーマスターキーが無効になっていることを示します。 | ステータス | 最大 |
| KMSキーのアクセス不可 | 保存時のデーターを暗号化するために使用されるKMSカスタマーが削除された、もしくはAmazon ESへの権限が取消し済みであることを示します。 | ステータス | 最大 |
| 無効なホストヘッダーリクエスト | Elasticsearchクラスターに対するHTTPリクエストのうち、ホストヘッダーが無効な(または欠落している)物の数です。 | カウント | 合計 |
| Elastcisearchリクエスト | Elasticsearchクラスターに対するリクエストの数です。 | カウント | 合計 |
| リクエスト数 | ドメインへのリクエスト数と、各リクエストのHTTPレスポンスコード(2xx, 3xx, 4xx, 5xx)です。 | カウント | 合計 |
EBSボリュームメトリック
| 属性 | 詳細 | データータイプ | 統計 |
| 読み取りレテンシ― | EBSボリュームでの読み取り操作のレテンシ―です(秒単位)。 | カウント/秒 | 平均 |
| 書き取りレテンシ― | EBSボリュームでの書き取りレテンシ―です(秒単位)。 | カウント/秒 | 平均 |
| 読み取りスループット | EBSボリュームでの読み取り操作のスループットです(バイト/単位)。 | MB/秒 | 平均 |
| 書き取りスループット | EBSボリュームでの書き取り操作のスループットです(バイト/単位)。 | MB/秒 | 平均 |
| Disk Queue Depth | EBSボリュームに対する保留中の入出力(I/O)操作数です(1秒あたり)。 | カウント | 最大 |
| 読み取りIOPS | EBSボリュームでの読み取り操作の入出力(I/O)操作数です(1秒あたり)。 | カウント/秒 | 平均 |
| 書き取りIOPS | EBSボリュームでの書き取り操作の入出力(I/O)操作数です(1秒あたり)。 | カウント/秒 | 平均 |
マスターノードメトリック
| 属性 | 説明 | 単位 | 統計 |
| マスターCPU使用率 | 専用マスターノードで使用されているCPUリソースの最大パーセンテージです。 | パーセンテージ | 平均 |
| マスター空きストレージ容量 | マスターノードの空きストレージ容量です。
Elasticsearchノードメトリックとして対応 |
MB | 平均 |
| マスターJVMメモリ負荷 | クラスタ内の全てのマスターノードで使用されているJavaヒープの最大パーセンテージです。 | パーセンテージ | 最大 |
| マスターCPUクレジットバランス | クラスタ内の専用マスターノードで使用できるCPUクレジットです。 | 数 | 最小 |
| ノードから到達できるマスター | 例外"MasterNotDiscovered"の正常性チェックです。1が正常のふるまいを示し、0が異常を示します。 | 数 | 合計 |
| マスターシステムメモリ使用率 | マスターノードで使用されているメモリのパーセンテージです。 | パーセンテージ | 最大 |
インスタンスメトリック
| 属性 | 説明 | 単位 | 統計 |
| インデックスレイテンシー | シャードがインデックス操作を完了までにかかるミリ秒単位の平均時間です
Elasticsearchノードメトリックとして利用可能です。 |
ミリ秒 | 平均 |
| インデックス速度 | 1分ごとのインデックス操作数です。2つのドキュメントを追加して2つを更新する_bulkAPIへの1回の呼び出しは、4つの操作としてカウントされ、1つ以上のノードに分散される場合があります。 そのインデックスに1つ以上のレプリカがある場合、クラスター内の他のノードも合計4つのインデックス作成操作を記録します。ドキュメントの削除は、このメトリックにはカウントされません。
Elasticsearchノードメトリックとして利用可能です。 |
Ops/分 | 平均 |
| 検索レイテンシー | データノードのシャードが検索操作を完了するのに要したミリ秒単位の平均時間です。
Elasticsearchノードメトリックとして利用可能です。 |
ミリ秒 | 平均 |
| 検索速度 | データノードのシャードで1分ごとの検索リクエスト数です。_search APIを1回呼び出すと、さまざまなシャードから結果が返される場合があります。これらのシャードのうち5つが1つのノードにある場合、クライアントが1つの要求のみを行ったとしても、ノードはこのメトリックについて5を報告します。
Elasticsearchノードメトリックとして利用可能です。 |
Ops/分 | 平均 |
| システムメモリ使用率 | 使用されているインスタンスメモリのパーセンテージです。
関連する統計が最大値であるElasticsearchノードメトリックとして利用可能です。 |
パーセンテージ | 最大 |
| JVMGCヤングコレクション数 | "young generation"ガベージコレクションが実行された回数です。実行回数が増え続けることは、通常のクラスター操作です。
関連する統計が最大値であるElasticsearchノードメトリックとして利用可能です。 |
数 | 合計 |
| JVMGCヤングコレクション時間 | クラスタが"young generation"ガベージコレクションの操作に要したミリ秒単位の時間です。
関連する統計が最大値であるElasticsearchノードメトリックとして利用可能です。 |
ミリ秒 | 平均 |
| JVMGCオールドコレクション数 | "old generation"ガベージコレクションが実行された回数です。十分なリソースがあるクラスターでは、この数は小さいままで、まれにしか増加しません。
関連する統計が最大値であるElasticsearchノードメトリックとして利用可能です。 |
数 | 合計 |
| JVMGCオールドコレクション時間 | クラスターが"old generation"ガベージコレクション操作に要したミリ秒単位の時間です。
関連する統計が最大値であるElasticsearchノードメトリックとして利用可能です。 |
ミリ秒 | 平均 |
| スレッドプールForce_mergeキュー | フォースマージスレッドプール内のキュータスク数です。
関連する統計が最大値であるElasticsearchノードメトリックとして利用可能です。 |
数 | 合計 |
| 拒否された強制マージスレッドプール | 強制マージスレッドプールで拒否されたタスク数です。この数が継続して増加している場合、クラスターのスケーリングを検討してください。
関連する統計が最大値であるElasticsearchノードメトリックとして利用可能です。 |
数 | 合計 |
| 強制マージスレッドプール | 強制マージスレッドプールのサイズです。
関連する統計が最大値であるElasticsearchノードメトリックとして利用可能です。 |
数 | 平均 |
| スレッドプールインデックスキュー | インデックススレッドプールのキュータスク数
関連する統計が最大値であるElasticsearchノードメトリックとして利用可能です。 |
数 | 合計 |
| 拒否されたスレッドプールインデックス | インデックススレッドプールで拒否されたタスク数です。この数が継続して増加している場合、クラスタのスケーリングを検討してください。
関連する統計が最大値であるElasticsearchノードメトリックとして利用可能です。 |
数 | 合計 |
| スレッドプールインデックススレッド | インデックススレッドプールのキュータスク数です。
関連する統計が最大値であるElasticsearchノードメトリックとして利用可能です。 |
数 | 合計 |
| スレッドプール検索キュー | 検索スレッドプール内のキュータスク数です。
関連する統計が最大値であるElasticsearchノードメトリックとして利用可能です。 |
数 | 合計 |
| 拒否された検索スレッドプール | 検索スレッドプール内で拒否されたタスク数です。
関連する統計が最大値であるElasticsearchノードメトリックとして利用可能です。 |
数 | 合計 |
| スレッドプール検索スレッド | 検索プール内の検索スレッド数です。
関連する統計が最大値であるElasticsearchノードメトリックとして利用可能です。 |
数 | 平均 |
| スレッドプール一括キュー | 一括スレッドプール内のキュータスク数です。このキューサイズが継続して高い場合、クラスタのスケーリングを検討してください。
関連する統計が最大値であるElasticsearchノードメトリックとして利用可能です。 |
数 | 合計 |
| 拒否された一括スレッドプール | 一括スレッドプールで拒否されたタスク数です。
関連する統計が最大値であるElasticsearchノードメトリックとして利用可能です。 |
数 | 合計 |
| スレッドプール一括スレッド | 一括スレッドプールのスレッド数です。
関連する統計が最大値であるElasticsearchノードメトリックとして利用可能です。 |
数 | 平均 |
| スレッドプール書き込みスレッド | 書き込みスレッドプールのサイズです。
関連する統計が最大値であるElasticsearchノードメトリックとして利用可能です。 |
数 | 平均 |
| 拒否された書き込みスレッドプール | 書き込みスレッドプールで拒否されたタスク数です。
関連する統計が最大値であるElasticsearchノードメトリックとして利用可能です。 |
数 | 合計 |
| スレッドプール書き込みキュー | 書き込みスレッドプール内のキュータスク数です。
関連する統計が最大値であるElasticsearchノードメトリックとして利用可能です。 |
数 | 合計 |
高ウォームメトリック
| 属性 | 説明 | 単位 | 統計 |
| WarmCPU使用率 | クラスタ内のUltra Warmノードで極めて高いCPU使用率 | パーセンテージ | 平均 |
| Warm空きストレージ容量 | MB単位の空きWarmストレージ容量です。 | MB | 平均 |
| WarmJVMメモリ負荷 | UltraWarmノードが使用しているJavaヒープの最大パーセンテージです。 | パーセンテージ | 最大 |
| Warm検索可能ドキュメント | クラスター内のすべてのWarmインデックスにわたる検索可能なドキュメントの総数です。 | 数 | 合計 |
| Warm検索レイテンシー | Ultra Warmノードでシャードが検索操作を完了するのに要したミリ秒単位の平均時間です。 | ミリ秒 | 平均 |
| Warm検索速度 | Ultra Warmノードで全てのシャードの一分間ごとの検索リクエスト総数です。_search APIを1回呼び出すと、さまざまなシャードから結果が返される場合があります。 | Ops/分 | 平均 |
| Warmストレージ容量使用率 | クラスタが使用しているWarmストレージの総量です。 | MB | 最大 |
| Hotストレージ容量使用率 | クラスタが使用しているホットストレージの総量です。 | MB | 最大 |
| Warmシステムメモリ使用率 | Warmノードの使用中メモリパーセンテージ | パーセンテージ | 最大 |
| HotからWarmに移行したキューサイズ | HotストレージからWarmストレージへの移行を待機しているインデックスの数。 | 数 | 最大 |
| WarmからHotに移行したキューサイズ | WarmストレージからHotストレージへの移行を待機しているインデックスの数。 | 数 | 最大 |
| HotからWarmへの移行に失敗した数 | HotからWarmへの移行に失敗した数の合計です。 | 数 | 合計 |
| HotからWarmへの移行に成功した数 | HotからWarmへの移行に成功した数の合計です。 | 数 | 合計 |
予測
次のElasticsearchのドメインパフォーマンスメトリックの未来の値を予測し、AWSインフラの容量の追加やスケーリングの計画を行います。
- 削除済みドキュメント
- CPU使用率
- 空きストレージ容量
- クラスター使用済み容量
- CPUクレジットバランス
- Elastisearchリクエスト
- ディスクキュー長
- 読み取りIOPS
- JVMGC Old収集時間
- JVMGC Old収集数
- システムメモリ使用率
また、次のElasticsearchドメインノードメトリックの予測も行えます。:
- CPU使用率
- 空きストレージ容量
- クラスター使用済み容量
- 検索レート
- システムメモリ使用率
- JVMGC Old収集時間
- JVMGC Old収集数
Elasticsearch 監視画面
概要
Elasticsearchサービスのパフォーマンスメトリックは、時系列チャートで表示されます。
ボリューム詳細
読み取り/書き取りIOPS、レイテンシ―、スループットなどの、EBSボリュームメトリックの詳細グラフです。