Elastic Map Reduce(EMR) 監視

Amazon EMRは、ビッグデータフレームワークを実行することで、大量のデータを処理できるWebサービスです。Site24x7によるEMRの監視では、断続的なデータ分析を実行し、EMRクラスター内のEC2インスタンスなど、関連するAWSサービスにおけるステータスの変更をユーザーに通知します。

設定手順

• まだ設定がお済みでない場合は、Site24x7をIAMユーザーとして作成するか、アカウントとSite24x7のAWSアカウント間にクロスアカウントのIAMロールを作成し、AWSリソースへのアクセスを有効にします。詳細はこちら
• [AWSアカウント連携]ページの[サービス検索]フィールドで、[EMR]のチェックボックスが選択されていることを確認します。詳細はこちら

ポリシーと権限

Site24x7エンティティに割り当てられているIAMポリシーに、以下の読み込みレベルでのアクションが存在することを確認します。詳細はこちら

elasticmapreduce:List* - EMRクラスターのリストを表示します。

elasticmapreduce:Describe* - EMR設定詳細を表示します。

ポーリング間隔

Site24x7では、AWSサービスレベルのAPIおよびCloudWatch APIを、設定したポーリング間隔(1分から1日)でクエリし、パフォーマンスメトリクスを収集します。詳細はこちら

サポートしているメトリクス

属性	詳細	データタイプ	統計
保留中コアノード	割り当て待機中のコアノード数です。このメトリクスは、コアノードが存在する場合にのみレポートされます。	カウント	最大
動作中コアノード	動作中のコアノード数です。このメトリクスは、コアノードが存在する場合にのみレポートされます。	カウント	最大
保留中タスクノード	割り当て待機中のタスクノード数です。このメトリクスは、タスクノードが存在する場合にのみレポートされます。	カウント	最小
動作中タスクノード	動作中のタスクノード数です。このメトリクスは、タスクノードが存在する場合にのみレポートされます。	カウント	最大
キャパシティー残量	残っているHDFSディスク容量の合計です。	GB	最小
Corrupt Blocks	HDFSが破損しているとしてレポートするブロック数です。	カウント	最大
DFS Pending Replication Blocks	ブロックレプリケーションのステータスです:レプリケーション中のブロック、レプリケーションリクエストの経過時間、および成功しなかったレプリケーションリクエストです。	カウント	最大
HDFS読み込みバイト数	HDFSからの読み込みバイト数です。	MB	合計
HDFS書き込みバイト数	HDFSへの書き込みバイト数です。	MB	合計
HDFS使用量	使用中HDFSストレージの割合です。	パーセンテージ	平均
クラスターのアイドルステータス	クラスターがアイドルステータスの場合の値はiであり、それ以外の値は0と示されます。	カウント	最大
Live Data Nodes	Hadoopから処理を受け取るデータノードの割合です。	パーセンテージ	平均
Missing Blocks	HDFSにレプリカがないブロック数です。	カウント	最大
Pending Deletion Blocks	削除用にマークされているブロック数です。	カウント	最大
S3バイト読み込み	Amazon S3からの読み込みバイト数です。	MB	合計
Live Task Trackers	機能しているタスクトラッカーの割合です。	パーセンテージ	平均
Map Slots Open	Hadoopバージョン1 の未使用マップタスクの容量です。	カウント	最大
ブラックリストされたタスクトラッカー	Hadoopバージョン1 のブラックリストに登録されたタスクトラッカー数です。	カウント	最大
グレイリストされたタスクトラッカー	Hadoopバージョン1 のグレイリストに登録されたタスクトラッカー数です。	カウント	最大
Reduce Slots Open	Hadoopバージョン1 の未使用reduceタスクの容量です。	カウント	最大
Remaining マップタスク	Hadoopバージョン1 の各ジョブに対する、残りのマップタスク数です。	カウント	最大
Remaining 各スロットにおけるマップタスク	Hadoopバージョン1 のクラスターで使用可能な合計マップスロットに対する、残りの合計マップタスクの比率です。	カウント	最大
Remaining Reduceタスク	Hadoopバージョン1 の各ジョブに対する、残りのreduceタスク数です。	カウント	最大
実行中マップタスク	Hadoopバージョン1 の各ジョブに対する、実行中マップタスク数です。	カウント	最大
実行中Reduceタスク	Hadoopバージョン1 の各ジョブに対する、実行中reduceタスク数です。	カウント	最大
完了したApp	YARNに送信され、Hadoopバージョン2 で完了したアプリケーション数です。	カウント	最大
失敗したApp	YARNに送信され、Hadoopバージョン2 で完了できなかったアプリケーション数です。	カウント	最大
強制終了したApp	YARNに送信され、Hadoopバージョン2 で強制終了したアプリケーション数です。	カウント	最大
保留中のApp	YARNに送信され、Hadoopバージョン2 で保留ステータスになっているアプリケーション数です。	カウント	最大
実行中のApp	YARNに送信され、Hadoopバージョン2 で実行中であるアプリケーション数です。	カウント	最大
送信されたApp	Hadoopバージョン2 で、YARNに送信されたアプリケーション数です。	カウント	最大
割り当てられたコンテナ	Hadoopバージョン2 のResourceManagerによって割り当てられるリソースコンテナ数です。	カウント	最大
保留中のコンテナ	Hadoopバージョン2のキュー内にあり、Hadoopバージョン2にまだ割り当てられていないコンテナ数です。	カウント	最大
予約されたコンテナ	Hadoopバージョン2 で予約されているコンテナ数です。	カウント	最大
予約されたメモリ	Hadoopバージョン2 で予約されているメモリの量です。	MB	最大
割り当てられたメモリ	Hadoopバージョン2 のクラスターに割り当てられているメモリの量です。	MB	最大
使用可能なメモリ	Hadoopバージョン2 で割り当てに使用できるメモリの量です。	MB	最小
メモリの合計	Hadoopバージョン2 におけるクラスターのメモリ合計量です。	MB	最大
MR Active Nodes	Hadoopバージョン2 でMapReduceのタスクまたはジョブを実行中のノード数です。	カウント	最小
MR Decommissioned Nodes	Hadoopバージョン2 でMapReduceアプリケーションに割り当てられており、DECOMMISSIONEDステータスとしてマークされているノード数です。	カウント	最大
MR Lost Nodes	Hadoopバージョン2 でMapReduceに割り当てられており、LOSTステータスとしてマークされているノード数です。	カウント	最大
MR Rebooted Nodes	Hadoopバージョン2 のMapReduceで使用でき、再起動され、REBOOTEDステータスとしてマークされているノード数です。	カウント	最大
MR Total Nodes	Hadoopバージョン2 のMapReduceジョブで現在使用できるノード数です。	カウント	最大
MR Unhealthy Nodes	Hadoopバージョン2 のMapReduceジョブで使用でき、UNHEALTHYステータスとしてマークされているノード数です。	カウント	最大
保留中コンテナの比率	Hadoopバージョン2 で割り当てられたコンテナに対する、保留中のコンテナの比率です。	カウント	最大
YARN Memory Available	Hadoopバージョン2 のYARNに対する、残りの利用可能メモリの割合です。	パーセンテージ	平均
HBase Backup Failed	前回のバックアップのステータスです。バックアップが失敗した場合は、1 に更新されます。このメトリクスは、HBaseクラスターが存在する場合のみ収集されます。	カウント	最大
Most Recent Backup	前回のバックアップを完了するのにかかった時間です。このメトリクスは、HBaseクラスターが存在する場合のみ収集されます。	分	平均
Time Since Last Successful Backup	クラスターで、前回成功したHBaseのバックアップが開始してから経過した分数です。 このメトリクスは、HBaseクラスターが存在する場合のみ収集されます。	分	平均
Multimaster Instancegroup Nodes Running	実行中のマスターノードの数です。このメトリクスは、Hadoopバージョン2でマルチマスターが存在する場合のみ収集されます。	カウント	最大
Multimaster Instancegroup Nodes Running Percentage	リクエストされたマスターノードインスタンス数で実行中のマスターノードの割合です。このメトリクスは、Hadoopバージョン2でマルチマスターが存在する場合のみ収集されます。	パーセンテージ	平均
Multimaster Instancegroup Nodes Requested	リクエストされたマスターノード数です。このメトリクスは、Hadoopバージョン2でマルチマスターが存在する場合のみ収集されます。	カウント	最大

EMRの監視UIページ

概要

HDFS、YARN、ノードおよびメモリメトリクスを含む重要なEMRメトリクスの概要を時系列チャートで表示します。

監視するリソース

Site24x7で、EC2インスタンスまたはS3バケットを監視する場合、それらサービスのステータスがリスト化されます。サービスをクリックすると、詳細なメトリクスが表示されます。

設定

クラスター内の各インスタンスグループに、追加の設定および分類が表示されます。インスタンスグループの設定が変更されると、このタブに反映されます。

手順

クラスターによって実行されるアクションの手順がリスト化されます。

Bootstrapアクション

Bootstrapアクションは、追加のソフトウェアをインストールしたり、クラスターインスタンスの設定をカスタマイズします。カスタムbootstrapアクションのリストは、このタブで表示されす。

セキュリティー設定

EMRファイルシステムのデータ作成の暗号化、Kerberos認証、Amazon S3認証が表示されます。ユーザーロールまたはアカウント権限は、以下のようなJSONフォーマットで表示されます。

クラスター概要

EMRクラスターのインベントリ詳細が表示されます。ここでは、クラスターのステータス、関連付けられたアプリケーション、デプロイされたEC2インスタンス、サブネットIDなどの詳細が表示されます。

マスターへの追加セキュリティグループ：ユーザーが、マスターノードに追加したセキュリティグループです。

属性	詳細
リリースラベル	Amazon EMRリリースのバージョンです。
アベイラビリティゾーン	EMRがホストされているリージョンです。
インスタンスグループのタイプ	EC2 インスタンスが関連付けられているインスタンスグループです。
自動終了	自動終了のステータスです: true または false
アプリケーション	クラスター作成中にAmazon EMRをインストールした、オープンソースアプリケーションです。
Master Public DNS	マスターノードのパブリックDNS名です。
クラスターのステータス	クラスターのステータスです: Active または Terminated.
ステータス変更メッセージ	ステータスの変更後のEMRクラスターのステータスです。
ログURI	Amazon S3に保存されているログのパスです。
作成時間	EMRサービスを作成した時間です。
経過時間	クラスターの合計実働時間です。
Cluster Ready Time	クラスターを作成した時間です。
Visible to all Users	EMRの表示権限のあるユーザーをリスト化します。
キー名	ユーザーがEC2インスタンスへアクセスするために使用するキーです。
サブネット ID	NAT ゲートウェイが存在するVPCのサブネットIDです。
マスターのセキュリティグループ	クラスター作成時の管理セキュリティグループ名です。
コアおよびタスクのセキュリティグループ	コアおよびタスクのセキュリティグループ名です。
EC2インスタンスプロファイル	EC2インスタンスのプロファイル名です。
EMRロール	EMRに割り当てられたIAMポリシーです。
リクエストされたサブネットID	ユーザーによって割り当てられた追加のサブネットです。
Autoscaling ロール	Autoscalingインスタンスに関連付けられたIAMロールです。
スケールダウン動作	2つの動作オプション(インスタンス時間境界での終了またはタスク完了時に終了)のうち1つを指定します。
EBS Rootvolumeサイズ	EBSの容量です。
コアおよびタスクのセキュリティグループの追加	ユーザーがコアおよびタスクノードに追加したセキュリティグループです。
リクエストされたアベイラビリティゾーン	ユーザーが追加したリージョンです。
セキュリティ設定	EMRのユーザーロールまたはアカウントへのアクセス権限です。
レルム	Kerberosの領域名です。
カスタム AMI ID	ユーザーが作成したカスタムAmazon Linux AMIです。
実行中のAMIバージョン	AMIリリースのバージョンです。