vCenterのLogディスク容量が逼迫したのでログを削除

Virtualization
スポンサーリンク

今回は、自鯖のvCenter ServerでログのLog disk exhaustionのアラームが出ていたので、ログを消してログディスクの容量を確保します。

環境周り

自宅の検証環境では、2台のESXiをvCenter Serverで管理しています。
ESXiのリソースも大きくないため、vCenterは極小でデプロイしています。
vCenterのリソースは以下の通り。

  • CPU : 2vCPU
  • MEM : 12GB
  • Disk : 100GB(シンプロ)

出現したアラーム

本来であれば、vCenterの[サマリ]タブで赤色のメッセージが出てくるのですが、その状態のスクショが取れていなかったので、[監視]タブの[タスクとイベント]-[イベント]より、アラームのトリガーを確認しています。
今回は、「Log disk exhaustion on Host名」のアラートが出ていました。

原因と対応

この手のアラームは単語をグーグル先生に聞けばVMのKBが引っかかってきます。
また、イベントの名前から、ある程度想定はできます。
今回合致したKBは以下のKBとなります。

Troubleshooting vCenter Appliance /storage/log directory is 80% or more full (83070)

内容的には、vCenterのログディスク使用量が80%を超えると発報されるようです。
対応として、該当のログを削除することで、ディスクの使用量を削減しろとのこと。

作業計画

KBベースで作業手順を組み立てます。
KBには該当ディレクトリのcatalina~.logを表示して削除せよとの案内があったので、ログを削除するのですが、本番環境であれば監査やログの保存期間等の要件があるので、本当に削除してよいか?や別の場所にアーカイブを残す等の措置が必要になってくると思います。

  1. vCenterへSSH接続
  2. ディスク容量確認
  3. 該当のログを確認
  4. 該当ログを一括削除
  5. ディスク容量の確認

この手順で作業をしてみます。

作業開始

vCenterのコンソールからshell表示にしても良いのですが、作業ログが取れないのと、コマンドのコピペができないことから、今回はSSHを使用してvCenterへ接続します。

vCenterへSSHする際は[root]のユーザを使用します。

vCenterへ接続後、[shell]と入力することで、Shellモードに移行します。

DFコマンドで現在のディスクと容量や使用率を確認します。

root@arion [ ~ ]# df -h
Filesystem                                Size  Used Avail Use% Mounted on
devtmpfs                                  5.9G     0  5.9G   0% /dev
tmpfs                                     5.9G  912K  5.9G   1% /dev/shm
tmpfs                                     5.9G  1.2M  5.9G   1% /run
tmpfs                                     5.9G     0  5.9G   0% /sys/fs/cgroup
/dev/sda3                                  46G  8.9G   35G  21% /
/dev/sda2                                 120M   24M   88M  22% /boot
/dev/mapper/vtsdb_vg-vtsdb                9.8G   67M  9.2G   1% /storage/vtsdb
/dev/mapper/archive_vg-archive             49G   19G   28G  40% /storage/archive
/dev/mapper/lifecycle_vg-lifecycle         98G  2.7G   91G   3% /storage/lifecycle
/dev/mapper/vtsdblog_vg-vtsdblog          4.9G   36M  4.6G   1% /storage/vtsdblog
/dev/mapper/updatemgr_vg-updatemgr         98G  420M   93G   1% /storage/updatemgr
/dev/mapper/imagebuilder_vg-imagebuilder  9.8G   37M  9.3G   1% /storage/imagebuilder
/dev/mapper/autodeploy_vg-autodeploy      9.8G   37M  9.3G   1% /storage/autodeploy
/dev/mapper/netdump_vg-netdump            985M  2.5M  915M   1% /storage/netdump
/dev/mapper/seat_vg-seat                  9.8G  418M  8.9G   5% /storage/seat
/dev/mapper/dblog_vg-dblog                 15G  105M   14G   1% /storage/dblog
/dev/mapper/db_vg-db                      9.8G  293M  9.0G   4% /storage/db
/dev/mapper/log_vg-log                    9.8G  8.5G  802M  92% /storage/log
/dev/mapper/core_vg-core                   25G  180M   24G   1% /storage/core
tmpfs                                     5.9G  4.7M  5.9G   1% /tmp

今回該当する場所は、/dev/mapper/log_vg-log 9.8G 8.5G 802M 92% /storage/logとなります。
マッピングされているディスクのサイズは9.8GBに対し、使用量が8.5GBで使用率92%になっていました。。。(80%でアラームが上がるんから気づけよ・・・というツッコミはナシで)

次に、KBで案内されているディレクトリまで移動し、削除対象のログを確認します。

root@arion [ ~ ]# cd /storage/log/vmware/sso/tomcat/
root@arion [ /storage/log/vmware/sso/tomcat ]# ls -lha catalina*log
-rw-r--r-- 1 root root 1.1M Aug 20  2020 catalina.2020-08-20.log
-rw-r--r-- 1 root root  11M Aug 21  2020 catalina.2020-08-21.log
-rw-r--r-- 1 root root  11M Aug 22  2020 catalina.2020-08-22.log

(中略)

-rw-r--r-- 1 root root 8.4M Jul 21 19:22 catalina.2021-07-21.log
-rw-r--r-- 1 root root  49K Jul 22  2021 catalina.2021-07-22.log

と11MB程度のログがおそらくvCenter Serverの構築した当初から残っています。
VMware曰く、このログは必要なさそうなので、がっつり消してしまします。

root@arion [ /storage/log/vmware/sso/tomcat ]# rm catalina*log
root@arion [ /storage/log/vmware/sso/tomcat ]# df -h
Filesystem                                Size  Used Avail Use% Mounted on
devtmpfs                                  5.9G     0  5.9G   0% /dev
tmpfs                                     5.9G  912K  5.9G   1% /dev/shm
tmpfs                                     5.9G  1.2M  5.9G   1% /run
tmpfs                                     5.9G     0  5.9G   0% /sys/fs/cgroup
/dev/sda3                                  46G  8.9G   35G  21% /
/dev/sda2                                 120M   24M   88M  22% /boot
/dev/mapper/vtsdb_vg-vtsdb                9.8G   67M  9.2G   1% /storage/vtsdb
/dev/mapper/archive_vg-archive             49G   19G   28G  40% /storage/archive
/dev/mapper/lifecycle_vg-lifecycle         98G  2.7G   91G   3% /storage/lifecycle
/dev/mapper/vtsdblog_vg-vtsdblog          4.9G   36M  4.6G   1% /storage/vtsdblog
/dev/mapper/updatemgr_vg-updatemgr         98G  420M   93G   1% /storage/updatemgr
/dev/mapper/imagebuilder_vg-imagebuilder  9.8G   37M  9.3G   1% /storage/imagebuilder
/dev/mapper/autodeploy_vg-autodeploy      9.8G   37M  9.3G   1% /storage/autodeploy
/dev/mapper/netdump_vg-netdump            985M  2.5M  915M   1% /storage/netdump
/dev/mapper/seat_vg-seat                  9.8G  418M  8.9G   5% /storage/seat
/dev/mapper/dblog_vg-dblog                 15G  105M   14G   1% /storage/dblog
/dev/mapper/db_vg-db                      9.8G  293M  9.0G   4% /storage/db
/dev/mapper/log_vg-log                    9.8G  5.2G  4.2G  56% /storage/log
/dev/mapper/core_vg-core                   25G  180M   24G   1% /storage/core
tmpfs                                     5.9G  4.7M  5.9G   1% /tmp

削除後に再度DFコマンドを打つと、8.5GB→5.2GBへ削減されました。
使用率も90%超から50%台まで下がっています。

KBでは/storage/log/vmware/sso/tomcat/以外にも/storage/log/vmware/eam/web//storage/log/vmware/lookupsvc/tomcat/ も同様にログがあれば削除せよ記載があるのですが、見たところあまり容量を喰っているログが無かったので、今回は削除しませんでした。

vCenterのWebコンソールから確認

削除後、vCenterのWebコンソールを確認したところ、該当のアラームはなくなっており、イベントから確認すると、ステータスが[赤]→[緑]になったと表示されていたので、とりあえずは様子見してみます。

考察

今回は、久々にvCenterのWebコンソールにアクセスすることでアラームを確認しましたが、vCenterのイベントにSNMPトラップの発信イベントが残っていたのでvCenterのSNMPトラップをZabbixあたりで受信すれば早めに察知ができると思います。
また、それなりの大きさのログが構築当初から残っていたので、定期的に削除するか、該当のログをローテートする設定?があれば設定しておくことが必要だと思いました。
vCenterのログローテートの仕様はまだ調べられていないので、今後の課題として対応したいと思います。



コメント

タイトルとURLをコピーしました