Automated Process monitoring during high server load

Automated Process monitoring during high server load

root@myServer [/root]# cat load-process-monitor.sh

#!/bin/bash

# Define Variables

DT=`date +”%A %b %e %r”`

HOSTNAME=`hostname`

# Create dir to store data

mkdir -p /opt/loadcheck/

# Retrieve the load average of the past 1 minute

LAVG=`uptime | awk {‘print $10}’ | cut -d. -f1`

LCURRENT=`uptime | awk {‘print $10,$11,$12}’`

# Define Threshold. This value will be compared with the current load average. Set the value as per your wish.

LIMIT=-1

# Compare the current load average with Threshold and email the server administrator if threshold is greater.

if [ $LAVG -gt $LIMIT ]

then

#Save the current running processes in a file

/bin/ps -auxf >> /opt/ps_output

echo “Current Time :: $DT. >> /tmp/loadmon.txt

echo “Current Load Average :: $LCURRENT. >> /tmp/loadmon.txt

echo “current processes list attached with the email 1 instance. >> /tmp/loadmon.txt

echo “Also check loadps.txt :: loadtop.txt :: netstat_all.txt :: netstat_port80.txt inside /opt/loadcheck/ on the server” >> /tmp/loadmon.txt

# Send email to support

/usr/bin/mutt -s “Server Load ALERT!!! High 1 minute load average on ‘$HOSTNAME’” -a /opt/ps_output support@somedomain.com > /opt/ps_output

echo “Current Time :: $DT” >> /tmp/loadmon.txt

echo “Current Load Average :: $LCURRENT” >> /tmp/loadmon.txt

echo “current processes list attached with the email 1 instance” >> /tmp/loadmon.txt

echo “Also check loadps.txt :: loadtop.txt :: netstat_all.txt :: netstat_port80.txt inside /opt/loadcheck/ on the server” >> /tmp/loadmon.txt

# Send email to support

/usr/bin/mutt -s ” Server Load ALERT ::: High 1 minute load average on ‘$HOSTNAME’ ” -a /opt/ps_output support@integrityhost.com > /opt/loadcheck/loadps.txt

echo “#########################################################################################################################” >> /opt/loadcheck/loadps.txt

/bin/top -c -n1 >> /opt/loadcheck/loadtop.txt

echo “#########################################################################################################################” >> /opt/loadcheck/loadtop.txt

/bin/netstat -ntu | awk ‘{print $5}’ | cut -d: -f1 | sort | uniq -c | sort -n >> /opt/loadcheck/netstat_all.txt

echo “#########################################################################################################################” >> /opt/loadcheck/netstat_all.txt

/bin/netstat -alntp | grep :80 | awk ‘{print $5}’ | cut -d: -f1 | sort | uniq -c | sort -n >> /opt/loadcheck/netstat_port80.txt

echo “#########################################################################################################################” >> /opt/loadcheck/netstat_port80.txt

/bin/ps -auxf >> /opt/loadcheck/loadps.txt

echo “#########################################################################################################################” >> /opt/loadcheck/loadps.txt

/bin/top -c -n1 >> /opt/loadcheck/loadtop.txt

echo “#########################################################################################################################” >> /opt/loadcheck/loadtop.txt

/bin/netstat -ntu | awk ‘{print $5}’ | cut -d: -f1 | sort | uniq -c | sort -n >> /opt/loadcheck/netstat_all.txt

echo “#########################################################################################################################” >> /opt/loadcheck/netstat_all.txt

/bin/netstat -alntp | grep :80 | awk ‘{print $5}’ | cut -d: -f1 | sort | uniq -c | sort -n >> /opt/loadcheck/netstat_port80.txt

echo “#########################################################################################################################” >> /opt/loadcheck/netstat_port80.txt

/bin/ps -auxf >> /opt/loadcheck/loadps.txt

echo “#########################################################################################################################” >> /opt/loadcheck/loadps.txt

/bin/top -c -n1 >> /opt/loadcheck/loadtop.txt

echo “#########################################################################################################################” >> /opt/loadcheck/loadtop.txt

/bin/netstat -ntu | awk ‘{print $5}’ | cut -d: -f1 | sort | uniq -c | sort -n >> /opt/loadcheck/netstat_all.txt

echo “#########################################################################################################################” >> /opt/loadcheck/netstat_all.txt

/bin/netstat -alntp | grep :80 | awk ‘{print $5}’ | cut -d: -f1 | sort | uniq -c | sort -n >> /opt/loadcheck/netstat_port80.txt

echo “#########################################################################################################################” >> /opt/loadcheck/netstat_port80.txt

/bin/ps -auxf >> /opt/loadcheck/loadps.txt

echo “#########################################################################################################################” >> /opt/loadcheck/loadps.txt

/bin/top -c -n1 >> /opt/loadcheck/loadtop.txt

echo “#########################################################################################################################” >> /opt/loadcheck/loadtop.txt

/bin/netstat -ntu | awk ‘{print $5}’ | cut -d: -f1 | sort | uniq -c | sort -n >> /opt/loadcheck/netstat_all.txt

echo “#########################################################################################################################” >> /opt/loadcheck/netstat_all.txt

/bin/netstat -alntp | grep :80 | awk ‘{print $5}’ | cut -d: -f1 | sort | uniq -c | sort -n >> /opt/loadcheck/netstat_port80.txt

echo “#########################################################################################################################” >> /opt/loadcheck/netstat_port80.txt

/bin/ps -auxf >> /opt/loadcheck/loadps.txt

echo “#########################################################################################################################” >> /opt/loadcheck/loadps.txt

/bin/top -c -n1 >> /opt/loadcheck/loadtop.txt

echo “#########################################################################################################################” >> /opt/loadcheck/loadtop.txt

/bin/netstat -ntu | awk ‘{print $5}’ | cut -d: -f1 | sort | uniq -c | sort -n >> /opt/loadcheck/netstat_all.txt

echo “#########################################################################################################################” >> /opt/loadcheck/netstat_all.txt

/bin/netstat -alntp | grep :80 | awk ‘{print $5}’ | cut -d: -f1 | sort | uniq -c | sort -n >> /opt/loadcheck/netstat_port80.txt

echo ” ######################################################################################################################### ” >> /opt/loadcheck/netstat_port80.txt

fi

# Remove residue logs

/bin/rm -f /tmp/loadmon.txt

/bin/rm -f /opt/ps_output

root@myServer [/root]#

Add a cron to run load-process-monitor.sh ( * * * * * /bin/sh /path-to/load-process-monitor.sh ) every min and when server load goes beyond 4, it will send you email and log some important details, which can help to some extent to find some pointers to load issue from process and netstat listings.