Lepus慢日志平臺搭建與維護的方法是什么

本篇內容介紹了“Lepus慢日志平臺搭建與維護的方法是什么”的有關知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領大家學習一下如何處理這些情況吧！希望大家仔細閱讀，能夠學有所成！

一、安裝LAMP基礎環境

配置LAMP基礎環境的方式有很多種，最簡單的方式有yum安裝、RPM包安裝等方式。您也可以手動編譯安裝相關軟件。此項配置網絡文章比較多，不做詳細介紹，您也可以參考我博客的教程進行安裝。地址為：http://www.ruzuojun.com/topic/1203.html

二、安裝Python2.7基礎環境

1)安裝Python2.7

Lepus需要Python2.7支持(目前編譯平臺為2.7.2,建議您安裝 python2.7.2,本安裝文檔中包含下載地址)。

您可以直接輸入python命令來查詢當前python版本：

# python

Python 2.6.6 (r266:84292, Jan 22 2014, 09:42:36)

[GCC 4.4.7 20120313 (Red Hat 4.4.7-4)] on linux2

Type "help", "copyright", "credits" or "license" for more information.

>>>

如果您的系統Python不符合要求，請參考如下示例文章進行安裝

1、下載

# wget http://www.mtop.cc/software/Python-2.7.2.tar.bz2

2、解壓

#tar jxvf Python-2.7.2.tar.bz2

3.安裝：

#cd Python-2.7.2

#./configure --prefix=/usr/local/Python2.7 --enable-shared

#make

#make install

通過以下方式將lib庫加入到系統中，否則會報如下錯誤：error while loading shared libraries: libpython2.7.so.1.0: cannot open shared object file: No such file or directory

#vi /etc/ld.so.conf 添加/usr/local/Python2.7/lib

#/sbin/ldconfig

#/sbin/ldconfig -v

4.使用新安裝的python:

#mv /usr/bin/python /usr/bin/python_old

#ln -s /usr/local/Python2.7/bin/python2.7 /usr/bin/python

# python

Python 2.7.2 (default, Dec 29 2013, 13:29:56)

[GCC 4.4.7 20120313 (Red Hat 4.4.7-4)] on linux2

Type "help", "copyright", "credits" or "license" for more information.

>>>

如果python升級到2.7以后出現yum無法使用的情況，錯誤為No module named yum，請按照如下步驟處理，將yum使用的python版本改為舊版本：

打開yum執行文件

# vim /usr/bin/yum

將第一行 #!/usr/bin/python 修改為備份的原python版本即可，如下：

#!/usr/bin/python_old

2)安裝 MySQLdb for python

MySQLdb為Python連接和操作MySQL的類庫，如果您準備使用lepus系統監控MySQL數據庫，那么該模塊必須安裝。

安裝步驟如下：

#wget http://www.mtop.cc/software/MySQLdb-python.zip

# unzip MySQLdb-python.zip

# cd MySQLdb1-master/

# which mysql_config

/usr/local/mysql/bin/mysql_config

# vim site.cfg 修改如下：

mysql_config = /usr/local/mysql/bin/mysql_config

# python setup.py build

# python setup.py install

常見錯誤解決：

1).如果編譯python出現如下問題

/usr/bin/ld: cannot find -lpython2.7

collect2: ld returned 1 exit status

error: command 'gcc' failed with exit status 1

請按如下步驟處理：

A.檢查并安裝python-devel包

# yum -y install python-devel

B.將libpython2.7.so庫文件建立軟連接到/usr/lib下

32位服務器下執行

# ln -s /usr/local/Python2.7/lib/libpython2.7.so /usr/lib/libpython2.7.so  

64位服務器下執行

# ln -s /usr/local/Python2.7/lib/libpython2.7.so /usr/lib64/libpython2.7.so

C.檢查下/etc/ld.so.conf是否包含/usr/local/Python2.7/lib

#vi /etc/ld.so.conf 添加/usr/local/Python2.7/lib

#/sbin/ldconfig

3)安裝Pymongo for python

pymongo為Python連接和操作MongoDB的類庫，如果您準備使用lepus系統監控MongoDBs數據庫，那么該模塊必須安裝。

安裝步驟如下:

下載pymongo https://pypi.python.org/packages/source/p/pymongo/

# wget www.mtop.cc/software/pymongo-2.7.tar.gz

# tar zxvf pymongo-2.7.tar.gz

# cd pymongo-2.7

# python setup.py install

三、安裝Lepus監控系統

注：在安裝Lepus系統之前，請先根據前面兩節內容安裝LAMP和Python運行環境。

1)上傳軟件包到監控機服務器并解壓縮軟件到您的系統

# tar zxvf lepus_v3.0.tar.gz

2).在監控機創建監控數據庫，并授權。

mysql> create database lepus charset utf8 collate utf8_general_ci;

mysql> grant select,insert,update,delete,create on lepus.* to 'lepus_user'@'localhost' identified by 'mysql';

mysql> flush privileges;

導入SQL文件夾里的SQL文件(表結構和數據文件)

# cd lepus_v3.0

# mysql -uroot –p  lepus < sql/lepus.sql

# mysql -uroot –p  lepus < sql/lepus_data.sql

4)安裝Lpeus程序

進入到軟件包的python文件夾

# cd python/

授予install.sh可執行權限

# chmod +x install.sh

執行安裝

# ./install.sh

[note] lepus will be install on basedir: /usr/local/lepus

[note] /usr/local/lepus directory does not exist,will be created.

[note] /usr/local/lepus directory created success.

[note] wait copy files.......

[note] change script permission.

[note] create links.

[note] install complete.

5) 修改配置文件

備注：在python采集數據的過程中，需要連接到需要監控的數據庫服務器采集數據，我們為了安全考慮，在WEB管理里面只要求錄入主機和端口，沒有錄入賬號和密碼。所有需要監控的數據庫請授予相同的用戶密碼記錄在配置文件中。系統通過SNMP協議采集. SNMP需要的community也請授予相同的寫在配置文件中。具體示例如下所示，我們暫定給所有被監控數據庫添加一個monitor用戶：

進入到安裝目錄，默認為/usr/local/lepus

# cd /usr/local/lepus/

# vim etc/config.ini

###監控機MySQL數據庫連接地址###

[monitor_server]

host="127.0.0.1"

port=3306

user=" lepus_user "

passwd="password"

dbname="lepus"

###被監控數據庫的用戶密碼###

[mysql_db]

username="monitor"

password="monitor"

[mongodb_db]

username="monitor"

password="monitor"

[oracle_db]

username=""

password=""

[snmp]

community="lepus"

6)測試驅動(可選)

執行以下命令可以測試MySQLdb是否安裝成功，以及監控機MySQL連接是否正常。

# python test_mysql.pyc  

The MySQLDB is OK

7) 在所有需要被監控的數據庫授權

在需要被監控的數據庫里(被監控機)添加允許監控機訪問的帳戶，并授權。授權帳戶即為上面配置文件中指定的monitor用戶。

授權如下所示：

grant select,super,process on *.* to 'monitor'@'ip' identified by 'monitor';

MongoDB被監控機授權(還未找到合適的權限,目前暫時用管理權限)

> use admin

> db.addUser('monitor','monitor');

7)啟動監控系統

執行以下命令啟動系統采集進程

# lepus start

nohup: appending output to `nohup.out'

lepus monitor start success!

執行以下命令關閉系統采集進程

# lepus stop

lepus processes id 28937 been stop

lepus processes id 28938 been stop

lepus processes id 28957 been stop

lepus processes id 28973 been stop

lepus processes id 28984 been stop

lepus processes id 28995 been stop

lepus processes id 29003 been stop

lepus processes id 29019 been stop

lepus processes id 29174 been stop

執行以下命令監控系統是否正常運行

# lepus status

lepus server is running...

8)將lepus_monitor腳本部署為計劃任務，該腳本可以監控您的Lepus是否正在運行。

打開文件/usr/local/lepus/lepus_monitor修改里面連接監控機的數據庫連接地址，然后將該腳本部署為計劃任務。

# crontab  -l

*/1 * * * * /usr/local/lepus/lepus_monitor >> /tmp/lepus_monitor.log

9)部署WEB界面

復制PHP文件夾里的文件到Apache對應的網站虛擬目錄

# cd lepus_v3.0

# cp -rf php/* /home/wwwroot/lepus/

打開application\config\database.php文件，修改PHP連接監控服務器的數據庫信息

$db['default']['hostname'] = 'localhost';

$db['default']['username'] = 'lepus_user';

$db['default']['password'] = 'password';

$db['default']['database'] = lepus;

$db['default']['dbdriver'] = 'mysql';

通過瀏覽器輸入IP地址或域名打開監控界面，即可登錄系統。.默認管理員賬號密碼admin/Lepusadmin登錄后請修改管理員密碼，增加普通賬號。進入系統后，您就可以添加應用和主機，開啟您的數據庫監控之旅了。

四、安裝percona-toolkit工具

1)安裝percona-toolkit

#yum install -y per-IO-Socket-SSL

#yum install -y per-DBI

#yum install -y per-DBD-MySQL

#tar zxvf percona-toolkit-3.0.10.tar.gz

#cd percona-toolkit-3.0.10

#perl Makefile.PL 

#make

#make install

2)編輯文件修改配置，需要指定Lepus監控機數據庫的地址，本地MySQL地址，以及存儲緩慢查詢的路徑和慢查詢的時間。

[root@oneproxy mysql]# cat lepus_slowquery.sh
#!/bin/bash
#****************************************************************#
# ScriptName: /usr/local/sbin/lepus_slowquery.sh
# Create Date: 2014-03-25 10:01
# Modify Date: 2014-03-25 10:01
#***************************************************************#
#config lepus database server
lepus_db_host="192.168.8.63"
lepus_db_port=3306
lepus_db_user="lepus_user"
lepus_db_password="mysql"
lepus_db_database="lepus"
#config mysql server
mysql_client="/usr/local/mysql/bin/mysql"
mysql_host="192.168.8.63"
mysql_port=3306
mysql_user="root"
mysql_password="mysql"
#config slowqury
slowquery_dir="/mysql/data/"
slowquery_long_time=0.1
slowquery_file=`$mysql_client -h$mysql_host -P$mysql_port -u$mysql_user -p$mysql_password  -e "show variables like 'slow_query_log_file'"|grep log|awk '{print $2}'`
pt_query_digest="/usr/local/bin/pt-query-digest"
#config server_id
lepus_server_id=63
#collect mysql slowquery log into lepus database
$pt_query_digest --user=$lepus_db_user --password=$lepus_db_password --port=$lepus_db_port --review h=$lepus_db_host,D=$lepus_db_database,t=mysql_slow_query_review  --history h=$lepus_db_host,D=$lepus_db_database,t=mysql_slow_query_review_history  --no-report --limit=100%  $slowquery_file >/tmp/lepus_slowquery.log
##### set a new slow query log ###########
tmp_log=`$mysql_client -h$mysql_host -P$mysql_port -u$mysql_user -p$mysql_password -e "select concat('$slowquery_dir','slowquery_',date_format(now(),'%Y%m%d%H'),'.log');"|grep log|sed -n -e '2p'`
#config mysql slowquery
$mysql_client -h$mysql_host -P$mysql_port -u$mysql_user -p$mysql_password -e "set global slow_query_log=1;set global long_query_time=$slowquery_long_time;"
$mysql_client -h$mysql_host -P$mysql_port -u$mysql_user -p$mysql_password -e "set global slow_query_log_file = '$tmp_log'; "
#delete log before 7 days
cd $slowquery_dir
/usr/bin/find ./ -name 'slowquery_*' -mtime +7|xargs rm -rf ;
####END####

3)設置定時任務

*/3 * * * * /usr/local/lepus/client/mysql/lepus_slowquery.sh > /dev/null 2>&1

4）慢日志監控如下：

“Lepus慢日志平臺搭建與維護的方法是什么”的內容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業相關的知識可以關注億速云網站，小編將為大家輸出更多高質量的實用文章！