DRBL和CentOS6.3如何搭建Diskless Cluster

這篇文章主要為大家展示了“DRBL和CentOS6.3如何搭建Diskless Cluster”，內容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領大家一起研究并學習一下“DRBL和CentOS6.3如何搭建Diskless Cluster”這篇文章吧。

一、首先安裝centos6.3系統：

1， 光盤或網絡PXE重新安裝系統

        可將磁盤陣列（這里是/dev/md126）的part5中的home目錄（可能是原來的home目錄）掛載到新系統/home目錄：
 

[***]# cat /etc/fstab
#
# /etc/fstab
# Created by anaconda on Sat Jan 26 22:54:18 2013
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
UUID=ea636e37-69c9-4603-9250-76193bca28c7 /                       ext4    defaults        1 1
tmpfs                   /dev/shm                tmpfs   defaults        0 0
devpts                  /dev/pts                devpts  gid=5,mode=620  0 0
sysfs                   /sys                    sysfs   defaults        0 0
proc                    /proc                   proc    defaults        0 0
#
#
/dev/md126p5 	 /media/raid2tp5  	ext4 	defaults 	0 0 
/dev/md126p1 	 /media/raid2tp1 	ext4 	defaults 	0 0 
/media/raid2tp5/home  	/home 		none	defaults,bind 	0 0

2， 注意DRBL安裝說明中提到，建議禁用Network Manage 的圖形界面配置軟件

在我們的環境下的操作中確實需要禁用，否則出現兼容問題。

另外,請設定好所有網路卡的IP位址,我們後面用的是eth0對外,其餘的eth2以後的對內部使用(請務必將這些內部使用的網路卡IP都設成192.168.x.x, 172.16-31.x.x或是10.x.x.x等的private IP，例如eth2:192.168.101.254, eth3:192.168.102.254, eth4:192.168.103.254...)；請注意一個原則，private IP (192.168.x.x)將會被拿來做DRBL環境的連結用。安裝時也建議關閉防火牆,等DRBL安裝完之後再來設定防火牆。另外，如果你的GNU/Linux安裝的時候自動幫你裝了NetworkManager，且被自動啟動的話，建議關閉或者移除，因為當作伺服器的機器並不適合使用NetworkManager。舉例而言，Fedora的話，可以這樣處理: sudo chkconfig --del NetworkManager; sudo chkconfig --del NetworkManagerDispatcher，然後啟動chkconfig network on。Ubuntu或者Debian之類的套件，先手動安裝圖形的網路設定程式: "sudo apt-get install gnome-network-admin"，然後直接移除network manager: "sudo apt-get --purge remove network-manager"，重新開機後，執行"network-admin"(或者在Gnome桌面選擇"系統"-> "管理" -> "網路")就可以設定固接網路。

3， 設置好內網和外網的網卡

1）內外網設置

編輯/etc/sysconfig/network-scripts/ifcfg-eth2

與/etc/sysconfig/network-scripts/ifcfg-eth0：

DEVICE 接口名（設備,網卡）
BOOTPROTO IP的配置方法（static:固定IP， dhcpHCP， none:手動）
HWADDR MAC地址
ONBOOT 系統啟動的時候網絡接口是否有效（yes/no）
TYPE 網絡類型（通常是Ethemet）
NETMASK 網絡掩碼
IPADDR IP地址
IPV6INIT IPV6是否有效（yes/no）

GATEWAY 默認網關IP地址  ###交換機連接的子網不需配置網關？###

2）重啟網絡鏈接

# service network restart

3）檢查網路

[***]# route
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
210.45.*.*     *               255.255.255.0   U     0      0        0 eth2
10.1.1.0        *               255.255.255.0   U     0      0        0 eth0
link-local      *               255.255.0.0     U     1002   0        0 eth0
link-local      *               255.255.0.0     U     1003   0        0 eth2
default         210.45.72.254   0.0.0.0         UG    0      0        0 eth2
[root@nsplab0 drbl]#

二、DRBL安裝、配置和使用：

1， 安裝drbl

如果您不是系統管理者(root)，執行指令"su root" (然後輸入root的密碼)，如果你的套件沒有設定root密碼，可以用"sudo su " (然後該使用者的密碼)以便切換成root 

請先安裝DRBL的金鑰(ID: 1024D/D7E8DF3A, Key fingerprint = F532 A131 65AF 2168 1634 DB1B 4000 9511 D7E8 DF3A)，這樣可以進一步確認您安裝的程式是本計畫所發行的程式。有兩個方式可以來安裝。       方法1: "rm -f GPG-KEY-DRBL; wget http://drbl.nchc.org.tw/GPG-KEY-DRBL; rpm --import GPG-KEY-DRBL" 。     方法2: 由key server下載，KeyID是D7E8DF3A，可以這樣執行"gpg --keyserver subkeys.pgp.net --recv-key D7E8DF3A"，然後再執行"gpg -a --export D7E8DF3A > GPG-KEY-DRBL; rpm --import GPG-KEY-DRBL". 如果你要查詢系統是否已經有匯入數位簽章的話，可以這樣查詢: rpm -qa gpg-pubkey*。 

下載DRBL的RPM檔(檔名如drbl-1.9.6-35.i386.rpm)：穩定版，測試中的版本，或是不穩定的版本。 執行"rpm -Uvh drbl-XXX.i386.rpm"或者"yum install drbl-XXX.i386.rpm" (如果你的套件有yum的話)來安裝drbl程式，drbl-XXX.i386.rpm就是您剛剛下載的檔案，如果您是下載穩定版的話，就執行"rpm -Uvh drbl-current.i386.rpm"或者"yum install drbl-current.i386.rpm"。

2，配置drbl

1） 可以查看修改/opt/drbl/conf下面的文件：client-ip-hostname.example 

寫一個自己希望的分配給客戶端的IP和hostname映射關系,如:

# cat client-ip-hostname
10.1.1.2 node1
10.1.1.3 node2         
10.1.1.4 node3

2） 也可以修改自定義目錄/opt/drbl/conf中的其他example文件.

3） 運行配置命令

# /opt/drbl/sbin/drblpush -i

特別注意1： 在運行中會提示可以one by one啟動客戶端（如果要自動探測客戶端網卡MAC，需要每個客戶端都設置成PXE啟動，且為第一順序），收集其MAC地址。作為替代方法，也可以手動新建一個文本文件，一般在/etc/drbl/macadr-eth0.txt，在其中按行添加每個內網客戶端網卡的MAC地址，之后配置會要求輸入文件的位置，這樣不再需要 start the PXE clients one by one 了。

特別注意2： 最好設置成每個MAC分配固定靜態的IP，參考：新增clinet 電腦，我有指定MAC address，該如何操作比較正確 ?。

特別注意3：最重要的要查看目錄/tftpboot/nodes下是否有對應每個客戶端IP的目錄文件，如有，客戶端一般就可以啟動起來到了，前面在兩種Full模式下適用，在SSI mode下不一定適用。注意，客戶端需要使用PXE啟動，請對應設置BIOS，且最好BIOS設置成可以通過PCI-LAN設備喚醒啟動。

3， 啟動或重啟drbl

# drbl-all-service start
 

或者

# drbl-all-service restart
 

可能會出現“Failed to start service ypbind”的錯誤，可以如此正確重啟：
 

# service ypserv restart

4， 重啟服務器和節點

     一般先使計算節點關機，再關機主節點。開機時，首先主節點開機，主節點開機進入登陸界面后，最好再等1分鐘（自我感覺），并且保證drbl的PXE服務啟動了，如果不確定可以進入主節點使用drbl-all-service來重新開啟。然后再啟動計算節點，不需考慮順序。這里開關機就是簡單在各系統執行 shutdown 或 halt 命令或是直接按電源或reset鍵（不能軟件開關機時）。各節點正常并drbl-doit命令可用時（可以無密碼ssh連接各個節點），可以使用drbl-doit shutdown 或 halt 來統一關機。

5， DRBL使用和管理

1）增加新的節點機器

    方法1： 可以重新配置安裝子節點

drblpush -i

最后會提示是否保留原有的設置，可以選擇不保留，于是每個節點重新生成配置文檔。

    方法2： 如果前面安裝的節點使用SSI mode，那么不需重新drbl push

用戶端電腦數目有所增加，只要改/etc/dhcp/dhcpd.conf之後，執行 "/opt/drbl/sbin/dcs -> others -> gen_3N_conf"或是"/opt/drbl/sbin/drbl-3n-conf generate"即可以馬上增加節點的數目

    詳細參考：網頁：DRBL SSI mode的使用與修改 的最后幾行說明。

    如何知道新節點是否可以成功PXE啟動了？可以查看/tftpboot/nodes目錄是否有所希望添加的機器對應的IP地址所命名的目錄，如果存在節點就應該可以啟動起來。
 

2）增加新用戶或配置新節點的用戶和密碼

    新添加的節點可以啟動后不一定具有主節點的所有用戶信息。解決辦法預想是，可以把主節點下的/etc/passwd，/etc/shadow，/etc/group，/etc/gshadow拷貝到新客戶端的相應目錄（即從/etc拷貝到/tftpboot/nodes/新節點IP），批量拷貝可使用drbl-cp-host，更多賬號管理的介紹可見鳥哥的網頁：http://linux.vbird.org/linux_basic/0410accountmanager/0410accountmanager-fc4.php

    【注】這種方法有些生硬，擔心有后遺癥，因為時間有限，暫還沒考慮好別的辦法。

    增加新節點時已有的用戶會自動同步到新節點，或者手動執行“make -C /var/yp”來更新“YP/NIS”。
 

    對于服務器和客戶端增加新用戶
 

        方法一
 

            增加使用drbl自帶的drbl-useradd和drbl-userdel命令，此方法無法人為指定用戶的id號碼。

            產生一個使用者, 舉例說明, 要產生一個使用者 drbl, 群組是penguin

            drbl-useradd -s drbl penguin

            (http://drbl.nchc.org.tw/one4all/desktop/techrpt.php?c=drbl-useradd&t=%E5%A4%A7%E9%87%8F%E5%BB%BA%E7%AB%8B%E4%BD%BF%E7%94%A8%E8%80%85%E5%B8%B3%E8%99%9F)
 

        方法二
 

            使用傳統方法adduser, deluser來首先在服務器中增加用戶后通過執行“make -C /var/yp”來更新“YP/NIS”。還是建議使用方法一
 

3）    DRBL進階管理

         drbl-doit "echo 'source /opt/intel/mkl/bin/mklvars.sh intel64' >>/etc/bashrc"：對所有客戶端機器操作：

         更過管理使用方法可點此處查看

【其他參考】

鳥哥的drbl記錄  DRBL操作指南  

三、Cluster系統管理和使用

1、系統管理之消息通知

1）用戶登錄通知

修改文件/etc/motd，加入你希望用戶登錄后看到的內容。

2）推送給用戶消息

write 用戶名 [tty]

使用以上命令可以給當前系統的用戶發送即時消息，消息不會打斷用戶的工作，會顯示在用戶的當前標準輸出。還可以使用write all 給所有用戶發送消息。

2、系統管理之SSH

1） SSH 之 X11 Forwarding

修改服務器文件/etc/ssh/sshd_config，令 AllowTcpForwarding yes, AllowAgentForwarding yes和X11Forwarding yes 

然后修改自己機器（如果是linux）的/etc/ssh/ssh_config，令ForwardAgent yes, ForwardX11 yes。

考錄到也需要從服務器登錄到其他節點，所以也需要將服務器中的ssh_config文件如上修改。前者(Tcp)或許不需要。

2） SSH 之 節點間無密碼互訪。

對root用戶：

# ssh-keygen -t rsa   
# cd ~/.ssh
# cat id_rsa.pub >>authorized_keys

之后需要使用命令“drbl-cp-host ~/.ssh/* /root/.ssh/”將認證文件拷貝到子節點。

對其他普通用戶，因為home目錄共享，只需要做第一步即可。

如果互訪仍有問題，可以參考后面一節：“SSH 之 HostKyeChecking”

3） SSH 之 HostKyeChecking

對于一些奇怪的問題，比如從主節點無密碼登錄到子節點可行，但是反過來不行，或是總需要回答yes。一些奇怪問題可能與節點共享一個系統和用戶目錄有關，也可能與DRBL相關。在嘗試禁用檢查之后，各節點的互訪沒有障礙了。方法：添加如下到ssh_config

#    UserKnownHostsFile=/dev/null
     StrictHostKeyChecking no

如果不想保存~/.ssh/known_hosts，可以啟用上面第一行，如此每登錄都要生成known_hosts，只不過都保存到 /dev/null 這個文件黑洞中去了。

【注意】DRBL重裝子節點后，原known_hosts就無效了，保留原文件可能造成無法從主節點訪問字節點。

Test：$$(E=mc^2)$$：

以上是“DRBL和CentOS6.3如何搭建Diskless Cluster”這篇文章的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業資訊頻道！