Wer wie ich zur Zeit ein eigenes ESXi Image benötigt inkl. Software von HP und FusionIO, der kann diese kurze Anleitung vielleicht gebrauchen. Damit habe ich ein aktuelles ESXi 5.5 Image inkl. aktuelle HP Software und FusionIO Treiber erstellt und schon 10 ESXi-Server installiert.

Herunterladen des Zip-Files von VMware

Herunterladen der Software von FusionIO

PowerCLI öffnen und dahin wechseln wo das Zip-File liegt

PowerCLI C:\Users\User\Downloads> ls

Verzeichnis: C:\Users\User\Downloads

Mode LastWriteTime Length Name

---- ------------- ------ ----

-a--- 06.02.2015 11:51 333533064 ESXi550-201502001.zip

-a--- 22.10.2013 16:46 297072 libvsl-1.0.0-550-offline-bundle.3.2.6.1219.zip

-a--- 21.10.2013 14:51 1738984 scsi-iomemory-vsl-55L-3.2.6.1219-offline_bundle-1377365.zip

3. EsxSoftwareDepot hinzufügen

PowerCLI C:\Users\User\Downloads> Add-EsxSoftwareDepot .\ESXi550-201502001.zip

Depot Url

---------

zip:C:\Users\User\Downloads\ESXi550-201502001.zip?index.xml

PowerCLI C:\Users\User\Downloads> Add-EsxSoftwareDepot .\libvsl-1.0.0-550-offline-bundle.3.2.6.1219.zip

Depot Url

---------

zip:C:\Users\User\Downloads\libvsl-1.0.0-550-offline-bundle.3.2.6.1219.zip?index.xml

PowerCLI C:\Users\User\Downloads> Add-EsxSoftwareDepot .\scsi-iomemory-vsl-55L-3.2.6.1219-offline_bundle-1377365.

zip

Depot Url

---------

zip:C:\Users\User\Downloads\scsi-iomemory-vsl-55L-3.2.6.1219-offline_bundle-1377365.zip?index.xml

Hinzufügen des HP-Depots

PowerCLI C:\Users\User\Downloads> Add-EsxSoftwareDepot http://vibsdepot.hp.com/hpq/dec2014/index.xml

Depot Url

---------

http://vibsdepot.hp.com/hpq/dec2014/index.xml

EsxSoftwareDepot Überprüfen

PowerCLI C:\Users\User\Downloads> Get-EsxSoftwareDepot

Depot Url

---------

zip:C:\Users\User\Downloads\ESXi550-201502001.zip?index.xml

zip:C:\Users\User\Downloads\libvsl-1.0.0-550-offline-bundle.3.2.6.1219.zip?index.xml

zip:C:\Users\User\Downloads\scsi-iomemory-vsl-55L-3.2.6.1219-offline_bundle-1377365.zip?index.xml

http://vibsdepot.hp.com/hpq/dec2014/index.xml
PowerCLI C:\Users\User\Downloads> Get-EsxSoftwarePackage -Name esx-base

Name Version Vendor Creation Date

---- ------- ------ -------------

esx-base 5.5.0-2.55.2456374 VMware 22.01.2015 00...
PowerCLI C:\Users\User\Downloads> Get-EsxImageProfile | ft -Autosize

Name Vendor Last Modified Acceptance Level

---- ------ ------------- ----------------

ESXi-5.5.0-20150204001-standard VMware, Inc. 23.01.2015 03:45:57 PartnerSupported

ESXi-5.5.0-20150204001-no-tools VMware, Inc. 23.01.2015 03:45:57 PartnerSupported

Profile Clonen

New-EsxImageProfile -CloneProfile ESXi-5.5.0-20150204001-standard -Name ESXi-5.5.0-20150204001-HP-FusionIO -AcceptanceLevel PartnerSupported

Name Vendor Last Modified Acceptance Level

---- ------ ------------- ----------------

ESXi-5.5.0-20150204001-HP-F... XXX 23.01.2015 0... PartnerSupported

Hinzufügen der Softwarepakete

Add-EsxSoftwarePackage -ImageProfile ESXi-5.5.0-20150204001-HP-FusionIO -SoftwarePackage hp-ams,libvsl,hponcfg,hp-smx-provider,hpnmi,scsi-iomemory-vsl,hpbootcfg,hpssacli,hp-esxi-fc-enablement,char-hpilo | Select -ExpandProperty Depends

Überprüfen der SoftwarePakete

Get-EsxSoftwarePackage | where {$_.Vendor -eq "Hewlett-Packard" -or $_.Vendor -eq "Fusion-io" } | Format-Table -AutoSize

 

Name                  Version                          Vendor          Creation Date     

----                  -------                          ------          -------------     

libvsl                550.sdk.1.0.0-vsl.3.2.6.1219     Fusion-io       12.10.2013 00:19:09

hponcfg               5.0.0.4.4-0.2.434156             Hewlett-Packard 14.07.2014 18:49:14

hpnmi                 500.2.3.12-434156                Hewlett-Packard 20.02.2014 12:00:00

hp-smx-limited        500.03.06.00.21-434156           Hewlett-Packard 03.07.2014 04:00:36

hp-smx-limited        550.03.05.00.2-1198610           Hewlett-Packard 06.02.2014 06:51:53

scsi-iomemory-vsl     3.2.6.1219-1OEM.550.0.0.1198610  Fusion-io       12.10.2013 00:18:59

hpssacli              1.60.17.0-5.5.0.1198610          Hewlett-Packard 06.12.2013 05:02:25

hponcfg               5.5.0.04-00.13.2.1198610         Hewlett-Packard 03.04.2014 00:09:07

hp-smx-provider       500.03.06.00.23-434156           Hewlett-Packard 03.07.2014 04:08:48

hpssacli              2.0.23.0-5.0.0.377826            Hewlett-Packard 29.07.2014 17:29:11

hp-smx-provider       550.03.05.00.8-1198610           Hewlett-Packard 06.02.2014 07:26:33

hpbootcfg             5.5.0.02-00.00.11.1198610        Hewlett-Packard 27.11.2013 18:50:47

hpnmi                 550.2.3.5-1198610                Hewlett-Packard 31.10.2013 19:50:14

hp-esxi-fc-enablement 500.2.1.8-434156                 Hewlett-Packard 08.09.2014 19:44:41

hp-conrep             5.0.0.1-0.0.8.434156             Hewlett-Packard 14.07.2014 18:48:57

hpbootcfg             5.0.0.02-00.00.8.434156          Hewlett-Packard 27.11.2013 18:44:33

char-hpilo            500.9.0.2.3-1OEM.500.0.0.434156  Hewlett-Packard 31.03.2014 19:44:41

hptestevent           5.0.0.01-00.01.1.434156          Hewlett-Packard 31.10.2013 19:06:15

hp-ams                550.9.6.0-12.1198610             Hewlett-Packard 15.02.2014 18:58:47

char-hpcru            5.0.6.6-1OEM.500.0.0.434156      Hewlett-Packard 31.03.2014 19:44:41

char-hpcru            5.5.6.6-1OEM.550.0.0.1198610     Hewlett-Packard 31.03.2014 19:44:41

hp-ams                500.10.0.1-07.434156             Hewlett-Packard 09.09.2014 17:03:44

hp-esxi-fc-enablement 550.1.6.19-1198610               Hewlett-Packard 18.02.2014 19:44:41

hptestevent           5.5.0.01-00.01.4.1198610         Hewlett-Packard 31.10.2013 19:05:15

char-hpilo            550.9.0.2.3-1OEM.550.0.0.1198610 Hewlett-Packard 31.03.2014 19:44:41

Export des Images als Zip-File, das kann man super Benutzen um bestehende ESXi-Server zu aktualisieren.

Export-EsxImageProfile -ImageProfile ESXi-5.5.0-20150204001-HP-FusionIO -ExportToBundle -FilePath C:\Users\XXX\Downloads\ESXI-Image\rdy\ESXi-5.5.0-20150204001-HP-FusionIO-23022015.zip

Export des Image als ISO-File für eine Neuinstallation.

Export-EsxImageProfile -ImageProfile ESXi-5.5.0-20150204001-HP-FusionIO -ExportToIso -FilePath C:\Users\XXX\Downloads\ESXI-Image\rdy\ESXi-5.5.0-20150204001-HP-FusionIO-23022015.iso

Hoffe es Hilft

 

 

 

Wer wie ich noch einen Server bei Hetzner bestellt und nicht die 25€ für das Einlegen eines ISOS möchte kann auch den Backup-Space von Hetzner benutzen.

Im Wiki von Hetzner gibt es eine Anleitung wie man vorgehen muss.

http://wiki.hetzner.de/index.php/LARA#Nutzen_des_Backup_Space

Denkt dran das bei einigen Hetzner Servern eine Realtek Netzwerkkarte eingebaut ist, diese wird im aktuellen ESXi Image nicht mehr Unterstützt und man muss den Treiber hinzufügen.

Hier eine Anleitung um den Treiber in das Iso zu bekommen, http://www.bussink.ch/?p=1228 oder http://www.vladan.fr/realtek-8169-nics-not-detected-under-esxi-5-5/

Viele Grüße

Sven

 

Enable CPU-Hot Plug and RAM-Hot Add at Virtual machines on VMware vCenter 5

Update 12.02.2013 / Gabrie post in the comments a important extra info about Hot-Add and post the link to the blog from Duncan Eppinghttp://www.yellow-bricks.com/2012/01/16/enabling-hot-add-by-default-cc-gabvirtualworld/ it's important to read this!!!

vSphere Virtual Machine Administration, Chapter 8 “Configuring Virtual Machines”, Section “Change CPU Hot Plug Settings in the … Client”, page 94.

cpu-and-ram-hot-add

Some conditions and requirements for CPU Hot Plug

To enable new CPU after adding a new CPU. You can use this script:

Hot add cpu to supported Linux guestOS

#!/bin/bash
# William Lam
# http://engineering.ucsb.edu/~duonglt/vmware/
# hot-add cpu to LINUX system using vSphere ESX(i) 4.0
# 08/09/2009

for CPU in $(ls /sys/devices/system/cpu/ | grep cpu | grep -v idle)
do
CPU_DIR="/sys/devices/system/cpu/${CPU}"
echo "Found cpu: "${CPU_DIR}" ..."
CPU_STATE_FILE="${CPU_DIR}/online"
if [ -f "${CPU_STATE_FILE}" ]; then
STATE=$(cat "${CPU_STATE_FILE}" | grep 1)
if [ "${STATE}" == "1" ]; then
echo -e "t${CPU} already online"
else
echo -e "t${CPU} is new cpu, onlining cpu ..."
echo 1 > "${CPU_STATE_FILE}"
fi
else
echo -e "t${CPU} already configured prior to hot-add"
fi
done

Hot adding memory in Linux

ONLY for Suse Linux Enterprise Linux 11

Note: These instructions work for SLES OS. Other distributions may be different.

To enable acpi_memhotplug, run this command within the SLES virtual machine:

modprobe acpi_memhotplug

Using vSphere Client, edit the virtual machine settings to increase the memory assigned to the virtual machine. For more information, see Increasing the amount of memory assigned to a virtual machine (1004059).

Bring the memory online in /sys/devices/system/memory with the command:

echo online > /sys/devices/system/memory/memory[number]/state

Run this command to check the state of the memory, looking for memory that appears offline:

grep line /sys/devices/system/memory/*/state

If memory appears as offline, set it to online with the command:

echo online > /sys/devices/system/memory/memory[number]/state

Verify that you can see the extra memory with the command:

free -m

Expert Mode: PowerCLI

This Works when System is online, but need one "cold" start to enable this function.

Enable-MemHotAdd and Enable-vCpuHotAdd

Function Enable-MemHotAdd($vm){
$vmview = Get-vm $vm | Get-View
$vmConfigSpec = New-Object VMware.Vim.VirtualMachineConfigSpec

$extra = New-Object VMware.Vim.optionvalue
$extra.Key="mem.hotadd"
$extra.Value="true"
$vmConfigSpec.extraconfig += $extra

$vmview.ReconfigVM($vmConfigSpec)
}
Function Enable-vCpuHotAdd($vm){
$vmview = Get-vm $vm | Get-View
$vmConfigSpec = New-Object VMware.Vim.VirtualMachineConfigSpec

$extra = New-Object VMware.Vim.optionvalue
$extra.Key="vcpu.hotadd"
$extra.Value="true"
$vmConfigSpec.extraconfig += $extra

$vmview.ReconfigVM($vmConfigSpec)
}

 

Good information about hot-add cpu and memory can found here

 

Hallo,
neben dem Thema Virtualisierung beschäftige ich mich noch viel mit Oracle Grid-Infrastructure und Nagios.
Ich habe mir heute mal die Zeit genommen und ein entsprechendes Plugin geschrieben.

Getestet habe ich das Skript mit Oracle Restart 11.2.0.3 und Grid-Infrastructure 11.2.0.3. Es wird mindestens die Version 11.2.0.1 benötigt, da mit der Grid-Infrastructure die Syntax von crsctl grundlegend geändert wurde.

Folgende Punkte werden im Plugin berücksichtigt:

Im Kopfbereich des Plugins befindet sich ein Beispiel für die sudo-Konfiguration

Parallel habe ich das Plugin auf http://exchange.nagios.org eingereicht, warte dort aber noch auf die Veröffentlichung.

Gruß
Thorsten

Update: 23.01.2012
Das Plugin steht nun auch auf Nagiosexchange zur Verfügung:
http://exchange.nagios.org/directory/Plugins/Clustering-and-High-2DAvailability/Check-Oracle-Grid-2DInfrastructure-or-Oracle-Restart/details

(mehr …)

Keine RAID-Informationen mehr im vSphere Client

Von Zeit zu Zeit kann es vorkommen, daß der Hardware Monitor im vSphere Client keine Informationen mehr über den RAID-Controller anzeigt. Möglicherweise verschwinden die einzelnen Einträge nach und nach, bis der Controller irgendwann gar nicht mehr auftaucht.

Dieser Fehler könnte mit der aktuellen Version des CIM/SMIS Providers von LSI behoben worden sein.

Ansonsten gibt es einen Workaround. Wir loggen an der SSH-Konsole des ESXi ein und führen diesen Befehl aus:

[bash]/etc/init.d/sfcbd-watchdog restart >/scratch/log/sfcbd.log 2>&1[/bash]

Dies startet den SFCBD (Small Footprint CIM Broker Daemon, zuständig fürs Einsammeln und Abfragen der Sensordaten) neu. Die Umleitung in eine Dummy-Logdatei ist nötig, da der Watchdog ansonsten das Terminal alloziert hält, was zu dem Fehler "Warnungen "PTY Would block" im Kernel-Log" führt.

Warnungen "PTY Would block" im Kernel-Log

Symptom: Im Kernel-Log /scratch/log/vmkernel.log tauchen im Minutentakt Warnungen dieser Form auf:

[bash]Failed to crossdup fd 1, /dev/char/pty/t1 type CHAR: Would block[/bash]

Dies liegt daran, daß ein per SSH-Konsole ausgeführtes Kommando seine Verbindung zum virtuellen Terminal nicht geschlossen hat und versucht, dort Ausgaben zu tätigen. Wurde die Shell inzwischen geschlossen, existiert das Terminal nicht mehr.

Oft wurde der SFCBD-Watchdog ohne Umleitung in ein Dummy-File neugestartet, siehe "Keine RAID-Informationen mehr im vSphere Client", oder aber die Systemdienste mittels/sbin/services.sh restart neugestartet, was den SFCBD-Watchdog einschließt.

Keine neuen Einträge in Logs

Falls ab einem gewissen Zeitpunkt keine Einträge mehr in die Logs (Syslog, Kernel-Log etc.) geschrieben werden, könnte einfach der Syslog-Daemon abgestürzt sein. Dies läßt sich auf der SSH-Konsole beheben durch einen Neustart des Syslog-Daemon:

[bash]esxcli system syslog reload[/bash]

Fehler beim Statusabruf der BBU im Syslog

Symptom: Im Syslog /scratch/log/syslog tauchen im Minutentakt solche Meldungen auf:

[bash]

2012-09-28T13:00:50Z sfcb-LSIESG_SMIS13_HHR[10850792]: INTERNAL StoreLibFacade::fireStorelibCommand - caller StoreLibFacadeMR::getBBUStatus, ProcessLibCommandCall failed, returnValue = 0x22
2012-09-28T13:00:50Z sfcb-LSIESG_SMIS13_HHR[10850792]: INTERNAL BBU::refresh: Failed BBUStatus
2012-09-28T13:00:50Z sfcb-LSIESG_SMIS13_HHR[10850792]: INTERNAL StoreLibFacade::fireStorelibCommand - caller StoreLibFacadeMR::getBBUCapacityInfo, ProcessLibCommandCall failed, returnValue = 0x22
2012-09-28T13:00:50Z sfcb-LSIESG_SMIS13_HHR[10850792]: INTERNAL BBU::refresh:Failed CapacityInfo
2012-09-28T13:00:50Z sfcb-LSIESG_SMIS13_HHR[10850792]: INTERNAL StoreLibFacade::fireStorelibCommand - caller StoreLibFacadeMR::getBBUDesignInfo, ProcessLibCommandCall failed, returnValue = 0x22
2012-09-28T13:00:50Z sfcb-LSIESG_SMIS13_HHR[10850792]: INTERNAL BBU::refresh:Failed DesignInfo
2012-09-28T13:00:50Z sfcb-LSIESG_SMIS13_HHR[10850792]: INTERNAL StoreLibFacade::fireStorelibCommand - caller StoreLibFacadeMR::getBBUProperties, ProcessLibCommandCall failed, returnValue = 0x22
2012-09-28T13:00:50Z sfcb-LSIESG_SMIS13_HHR[10850792]: INTERNAL BBU::refresh:Failed Properties[/bash]

"BBU" bedeutet "Backup Battery Unit", gemeint ist eine Backupbatterie im RAID-Controller.

Ältere Versionen des LSI MegaRAID CIM-Providers haben einen Fehler, der diese Meldungen produziert. Sie sind im wesentlichen harmlos. Update auf eine aktuelle Version sollte das Problem komplett beseitigen.

LSI Downloads: http://www.lsi.com/products/storagecomponents/Pages/MegaRAIDSAS9260-4i.aspx

MegaCLI - 5.5 http://www.lsi.com/downloads/Public/MegaRAID%20Common%20Files/8.07.06_MegaCLI.zip

VMWare SMIS Provider VIB - 5.5 http://www.lsi.com/downloads/Public/MegaRAID%20Common%20Files/00_34_V0_01_SMIS_VMware_Installer.zip

Firmware 4.9  http://www.lsi.com/downloads/Public/MegaRAID%20Common%20Files/12.12.0-0139_SAS_2108_Fw_Image_APP2.130.373-2022.zip

Die Aktuellen Patches gibt es bei VMware: http://www.vmware.com/patchmgr/download.portal

https://data.virtpro.eu/

für wget Bitte http://dl.virtpro.eu auf ESXi benutzen, da ESXi kein http(s) kann.

[bash]

/opt/lsi/MegaCLI # ./MegaCli -AdpAllInfo -aAll
==============================================================================
Versions
================
Product Name : LSI MegaRAID SAS 9260-4i
Serial No : SV22820638
FW Package Build: 12.12.0-0111

Mfg. Data
================
Mfg. Date : 07/12/12
Rework Date : 00/00/00
Revision No : 86B
Battery FRU : N/A

Image Versions in Flash:
================
FW Version : 2.130.353-1663
BIOS Version : 3.24.00_4.12.05.00_0x05160000
Preboot CLI Version: 04.04-020:#%00009
WebBIOS Version : 6.0-49-e_45-Rel
NVDATA Version : 2.09.03-0032
Boot Block Version : 2.02.00.00-0000
BOOT Version : 09.250.01.219

Pending Images in Flash
================
None

PCI Info
================
Controller Id : 0000
Vendor Id : 1000
Device Id : 0079
SubVendorId : 1000
SubDeviceId : 9260

Host Interface : PCIE

ChipRevision : B4

Number of Frontend Port: 0
Device Interface : PCIE
...[/bash]

 

[bash]
/opt/lsi/MegaCLI # ./MegaCli -LDInfo -L0 -a0

Adapter 0 -- Virtual Drive Information:
Virtual Drive: 0 (Target Id: 0)
Name :
RAID Level : Primary-1, Secondary-0, RAID Level Qualifier-0
Size : 2.728 TB
Is VD emulated : Yes
Mirror Data : 2.728 TB
State : Optimal
Strip Size : 64 KB
Number Of Drives : 2
Span Depth : 1
Default Cache Policy: WriteBack, ReadAhead, Cached, Write Cache OK if Bad BBU
Current Cache Policy: WriteBack, ReadAhead, Cached, Write Cache OK if Bad BBU
Default Access Policy: Read/Write
Current Access Policy: Read/Write
Disk Cache Policy : Disk's Default
Encryption Type : None
Is VD Cached: No

Exit Code: 0x00[/bash]

 

[bash]
/opt/lsi/MegaCLI # ./MegaCli -PDList -Aall

Adapter #0

Enclosure Device ID: 252
Slot Number: 0
Drive's postion: DiskGroup: 0, Span: 0, Arm: 1
Enclosure position: N/A
Device Id: 5
WWN: 5000c5004dfd1e39
Sequence Number: 2
Media Error Count: 0
Other Error Count: 0
Predictive Failure Count: 0
Last Predictive Failure Event Seq Number: 0
PD Type: SATA

Raw Size: 2.728 TB [0x15d50a3b0 Sectors]
Non Coerced Size: 2.728 TB [0x15d40a3b0 Sectors]
Coerced Size: 2.728 TB [0x15d400000 Sectors]
Emulated Drive: Yes
Firmware state: Online, Spun Up
Commissioned Spare : No
Emergency Spare : No
Device Firmware Level: CC43
Shield Counter: 0
Successful diagnostics completion on : N/A
SAS Address(0): 0x4433221103000000
Connected Port Number: 1(path0)
Inquiry Data: Z1F0XS5MST3000DM001-1CH166 CC43
FDE Capable: Not Capable
FDE Enable: Disable
Secured: Unsecured
Locked: Unlocked
Needs EKM Attention: No
Foreign State: None
Device Speed: 6.0Gb/s
Link Speed: 6.0Gb/s
Media Type: Hard Disk Device
Drive Temperature :33C (91.40 F)
PI Eligibility: No
Drive is formatted for PI information: No
PI: No PI
Port-0 :
Port status: Active
Port's Linkspeed: 6.0Gb/s
Drive has flagged a S.M.A.R.T alert : No

Enclosure Device ID: 252
Slot Number: 1
Drive's postion: DiskGroup: 0, Span: 0, Arm: 0
Enclosure position: N/A
Device Id: 4
WWN: 5000c5004dfd1214
Sequence Number: 2
Media Error Count: 0
Other Error Count: 0
Predictive Failure Count: 0
Last Predictive Failure Event Seq Number: 0
PD Type: SATA

Raw Size: 2.728 TB [0x15d50a3b0 Sectors]
Non Coerced Size: 2.728 TB [0x15d40a3b0 Sectors]
Coerced Size: 2.728 TB [0x15d400000 Sectors]
Emulated Drive: Yes
Firmware state: Online, Spun Up
Commissioned Spare : No
Emergency Spare : No
Device Firmware Level: CC43
Shield Counter: 0
Successful diagnostics completion on : N/A
SAS Address(0): 0x4433221102000000
Connected Port Number: 0(path0)
Inquiry Data: Z1F0XRVMST3000DM001-1CH166 CC43
FDE Capable: Not Capable
FDE Enable: Disable
Secured: Unsecured
Locked: Unlocked
Needs EKM Attention: No
Foreign State: None
Device Speed: 6.0Gb/s
Link Speed: 6.0Gb/s
Media Type: Hard Disk Device
Drive Temperature :32C (89.60 F)
PI Eligibility: No
Drive is formatted for PI information: No
PI: No PI
Port-0 :
Port status: Active
Port's Linkspeed: 6.0Gb/s
Drive has flagged a S.M.A.R.T alert : No

Exit Code: 0x00[/bash]

 

[bash]/opt/lsi/MegaCLI # ./MegaCli -PDList -Aall | egrep "Enclosure Device ID:|Slot Number:|Inquiry Data:|Error Count:|state"
Enclosure Device ID: 252
Slot Number: 0
Media Error Count: 0
Other Error Count: 0
Firmware state: Online, Spun Up
Inquiry Data: Z1F0XS5MST3000DM001-1CH166 CC43
Enclosure Device ID: 252
Slot Number: 1
Media Error Count: 0
Other Error Count: 0
Firmware state: Online, Spun Up
Inquiry Data: Z1F0XRVMST3000DM001-1CH166 CC43[/bash]

In diesem Abschnitt dokumentieren wir den Testlauf für einen Fall, den man als Serverbetreiber am liebsten nie haben möchte: Ausfall einer Platte im RAID-1.

Alle Aktionen in diesem Abschnitt führen wir mit dem MegaCli auf der Shell des Hosts durch.

Erkennung eines Plattenausfalls

Ein Plattenausfall äußert sich darin, daß das Virtual Drive 0 nicht mehr als "Optimal" angezeigt wird. Ersichtlich wird dies im vSphere-Client unter Configuration / Health Status:

Esxi-raid-degraded

Außerdem läßt es sich in der Host-Shell mittels MegaCli abfragen:

[bash]/opt/lsi/MegaCLI # ./MegaCli -ldinfo -lall -aall
Adapter 0 -- Virtual Drive Information:
Virtual Drive: 0 (Target Id: 0)
Name :
RAID Level : Primary-1, Secondary-0, RAID Level Qualifier-0
Size : 2.728 TB
Is VD emulated : Yes
Mirror Data : 2.728 TB
State : Degraded
Strip Size : 64 KB
Number Of Drives : 2
[...]
Exit Code: 0x00[/bash]

Wir hoffen, daß dort "Degraded" steht und nicht "Failed", was bedeuten würde, daß beide Platten ausgefallen sind. Allerdings würde der Server dann wohl nicht mehr booten.

Natürlich ist es unschön, manuell im vSphere-Client oder auf der Shell des Hosts nach RAID-Ausfällen schauen zu müssen. Man möchte wohl eher aktiv darüber informiert werden. Daher ist - falls kein vCenter zur Verfügung steht, das Email-Alarme unterstützt - eine Methode wie das --HIER-- beschriebene Monitoring des RAID-Status mittels MegaCli, SCP und Zabbix empfehlenswert.

Zur Identifizierung der ausgefallenen Platte kann man ebenfalls im vSphere-Client nachschauen, oder wir holen wir uns die Info der physikalischen Platten im MegaCli. Interessant sind hier die Einträge "Enclosure Device ID", "Slot Number" und "Firmware State".

[bash]/opt/lsi/MegaCLI # ./MegaCli -pdlist -aall
Adapter #0

Enclosure Device ID: 252
Slot Number: 0
[...]
Firmware state: Online, Spun Up

Enclosure Device ID: 252
Slot Number: 1
Firmware state: Online, Spun Up[/bash]

Wenn dort etwas anderes als "Online" steht, z.B. "Failed", "Unconfigured Bad", "Missing" oder "Offline", ist die Platte aus dem Array geflogen. Die Enclosure und Slot Nummer merken wir uns.

Forcierter Plattenausfall für den Test

Wir führen unseren Test durch, indem wir eine der Platten im RAID mit zwangs-offline setzen. Die Platte gilt dann als "ausgefallen".

[bash]MegaCli -pdoffline -physdrv[252:1] -a0 # For test only, don't do this on your server!!
Adapter: 0: EnclId-252 SlotId-1 state changed to OffLine.
Exit Code: 0x00[/bash]

Hieraufhin wird das Array als "Degraded" markiert, wie oben aufgelistet. In unserem Beispiel haben wir also die Enclosure ID 252, Slot Number 1 "bearbeitet". Das physikalische Laufwerk fürdie weiteren Kommandos ist damit die "252:1".

Austausch der Platte

Zunächst markieren wir die ausgefallene Platte als "Missing", falls dies nicht schon der Fall ist. Das Kommando pdgetmissing muß die Platte melden.

[bash]/opt/lsi/MegaCLI # ./MegaCli -pdmarkmissing -physdrv[252:1] -a0

EnclId-252 SlotId-1 is marked Missing.

Exit Code: 0x00

/opt/lsi/MegaCLI # ./MegaCli -pdgetmissing -aall

Adapter 0 - Missing Physical drives

No. Array Row Size Expected
0 0 0 2861056 MB

Exit Code: 0x00[/bash]

Die "Array" und "Row" Nummern merken wir uns für später.

Im Falle einer tatsächlich defekten Platte würden wir diese jetzt zum Austausch durch den Support vorbereiten:

[bash] MegaCli -pdprprmv -physdrv[252:1] -a0[/bash]

Nach Austausch muß die neue Platte u.U. mit Kommandos wie -pdmakegood oder -pdonline bereitgemacht werden. Der Status der Platte muß jedenfalls "Unconfigured Good" sein. In unserem Testvorgang ist dies automatisch der Fall, da wir die Platte nicht tatsächlich austauschen lassen.

Rebuild der neuen Platte

Die neue Platte wird als Ersatz für die ausgefallene bestimmt und der Rebuild gestartet. Für "array" und "row" wählen wir die Werte aus der Tabelle von eben:

[bash]/opt/lsi/MegaCLI # ./MegaCli -pdreplacemissing -physdrv[252:1] -array0 -row0 -a0

Adapter: 0: Missing PD at Array 0, Row 0 is replaced.

Exit Code: 0x00

/opt/lsi/MegaCLI # ./MegaCli -pdrbld -start -physdrv[252:1] -a0

Started rebuild progress on device(Encl-252 Slot-1)

Exit Code: 0x00[/bash]

Dann läuft der Rebuild. Über den Fortschritt können wir uns so informieren:

[bash]/opt/lsi/MegaCLI # ./MegaCli -pdrbld -showprog -physdrv[252:1] -a0

Rebuild Progress on Device at Enclosure 252, Slot 1 Completed 15% in 38 Minutes.

Exit Code: 0x00[/bash]

Nach Abschluß des Rebuild ist die Platte dann wieder "Online" und das Array "Optimal".

Nach der Auslieferung des ESXi-Servers von Hetzner kann man Überlegen, ob man die Updates für 5.0 Update 1 Updates einspielt, oder wie hier jetzt dargestellt das Update auf ESXi 5.1.

Dabei ist zu bedenken, daß möglicherweise noch nicht alle Drittanbieter-Software, die Verwendung finden soll, (vollständig) mit ESXi 5.1 kompatibel ist. Als Beispiel sei die Backup-Software "Veeam Backup & Replication" genannt, bei der noch nicht alle Funktionen unter 5.1 korrekt laufen.

Viele Dritthersteller erhalten offenbar von VMware erst sehr spät, quasi gleichzeitig mit der Allgemeinheit, Zugriff auf neue Major Releases, so daß einige Zeit vergeht, bis diese ihre Produkte angepaßt haben.

Wir empfehlen daher, mit dem Update auf 5.1 zu warten, bis Kompatibilität hergestellt ist und die üblicherweise vorhandenen "Kinderkrankheiten" ausgeräumt sind.

Update auf ESXi 5.1

Wichtig: Vor der Installation von Updates sollten alle VMs heruntergefahren und der Host über den vSphere Client in den Maintenance Mode versetzt werden. Dies kann man natürlich auch mit Hilfe der CLI machen.

[bash]
# backup ESXi configuration to persist changes /sbin/auto-backup.sh
# enter maintenance mode
vim-cmd hostsvc/maintenance_mode_enter[/bash]

Herunterladen des Updates

Man kann hier das Offline Bundle Herunterladen: ESXi 5.1 Offline Bundle. Der Name der Datei: VMware-ESXi-5.1.0-799733-depot.zip.

Wenn man keinen Zugriff auf diese Datei hat, kann man auch - wie weiter unten beschrieben - eine andere Möglichkeit benutzen, um das Update einzuspielen.

Unterschiede zwischen Install und Update

Ein "Profil" im Sinne von VMware ist eine Zusammenstellung aller VIBs (ähnlich wie .RPM oder .DEB Pakete einer Linux-Distribution), die auf dem ESXi installiert sein sollen. Einen Profilwechsel könnte man mit einem Distributions-Upgrade unter Linux vergleichen.

Zusätzlich ist zu beachten, daß im Gegensatz zu üblichen Linux-Systemen ein Großteil des ESXi-Dateisystems beim Bootvorgang aus VIBs zusammengebaut wird. Der Inhalt von z.B. /bin oder /sbin ist nicht statisch auf der Platte abgelegt, sondern wird beim Booten aus VIBs ausgepackt.

Update mit Hilfe des Offline-Depots

[bash]
/vmfs/volumes/datastore1/ # esxcli software profile install -d /vmfs/volumes/datastore1/VMware-ESXi-5.1.0-799733-depot.zip -p ESXi-5.1.0-799733-standard
Installation Result
Message: The update completed successfully, but the system needs to be rebooted for the changes to be effective.
Reboot Required: true
VIBs Installed: VMware_bootbank_ata-pata-amd_0.3.10-3vmw.510.0.0.799733, VMware_bootbank_ata-pata-atiixp_0.4.6-4vmw.510.0.0.799733,
VMware_bootbank_ata-pata-cmd64x_0.2.5-3vmw.510.0.0.799733, VMware_bootbank_ata-pata-hpt3x2n_0.3.4-3vmw.510.0.0.799733,
VMware_bootbank_ata-pata-pdc2027x_1.0-3vmw.510.0.0.799733, VMware_bootbank_ata-pata-serverworks_0.4.3-3vmw.510.0.0.799733,
VMware_bootbank_ata-pata-sil680_0.4.8-3vmw.510.0.0.799733, VMware_bootbank_ata-pata-via_0.3.3-2vmw.510.0.0.799733,
VMware_bootbank_block-cciss_3.6.14-10vmw.510.0.0.799733, VMware_bootbank_ehci-ehci-hcd_1.0-3vmw.510.0.0.799733,
VMware_bootbank_esx-base_5.1.0-0.0.799733, VMware_bootbank_esx-dvfilter-generic-fastpath_5.1.0-0.0.799733, [
VMware_bootbank_esx-tboot_5.1.0-0.0.799733, VMware_bootbank_esx-xlibs_5.1.0-0.0.799733,
...
VIBs Removed: VMware_bootbank_ata-pata-amd_0.3.10-3vmw.500.0.0.469512, VMware_bootbank_ata-pata-atiixp_0.4.6-3vmw.500.0.0.469512,
VMware_bootbank_ata-pata-cmd64x_0.2.5-3vmw.500.0.0.469512, VMware_bootbank_ata-pata-hpt3x2n_0.3.4-3vmw.500.0.0.469512,
VMware_bootbank_ata-pata-pdc2027x_1.0-3vmw.500.0.0.469512, VMware_bootbank_ata-pata-serverworks_0.4.3-3vmw.500.0.0.469512,
VMware_bootbank_ata-pata-sil680_0.4.8-3vmw.500.0.0.469512, VMware_bootbank_ata-pata-via_0.3.3-2vmw.500.0.0.469512,
...
VIBs Skipped:[/bash]

Nach einem Neustart des System hat man die aktuellste Version vom ESXi.

(mehr …)

Beim Betrieb eines RAID-1 möchte man üblicherweise über einen Ausfall einer Platte möglichst sofort informiert werden, um sie schnellstmöglich tauschen lassen zu können.

Nach Installation des CIM-Providers von LSI für den LSI MegaRAID SAS 9260-4i wird auf der Hardware-Monitoring-Seite im vSphere-Client der Status des RAID angezeigt. Eine aktive Alarmierung ist aber nur in der kostenpflichtigen Version und bei Betrieb eines vCenter möglich - der vSphere-Client allein hat keine Alarmierungsfunktionalität.

Als Alternative installieren wir das "MegaCli" (ein Kommandozeilentool zum Management des RAID-Controllers) auf dem Host und richten ein Skript ein, das regelmäßig Hardwarestatus-Informationen zusammenstellt und per SCP an einen Server schickt, auf dem die Informationen weiter ausgewertet werden können.

In unserem Beispiel verwenden wir die Monitoring-Software "Zabbix", für die wir ein Skript, User-Parameter und ein Template zur Verfügung stellen. Mit etwas Erfahrung sollten sich die Skripts aber auch für andere Monitoring-Systeme anpassen lassen.

Skriptinstallation auf dem ESXi-Host

MegaCli installieren

In diesem Abschnitt der Installationsanleitung ist beschrieben, wie wir den MegaCli installieren.

Verzeichnis für die Skripts einrichten

Da der Großteil des ESXi-Dateisystems beim Booten neu zusammengesetzt und vorige Inhalte damit gelöscht werden, brauchen wir einen "sicheren Ort" für unsere Skripts und Dateien. Wir entschließen uns, ein Unterverzeichnis des Datastores zu benutzen, hier /vmfs/volumes/datastore1/lsi. Dieses legen wir an.

[bash]mkdir /vmfs/volumes/datastore1/lsi[/bash]

SSH-Key vom Monitoring-Server übertragen

Die fertigen RAID-Informationen sollen per SCP auf den Monitoring-Server geschickt werden. Damit dies automatisiert und ohne Kennworteingabe geht, brauchen wir ein "Identity-File", sprich den SSH Private Key des gewünschten Users auf dem Monitoring-Server.

In unserem Beispiel hat der Monitoring-Server den Hostnamen centaurus.tianet.de und der User heißt zabbix

Mit dem Kommando ssh-keygen erzeugen wir auf dem Monitoring-Server ein solches, falls der User noch keins hat. Die Passphrase lassen wir leer, da der ESXi-Host ohne Kennworteingabe den Key benutzen können muß.

[bash]zabbix@centaurus:~$ ssh-keygen

Generating public/private rsa key pair.
Enter file in which to save the key (/home/zabbix/.ssh/id_rsa):
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /home/zabbix/.ssh/id_rsa.
Your public key has been saved in /home/zabbix/.ssh/id_rsa.pub.
The key fingerprint is:
4c:60:c9:cb:0f:e4:92:c4:2a:40:60:86:af:82:0f:7b zabbix@centaurus
The key's randomart image is: [...][/bash]

Die Datei id_rsa kopieren wir per SCP auf den ESXi-Host ins richtige Verzeichnis. Dazu brauchen wir das Root-Kennwort.

[bash]zabbix@centaurus:~$ scp .ssh/id_rsa root@esxi.tianet.de:/vmfs/volumes/datastore1/lsi/centaurus_zabbix_id
The authenticity of host 'esxi.tianet.de (5.9.86.110)' can't be established.
RSA key fingerprint is 77:d8:25:f8:40:16:e6:6c:36:c1:ed:5f:8f:99:6e:b0.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'esxi.tianet.de,5.9.86.110' (RSA) to the list of known hosts.
Password:
id_rsa 100% 1675 1.6KB/s 00:00[/bash]

(mehr …)

© 2011-2019 SJT CONSULTING – Alle Rechte vorbehalten. | Datenschutz | Impressum