Discussion:
Consiglio Cluster Proxmox su Fibre Channel
(too old to reply)
Francesco Gabriele
2012-04-17 16:22:06 UTC
Permalink
Salve a tutti,

devo configurare uno cluster a 5 nodi Proxmox, volevo avere qualche
consiglio su come configurare il filesystem dello storage condiviso.
L'hardware a mia disposizione è il seguente:
5 HP DL 380 G5 con 24 GB di Ram
1 Storage in fribre channel HP MSA2000

Grazie in anticipo


----
Francesco Gabriele

Blog - www.ubuntuserver.it
Linux users #5484 Frank (IT)
Asterisk users #852 Frankies (IT)
Gino Perna
2012-04-17 17:45:31 UTC
Permalink
Post by Francesco Gabriele
Salve a tutti,
devo configurare uno cluster a 5 nodi Proxmox, volevo avere qualche
consiglio su come configurare il filesystem dello storage condiviso.
Scusa in che senso?
lo storage esportera' dei block device (via iscsi)
poi sarai tu a montare un lvm su quel target:
http://pve.proxmox.com/wiki/Storage_Model#iSCSI_Target

gino
Giuliano Natali (Diaolin)
2012-04-17 18:08:11 UTC
Permalink
Post by Gino Perna
Post by Francesco Gabriele
Salve a tutti,
devo configurare uno cluster a 5 nodi Proxmox, volevo avere qualche
consiglio su come configurare il filesystem dello storage condiviso.
Scusa in che senso?
lo storage esportera' dei block device (via iscsi)
http://pve.proxmox.com/wiki/Storage_Model#iSCSI_Target
Beh, potrebbe fare anche NFS

http://forum.proxmox.com/archive/index.php/t-9037.html

Diaolin
--
Per iscriversi (o disiscriversi), basta spedire un messaggio con OGGETTO
"subscribe" (o "unsubscribe") a mailto:linuxtrent-request-***@public.gmane.org
Roberto Resoli
2012-04-17 19:51:03 UTC
Permalink
....
Post by Giuliano Natali (Diaolin)
Post by Gino Perna
lo storage esportera' dei block device (via iscsi)
http://pve.proxmox.com/wiki/Storage_Model#iSCSI_Target
Beh, potrebbe fare anche NFS
http://forum.proxmox.com/archive/index.php/t-9037.html
Diaolin
Scusate ma se ha una san su fibre channel, forse vorrà usarla no?

rob
Francesco Gabriele
2012-04-17 19:04:20 UTC
Permalink
Forse mi sono spiegato male lo storage è in fibra ottica, io l'ultima volta
che ho fatto un cluster con hardware simile ho usato proxmox 1.9 e come
filesystem condiviso OCFS2 (di solito lo uso su i cluster oracle)
Volevo sapere voi di solito che filesystem condiviso consigliate per una
config del genere.

Grazie

----
Francesco Gabriele
Post by Gino Perna
Post by Francesco Gabriele
Salve a tutti,
devo configurare uno cluster a 5 nodi Proxmox, volevo avere qualche
consiglio su come configurare il filesystem dello storage condiviso.
Scusa in che senso?
lo storage esportera' dei block device (via iscsi)
http://pve.proxmox.com/wiki/Storage_Model#iSCSI_Target
gino
--
Per iscriversi (o disiscriversi), basta spedire un messaggio con OGGETTO
Flavio Visentin
2012-04-17 23:25:49 UTC
Permalink
Post by Francesco Gabriele
Forse mi sono spiegato male lo storage è in fibra ottica, io l'ultima
volta che ho fatto un cluster con hardware simile ho usato proxmox 1.9 e
come filesystem condiviso OCFS2 (di solito lo uso su i cluster oracle)
Volevo sapere voi di solito che filesystem condiviso consigliate per una
config del genere.
Nessun filesystem condiviso. Usi LVM direttamente sul block device del
MSA che vedi da tutte le macchine. Si semplifica la gestione, aumentano
le performance si riducono i rischi di problemi e corruzioni.

Tutto funziona out-of-the-box con proxmox; è importante però che
configuri correttamente il fencing dei nodi, e nel tuo caso lo puoi fare
attraverso la ILO dei server che ti consiglio vivamente di connettere ad
uno switch dedicato (cerca "proxmox ilo fence" su google e trovi un
howto in proposito).

Un altro consiglio che ti do, ma questo è valido in generale, è di porre
attenzione a come configuri lo storage. Una corretta configurazione può
migliorare le performance (anche raddoppiarle) senza alcun costo aggiuntivo.

In particolare:

- se usi raid 5 crea volumi da 5 dischi (4+1) o da 9 dischi (8+1) per
ottimizzare l'accesso ed ottenere un full-stripe-access. 5 dischi sono
preferibili in quanto la ricostruzione è più veloce in caso di guasto di
un disco, e le probabilità di rottura di un secondo disco non sono
nulle. Se usi il raid 10 crealo con 4, 8 o 16 dischi sempre per
ottimizzare l'accesso. Il full stripe access permette di guadagnare fino
al 20% in alcuni scenari.

- Crea sempre almeno due array distinti, e se puoi sempre in numero
pari, in modo che siano assegnati ad entrambi i controller. Dato che un
array è gestito sempre da un solo controller per volta in questo modo
bilanci il carico di lavoro e aumentano le performance. In particolare
ti raddoppia la banda disponibile verso gli host e sfrutti la cache di
entrambi i controller.

- Tenta di distribuire l'accesso agli array in modo uniforme,
distribuendo i volumi delle VM sui vari array e le macchine tra i vari
host in modo da ridurre i conflitti di accesso. Se per esempio hai due
DB con un pattern di utilizzo analogo mettine uno su un array e uno
sull'altro in modo che non si contendano l'accesso all'array.

- Accertati che lo zoning degli switch FC sia fatto correttamente, con
zone che includono unicamente il WWN della scheda di un host e i WWN dei
due controller ad essa connessi. Uno zoning fatto male può ridurre le
perfomance sensibilmente in certi contesti.
--
Flavio Visentin

A computer is like an air conditioner,
it stops working when you open Windows
--
Per iscriversi (o disiscriversi), basta spedire un messaggio con OGGETTO
"subscribe" (o "unsubscribe") a mailto:linuxtrent-request-***@public.gmane.org
Roberto Resoli
2012-04-18 06:44:32 UTC
Permalink
Post by Flavio Visentin
Post by Francesco Gabriele
Forse mi sono spiegato male lo storage è in fibra ottica, io l'ultima
volta che ho fatto un cluster con hardware simile ho usato proxmox 1.9 e
come filesystem condiviso OCFS2 (di solito lo uso su i cluster oracle)
Volevo sapere voi di solito che filesystem condiviso consigliate per una
config del genere.
Nessun filesystem condiviso. Usi LVM direttamente sul block device del
MSA che vedi da tutte le macchine. Si semplifica la gestione, aumentano
le performance si riducono i rischi di problemi e corruzioni.
Concordo assolutamente. La differenza *fondamentale*
è che lo storage delle macchine virtuali non risiede su filesystem montati
sui nodi del cluster. Questo permette di evitare un layer di
filesystem (quello cluster-aware, tipo OCFS2,
che deve essere montato in scrittura su tutti i nodi del cluster, e su
cui risiedono i file delle vm).

Ovviamente spariscono i file delle vm; come dice Flavio, alle macchine
si passano direttamente
i raw device (dischi logici LVM). Dato che MSA espone i dischi
contemporaneamente a tutti
i nodi del cluster, anche i relativi Volume Group e Logical Volume
sono visti contemporaneamente da tutti i nodi.

PVE 1.9 (non so se è rimasto uguale per 2.0), i Volume Group LVM
possono essere configurati come storage per le
macchine virtuali. Quando si crea una nuova vm su quello storage, PVE
crea un Logical Volume per ogni disco aggiunto alla vm.
Post by Flavio Visentin
Tutto funziona out-of-the-box con proxmox; è importante però che
configuri correttamente il fencing dei nodi, e nel tuo caso lo puoi fare
attraverso la ILO dei server che ti consiglio vivamente di connettere ad
uno switch dedicato (cerca "proxmox ilo fence" su google e trovi un
howto in proposito).
Un altro consiglio che ti do, ma questo è valido in generale, è di porre
attenzione a come configuri lo storage. Una corretta configurazione può
migliorare le performance (anche raddoppiarle) senza alcun costo aggiuntivo.
- se usi raid 5 crea volumi da 5 dischi (4+1) o da 9 dischi (8+1) per
ottimizzare l'accesso ed ottenere un full-stripe-access. 5 dischi sono
preferibili in quanto la ricostruzione è più veloce in caso di guasto di
un disco, e le probabilità di rottura di un secondo disco non sono
nulle. Se usi il raid 10 crealo con 4, 8 o 16 dischi sempre per
ottimizzare l'accesso. Il full stripe access permette di guadagnare fino
al 20% in alcuni scenari.
Naturalmente questo dipende dal tipo di storage che utilizzi; sulla EVA 4400
che usiamo qui la gestione del raid è diversa, non categorizzabile con
i livelli classici.
Non so se sia lo stesso per MSA 2000.
Post by Flavio Visentin
- Crea sempre almeno due array distinti, e se puoi sempre in numero
pari, in modo che siano assegnati ad entrambi i controller. Dato che un
array è gestito sempre da un solo controller per volta in questo modo
bilanci il carico di lavoro e aumentano le performance. In particolare
ti raddoppia la banda disponibile verso gli host e sfrutti la cache di
entrambi i controller.
Ulteriori considerazioni si possono fare sulla configurazione del
multipath/failover
lato host (di solito di usano almeno due host bus adapter).
Purtroppo non abbiamo esperienza su MSA 2000 (abbiamo avuto MSA 1000
in passato, ma mai con dischi presentati a macchine linux).
Post by Flavio Visentin
- Tenta di distribuire l'accesso agli array in modo uniforme,
distribuendo i volumi delle VM sui vari array e le macchine tra i vari
host in modo da ridurre i conflitti di accesso. Se per esempio hai due
DB con un pattern di utilizzo analogo mettine uno su un array e uno
sull'altro in modo che non si contendano l'accesso all'array.
Si, il numero di array (in terminologia EVA sono i "Virtual Disks") va valutato
per ottimizzare le prestazioni; noi tendiamo a creare un solo VG (cioè
storage PVE) per
ogni disco SAN, e poi ad usarlo per non più di 3 macchine virtuali,
lasciando un po'di spazio per le
snapshots. Probabilmente questo condice ad un numero di dischi SAN
troppo elevato; se ci sono consigli,
sono bene accetti!
Post by Flavio Visentin
- Accertati che lo zoning degli switch FC sia fatto correttamente, con
zone che includono unicamente il WWN della scheda di un host e i WWN dei
due controller ad essa connessi. Uno zoning fatto male può ridurre le
perfomance sensibilmente in certi contesti.
Questo coincide con la regola di base che è stata insegnata anche a
noi; includere una zona
solo gli endpoint minimi che debbono vedersi. Dato che nella nostra
architettura abbiamo anche
gli switch fibra, anche le porte di questi entrano nel gioco.

rob
Post by Flavio Visentin
--
Flavio Visentin
A computer is like an air conditioner,
it stops working when you open Windows
Roberto Resoli
2012-04-18 07:02:26 UTC
Permalink
Il 18 aprile 2012 08:44, Roberto Resoli <roberto.resoli-***@public.gmane.org> ha scritto:
...
Post by Roberto Resoli
Questo coincide con la regola di base che è stata insegnata anche a
noi; includere una zona
solo gli endpoint minimi che debbono vedersi. Dato che nella nostra
architettura abbiamo anche
gli switch fibra, anche le porte di questi entrano nel gioco.
Scusate, come mi fa giustamente notare Gianni, è proprio sugli switch
che si configurano le zone,
indicando come membri della zona le porte a cui sono collegati i vari
dispositivi (schede fibra degli host, controllers san)

rob
Gianni Caldonazzi
2012-04-18 07:45:56 UTC
Permalink
Ho timore "reverenziale" nel rispondere, vista la preparazione di ZipMan... :-),
ma come ha detto Roberto: "Cerchiamo di imparare dall'esperienza di tutti".
Beh questo me lo ha detto a voce....
Post by Roberto Resoli
Post by Flavio Visentin
Post by Francesco Gabriele
Forse mi sono spiegato male lo storage è in fibra ottica, io l'ultima
volta che ho fatto un cluster con hardware simile ho usato proxmox 1.9 e
come filesystem condiviso OCFS2 (di solito lo uso su i cluster oracle)
Volevo sapere voi di solito che filesystem condiviso consigliate per una
config del genere.
Nessun filesystem condiviso.
[...]
Tutto ciò che ho tagliato è valido, aggiungo solo che tu crei su SAN
il Logical Volume (block device) e lo dai in pasto a tutti i nodi del
cluster PVE.
Va ora configurato il multipath e riletta la catena scsi, per ogni nodo.
Poi creato, io lo faccio dal master node, il PV con il nuovo VG e a
questo punto va presentato a proxmox come contenitore LVM per le
virtual machine.
Post by Roberto Resoli
Post by Flavio Visentin
Tutto funziona out-of-the-box con proxmox; è importante però che
configuri correttamente il fencing dei nodi, e nel tuo caso lo puoi fare
attraverso la ILO dei server che ti consiglio vivamente di connettere ad
uno switch dedicato (cerca "proxmox ilo fence" su google e trovi un
howto in proposito).
Questo me lo devo leggere. Ho trovato un sacco di link, se passi
appena puoi quello che intendi meglio ancora.
Post by Roberto Resoli
Post by Flavio Visentin
Un altro consiglio che ti do, ma questo è valido in generale, è di porre
attenzione a come configuri lo storage. Una corretta configurazione può
migliorare le performance (anche raddoppiarle) senza alcun costo aggiuntivo.
- se usi raid 5 crea volumi da 5 dischi (4+1) o da 9 dischi (8+1) per
ottimizzare l'accesso ed ottenere un full-stripe-access. 5 dischi sono
preferibili in quanto la ricostruzione è più veloce in caso di guasto di
un disco, e le probabilità di rottura di un secondo disco non sono
nulle. Se usi il raid 10 crealo con 4, 8 o 16 dischi sempre per
ottimizzare l'accesso. Il full stripe access permette di guadagnare fino
al 20% in alcuni scenari.
Naturalmente questo dipende dal tipo di storage che utilizzi; sulla EVA 4400
che usiamo qui la gestione del raid è diversa, non categorizzabile con
i livelli classici.
Non so se sia lo stesso per MSA 2000.
Credo di ricordare che anche in MSA1000 la gestione degli array disco
era trasparente per gli host. Era solo più rigida la configurazione
dei Volumi Logici.
Post by Roberto Resoli
Post by Flavio Visentin
- Crea sempre almeno due array distinti, e se puoi sempre in numero
pari, in modo che siano assegnati ad entrambi i controller. Dato che un
array è gestito sempre da un solo controller per volta in questo modo
bilanci il carico di lavoro e aumentano le performance. In particolare
ti raddoppia la banda disponibile verso gli host e sfrutti la cache di
entrambi i controller.
Mi ricordo che su MSA1000 i due controller erano Attivo-Passivo, non
so se nella sua evoluzione entrambi i controller siano attivi.
Post by Roberto Resoli
Ulteriori considerazioni si possono fare sulla configurazione del
multipath/failover
lato host (di solito di usano almeno due host bus adapter).
Purtroppo non abbiamo esperienza su MSA 2000 (abbiamo avuto MSA 1000
in passato, ma mai con dischi presentati a macchine linux).
Anche in questo caso la configurazione multipath cambia se è attivo-passivo.
Se non ricordo male quando un host cambiava percorso rendeva attivo
l'altro controller e costringeva tutti gli host a cambiare hba.
Post by Roberto Resoli
Post by Flavio Visentin
- Tenta di distribuire l'accesso agli array in modo uniforme,
distribuendo i volumi delle VM sui vari array e le macchine tra i vari
host in modo da ridurre i conflitti di accesso. Se per esempio hai due
DB con un pattern di utilizzo analogo mettine uno su un array e uno
sull'altro in modo che non si contendano l'accesso all'array.
Si, il numero di array (in terminologia EVA sono i "Virtual Disks") va valutato
per ottimizzare le prestazioni; noi tendiamo a creare un solo VG (cioè
storage PVE) per
ogni disco SAN, e poi ad usarlo per non più di 3 macchine virtuali,
lasciando un po'di spazio per le
snapshots. Probabilmente questo condice ad un numero di dischi SAN
troppo elevato; se ci sono consigli,
sono bene accetti!
La mia pensata è stata di mettere tre vm-LV su ogni VG, perchè abbiamo tre nodi.
Vorrei distribuire l'accesso al VG in contemporanea sui tre HBA
diversi dei virtualizzatori.
Per problemi contingenti dovuti alla gestione dei backup, per ora
abbiamo assegnato le tre vm di uno stesso VG allo stesso nodo.
Post by Roberto Resoli
Post by Flavio Visentin
- Accertati che lo zoning degli switch FC sia fatto correttamente, con
zone che includono unicamente il WWN della scheda di un host e i WWN dei
due controller ad essa connessi. Uno zoning fatto male può ridurre le
perfomance sensibilmente in certi contesti.
Questo coincide con la regola di base che è stata insegnata anche a
noi; includere una zona
solo gli endpoint minimi che debbono vedersi. Dato che nella nostra
architettura abbiamo anche
gli switch fibra, anche le porte di questi entrano nel gioco.
Qui c'è una imprecisione, ma solo perchè le zone le ho fatte io e
Roberto le ha viste poco, poi non mi lascia nemmeno il tempo di
scrivere.... :-D

Lo zoning è come se creassi delle VLAN, forse abbiamo tutti più
dimestichezza a capire questo parallelo.
La zona va creata assegnando le porte dello switch a cui sono
collegati i controller della SAN e l'HBA dell'host.
Vanno create più zone per compiti specifici, esempio:

Ho una SAN, un host per i salvataggi e una libreria nastri fibra per
salvare su cassetta.
Posso creare due zone distinte:

1. SAN+host
2. host+libreria

Quindi ogni host collegato alla SAN avrà la sua zona distinta.

Jan
Roberto Resoli
2012-04-19 10:08:27 UTC
Permalink
Il 18 aprile 2012 09:45, Gianni Caldonazzi
<gianni.caldonazzi-***@public.gmane.org> ha scritto:
....
Post by Gianni Caldonazzi
Lo zoning è come se creassi delle VLAN, forse abbiamo tutti più
dimestichezza a capire questo parallelo.
La zona va creata assegnando le porte dello switch a cui sono
collegati i controller della SAN e l'HBA dell'host.
Ho una SAN, un host per i salvataggi e una libreria nastri fibra per
salvare su cassetta.
 1. SAN+host
 2. host+libreria
Quindi ogni host collegato alla SAN avrà la sua zona distinta.
Jan
Per chiarire un pochino le differenze in termini di oneri di gestione
tra i vari modi (FC, FCOE, iSCSI, ...) di fornire storage condiviso, è
utile questa bella
pagina:
"FC and FCoE versus iSCSI – “Network-centric” versus
“End-Node-centric” provisioning
Which is easier to use: FC, FCoE, or iSCSI? "

http://brasstacksblog.typepad.com/brass-tacks/2012/02/fc-and-fcoe-versus-iscsi-network-centric-versus-end-node-centric-provisioning.html

rob
Francesco Gabriele
2012-04-20 12:53:12 UTC
Permalink
Ragazzi Grazie mi lasciate sempre senza parole per gli ottimi consigli che
mi state dando da quando frequento questa lista.

Volevo fare un riassunto delle operazioni da fare:
1 Fa vedere i volumi tramite WWN
2 Configurare la ILO di ogni server e controllare la corretta
interrogazione tramite TCP/IP
3 Configurare LVM e controllare la corretta visualizzazione da tutti i nodi
4 Configurare il fencing dicendogli di utilizzare la ILO
5 Configurare L'HA

La cosa che non mi p chiara, io se creo una Volume Group dal primo nodo, se
faccio un vgscan dagli altri nodi vedrò quello appena creato?
per quanto riguarda la configurazione del fencing ho trovato questo esempio:

<fencedevices>
<fencedevice agent="fence_ilo" hostname="nodeA.your.domain"
login="hpilologin" name="fenceNodeA" passwd="hpilopword"/>
<fencedevice agent="fence_ilo" hostname="nodeB.your.domain"
login="hpilologin" name="fenceNodeB" passwd="hpilologin"/>
</fencedevices>


Grazie

----
Francesco Gabriele

Blog - www.ubuntuserver.it
Linux users #5484 Frank (IT)
Asterisk users #852 Frankies (IT)
Roberto Resoli
2012-04-20 18:07:33 UTC
Permalink
Il 20 aprile 2012 14:53, Francesco Gabriele
Post by Francesco Gabriele
Ragazzi Grazie mi lasciate sempre senza parole per gli ottimi consigli che
mi state dando da quando frequento questa lista.
1 Fa vedere i volumi tramite WWN
2 Configurare la ILO di ogni server e controllare la corretta interrogazione
tramite TCP/IP
3 Configurare LVM e controllare la corretta visualizzazione da tutti i nodi
4 Configurare il fencing dicendogli di utilizzare la ILO
5 Configurare L'HA
Ok, hai dimenticato di precisare che tipo di ridondanza adotti sugli host,
dovrai anche configurare il multipath.
Post by Francesco Gabriele
La cosa che non mi p chiara, io se creo una Volume Group dal primo nodo, se
faccio un vgscan dagli altri nodi vedrò quello appena creato?
Si, se il volume è già presentato ai vari nodi. Se non vuoi riavviarli,
è anche possibile fare un rescan della catena scsi.
Post by Francesco Gabriele
<fencedevices>
<fencedevice agent="fence_ilo" hostname="nodeA.your.domain"
login="hpilologin" name="fenceNodeA" passwd="hpilopword"/>
<fencedevice agent="fence_ilo" hostname="nodeB.your.domain"
login="hpilologin" name="fenceNodeB" passwd="hpilologin"/>
</fencedevices>
Viene dal wiki di proxmox? Non so dirti se vada bene, mai configurato.

Facci sapere come va a finire la faccenda!

ciao,
rob
Gianni Caldonazzi
2012-04-22 07:12:33 UTC
Permalink
Ciao Gabriele,

Il 20 aprile 2012 14:53, Francesco Gabriele
<francesco.gabriele-***@public.gmane.org> ha scritto:
[...]
Post by Francesco Gabriele
1 Fa vedere i volumi tramite WWN
2 Configurare la ILO di ogni server e controllare la corretta interrogazione
tramite TCP/IP
3 Configurare LVM e controllare la corretta visualizzazione da tutti i nodi
4 Configurare il fencing dicendogli di utilizzare la ILO
5 Configurare L'HA
hai evidenziato due lavori diversi:
1. la costruzione-configurazione del cluster + fencing di pve 2.0, che
non ho mai visto e quindi taccio.
2. la configurazione-uso di un disco condiviso per le vm del cluster,
su questo posso darti una traccia.

Posto che si abbia una SAN da usare con PVE, questi sono i passi in breve:

1. Apro la gestione SAN e creo un Volume Logico da usare nel cluster PVE
2. Presento questo VL a tutti i nodi del cluster, segnarsi il WWID del disco
3. Passo alla configurazione del disco tramite multipath, assegnando
un nome simbolico al WWID detto ALIAS. Attenzione che per EVA viene
premesso un 3 al WWID del disco ... se vuoi prima rileggi la catena
scsi (passo successivo) vedi come viene presentato il disco e poi lo
configuri nel multipath assegnandogli l'alias.
4. Rileggo la catena scsi su tutti i nodi del cluster
5. Mi sposto sul nodo master e creo il PV sul disco SAN, PVCREATE
DiscoSAN1 /dev/mapper/DiscoSAN1
6. Creo il Volume Group su DiscoSAN1
7. Apro la console web di proxmox (sempre nodo master) e aggiungo un
nuovo storage LVM indicando che conterrà i Logical Volume delle VM.

ora posso creare le vm.
Spero di non essermi dimenticato qualche passo.
Post by Francesco Gabriele
La cosa che non mi p chiara, io se creo una Volume Group dal primo nodo, se
faccio un vgscan dagli altri nodi vedrò quello appena creato?
Non serve, su proxmox una volta completati i passi sopra citati vedrai
che con vgs ti ritrovi il nuovo VG anche sugli altri nodi.

Per il resto (fencing) rimango in attesa delle tue spiegazioni.

Jan
Francesco Gabriele
2012-06-25 15:20:28 UTC
Permalink
Salve a tutti,

riprendo questo giro per aggiornavi su dove sono rimasto, vi dico gli step
che ho eseguito:
1) Configurazione Storage e relative Lun
2) Configurazione multipath
***@sfarm-timkvm1 ~ # more /etc/multipath.conf
defaults {
udev_dir /dev
polling_interval 10
selector "round-robin 0"
path_grouping_policy failover
prio_callout "/bin/true"
path_checker tur
rr_min_io 100
rr_weight uniform
failback immediate
no_path_retry 12
user_friendly_names yes
}

devnode_blacklist {
devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
devnode "^hd[a-z]"
devnode "^cciss!c[0-9]d[0-9]*"
}

devices {

device {
vendor "HP"
product "P2000 G3 FC"
path_grouping_policy group_by_prio
path_checker tur
path_selector "round-robin 0"
prio_callout "/sbin/mpath_prio_alua /dev/%n"
rr_weight uniform
failback immediate
hardware_handler "0"
no_path_retry 18
rr_min_io 100
}

}

3) Configurazione LVM
4) Configuazione Storage LVM su ogni nodo attivato l'opzione condiviso
5) Configurazione Cluster ed aggiunta dei nodi
6) Configurazione Fencing:
<?xml version="1.0"?>
<cluster name="sfarm-timkvm" config_version="9">
<cman keyfile="/var/lib/pve-cluster/corosync.authkey" expected_votes="1"/>

<clusternodes>
<clusternode name="sfarm-timkvm1" nodeid="1" votes="1">
<fence>
<method name="1">
<device name="sfarm-timkvm1" action="reboot"/>
</method>
</fence>
</clusternode>
<clusternode name="sfarm-timkvm2" nodeid="2" votes="1">
<fence>
<method name="1">
<device name="sfarm-timkvm2" action="reboot"/>
</method>
</fence>
</clusternode>
<clusternode name="sfarm-timkvm3" nodeid="3" votes="1">
<fence>
<method name="1">
<device name="sfarm-timkvm3" action="reboot"/>
</method>
</fence>
</clusternode>
<clusternode name="sfarm-timkvm4" nodeid="4" votes="1">
<fence>
<method name="1">
<device name="sfarm-timkvm4" action="reboot"/>
</method>
</fence>
</clusternode>
<clusternode name="sfarm-timkvm5" nodeid="5" votes="1">
<fence>
<method name="1">
<device name="sfarm-timkvm5" action="reboot"/>
</method>
</fence>
</clusternode>
<clusternode name="sfarm-timkvm6" nodeid="6" votes="1">
<fence>
<method name="1">
<device name="sfarm-timkvm6" action="reboot"/>
</method>
</fence>
</clusternode>
</clusternodes>

<fencedevices>
<fencedevice agent="fence_ilo" ipaddr="10.104.26.82"
login="Administrator" name="sfarm-timkvm1" passwd="pass4sure"/>
<fencedevice agent="fence_ilo" ipaddr="10.104.26.83"
login="Administrator" name="sfarm-timkvm2" passwd="pass4sure"/>
<fencedevice agent="fence_ilo" ipaddr="10.104.26.84"
login="Administrator" name="sfarm-timkvm3" passwd="pass4sure"/>
<fencedevice agent="fence_ilo" ipaddr="10.104.26.85"
login="Administrator" name="sfarm-timkvm4" passwd="pass4sure"/>
<fencedevice agent="fence_ilo" ipaddr="10.104.26.86"
login="Administrator" name="sfarm-timkvm5" passwd="pass4sure"/>
<fencedevice agent="fence_ilo" ipaddr="10.104.26.87"
login="Administrator" name="sfarm-timkvm6" passwd="pass4sure"/>
</fencedevices>

</cluster>

Sono fermo qui, nonostante la config sembra corretta e viene duplicata su
tutti i nodi, facendo una test delle fencing mi da questo errore:

***@sfarm-timkvm1 ~ # fence_ilo -l Administrator -p pass4sure -a
10.104.26.82 -o status -v
Unable to connect/login to fencing device

***@sfarm-timkvm1 ~ # fence_tool ls
fence domain
member count 1
victim count 5
victim now 2
master nodeid 1
wait state fencing
members

Secondo voi dove sto sbagliando?

Grazie

----
Francesco Gabriele

Blog - www.ubuntuserver.it
Linux users #5484 Frank (IT)
Asterisk users #852 Frankies (IT)


Il giorno 22 aprile 2012 09:12, Gianni Caldonazzi <
Post by Gianni Caldonazzi
Ciao Gabriele,
Il 20 aprile 2012 14:53, Francesco Gabriele
[...]
Post by Francesco Gabriele
1 Fa vedere i volumi tramite WWN
2 Configurare la ILO di ogni server e controllare la corretta
interrogazione
Post by Francesco Gabriele
tramite TCP/IP
3 Configurare LVM e controllare la corretta visualizzazione da tutti i
nodi
Post by Francesco Gabriele
4 Configurare il fencing dicendogli di utilizzare la ILO
5 Configurare L'HA
1. la costruzione-configurazione del cluster + fencing di pve 2.0, che
non ho mai visto e quindi taccio.
2. la configurazione-uso di un disco condiviso per le vm del cluster,
su questo posso darti una traccia.
1. Apro la gestione SAN e creo un Volume Logico da usare nel cluster PVE
2. Presento questo VL a tutti i nodi del cluster, segnarsi il WWID del disco
3. Passo alla configurazione del disco tramite multipath, assegnando
un nome simbolico al WWID detto ALIAS. Attenzione che per EVA viene
premesso un 3 al WWID del disco ... se vuoi prima rileggi la catena
scsi (passo successivo) vedi come viene presentato il disco e poi lo
configuri nel multipath assegnandogli l'alias.
4. Rileggo la catena scsi su tutti i nodi del cluster
5. Mi sposto sul nodo master e creo il PV sul disco SAN, PVCREATE
DiscoSAN1 /dev/mapper/DiscoSAN1
6. Creo il Volume Group su DiscoSAN1
7. Apro la console web di proxmox (sempre nodo master) e aggiungo un
nuovo storage LVM indicando che conterrà i Logical Volume delle VM.
ora posso creare le vm.
Spero di non essermi dimenticato qualche passo.
Post by Francesco Gabriele
La cosa che non mi p chiara, io se creo una Volume Group dal primo nodo,
se
Post by Francesco Gabriele
faccio un vgscan dagli altri nodi vedrò quello appena creato?
Non serve, su proxmox una volta completati i passi sopra citati vedrai
che con vgs ti ritrovi il nuovo VG anche sugli altri nodi.
Per il resto (fencing) rimango in attesa delle tue spiegazioni.
Jan
--
Per iscriversi (o disiscriversi), basta spedire un messaggio con OGGETTO
Gianni Caldonazzi
2012-07-03 12:33:39 UTC
Permalink
Il 25 giugno 2012 17:20, Francesco Gabriele
<francesco.gabriele-***@public.gmane.org> ha scritto:
[...]
Post by Francesco Gabriele
Secondo voi dove sto sbagliando?
Qui hai letto?
http://docs.redhat.com/docs/en-US/Red_Hat_Enterprise_Linux/5/html/Configuration_Example_-_Fence_Devices/HPiLO_Configuration.html


Jan
Francesco Gabriele
2012-07-05 06:50:23 UTC
Permalink
Il giorno 03 luglio 2012 14:33, Gianni Caldonazzi
Post by Gianni Caldonazzi
Il 25 giugno 2012 17:20, Francesco Gabriele
[...]
Post by Francesco Gabriele
Secondo voi dove sto sbagliando?
Qui hai letto?
http://docs.redhat.com/docs/en-US/Red_Hat_Enterprise_Linux/5/html/Configuration_Example_-_Fence_Devices/HPiLO_Configuration.html
Grazie Gianni per l'interessamento cmq ho letto sia la documentazione
di redhat (visto che è il suo cluster nativo) e quella di proxmox e
finalmente sono riuscito a venirne fuori ora faccio una mail unica che
manderò a tutta la lista cosi sarà di aiuto a chi si troverà nella mia
stessa situazione.
Post by Gianni Caldonazzi
Jan
--
Per iscriversi (o disiscriversi), basta spedire un messaggio con OGGETTO
Gianni Caldonazzi
2012-07-05 14:32:42 UTC
Permalink
Il 05 luglio 2012 08:50, Francesco Gabriele
<francesco.gabriele-***@public.gmane.org> ha scritto:
[...]
Post by Francesco Gabriele
manderò a tutta la lista cosi sarà di aiuto a chi si troverà nella mia
stessa situazione.
Fai un documento sul sito linuxtrent.it , inserito nella sezione
dedicata a Proxmox. Lì si che servirà a tutti.
Jan

Paolo Larcheri
2012-04-18 08:55:31 UTC
Permalink
Post by Flavio Visentin
Nessun filesystem condiviso. Usi LVM direttamente sul block device del
MSA che vedi da tutte le macchine. Si semplifica la gestione, aumentano
le performance si riducono i rischi di problemi e corruzioni.
Tutto funziona out-of-the-box con proxmox; è importante però che
configuri correttamente il fencing dei nodi, e nel tuo caso lo puoi fare
attraverso la ILO dei server che ti consiglio vivamente di connettere ad
uno switch dedicato (cerca "proxmox ilo fence" su google e trovi un
howto in proposito).
La parola "importante" forse è riduttiva. Il fencing è FONDAMENTALE
altrimenti la soluzione LVM è più rischiosa che non la soluzione
clustered-filesystem (ocfs, gfs, ...)

P.
--
Paolo Larcheri
Linux User   #383461
https://linuxcounter.net
Gianni Caldonazzi
2012-04-18 10:13:06 UTC
Permalink
Il 18 aprile 2012 10:55, Paolo Larcheri <paolo.larcheri-***@public.gmane.org> ha scritto:
[...]
Post by Paolo Larcheri
La parola "importante" forse è riduttiva. Il fencing è FONDAMENTALE
altrimenti la soluzione LVM è più rischiosa che non la soluzione
clustered-filesystem (ocfs, gfs, ...)
Non è vero.
Dipende se vuoi l'HA intesa come spostamento automatico della vm che
girava sul nodo fuori linea.
Se sposti a mano le vm non hai nessun problema.

Su un disco condiviso fra due macchine, devi accertarti che non
avvengano accessi contemporanei.
Il fencing lo usi solo per essere sicuro che il nodo con problemi non
riparta riavviando le vm, che sono già in esecuzione sull'altro nodo.

LVM non è rischioso di per se.

Jan
Giuliano Natali (Diaolin)
2012-04-18 10:30:01 UTC
Permalink
Post by Gianni Caldonazzi
Non è vero.
In Proxmox invece è vero.

Se non hai il fencing l'HA non finisce la configurazione.
Diaolin
--
Per iscriversi (o disiscriversi), basta spedire un messaggio con OGGETTO
"subscribe" (o "unsubscribe") a mailto:linuxtrent-request-***@public.gmane.org
Gianni Caldonazzi
2012-04-18 12:07:09 UTC
Permalink
Il 18 aprile 2012 12:30, Giuliano Natali (Diaolin)
Post by Giuliano Natali (Diaolin)
Post by Gianni Caldonazzi
Non è vero.
La mia asserzione era per LVM, non per proxmox.
Post by Giuliano Natali (Diaolin)
In Proxmox invece è vero.
In PVE 2.0 questo....
Post by Giuliano Natali (Diaolin)
Se non hai il fencing l'HA non finisce la configurazione.
Ma questo vuol dire che con la 2.0 non puoi avere un cluster, oppure
che non puoi avere una cluster con l'HA?

Jan
Roberto Resoli
2012-04-18 12:13:53 UTC
Permalink
Il 18 aprile 2012 14:07, Gianni Caldonazzi
Post by Gianni Caldonazzi
Il 18 aprile 2012 12:30, Giuliano Natali (Diaolin)
Post by Giuliano Natali (Diaolin)
Post by Gianni Caldonazzi
Non è vero.
La mia asserzione era per LVM, non per proxmox.
Post by Giuliano Natali (Diaolin)
In Proxmox invece è vero.
In PVE 2.0 questo....
Post by Giuliano Natali (Diaolin)
Se non hai il fencing l'HA non finisce la configurazione.
Ma questo vuol dire che con la 2.0 non puoi avere un cluster, oppure
che non puoi avere una cluster con l'HA?
Puoi attivare l'HA su di un cluster solo se configuri il fencing.
Se ti basta la funzionalità di live migration manuale il cluster c'è comunque.

O sbaglio?

rob
Post by Gianni Caldonazzi
Jan
--
Per iscriversi  (o disiscriversi), basta spedire un  messaggio con OGGETTO
Giuliano Natali (Diaolin)
2012-04-18 13:40:31 UTC
Permalink
Post by Roberto Resoli
Post by Gianni Caldonazzi
Ma questo vuol dire che con la 2.0 non puoi avere un cluster, oppure
che non puoi avere una cluster con l'HA?
che non posso avere l'HA
Post by Roberto Resoli
Puoi attivare l'HA su di un cluster solo se configuri il fencing.
Se ti basta la funzionalità di live migration manuale il cluster c'è comunque.
O sbaglio?
ma certo.

Diaolin
--
Per iscriversi (o disiscriversi), basta spedire un messaggio con OGGETTO
"subscribe" (o "unsubscribe") a mailto:linuxtrent-request-***@public.gmane.org
Giuliano Natali (Diaolin)
2012-04-18 13:50:29 UTC
Permalink
Post by Giuliano Natali (Diaolin)
ma certo.
Diaolin
Aggiungo che per i puri di spirito il fencing ha anche una modalità manual
che potete praticamente inventarvela...
Resta il fatto che se inventate una boiata e non funziona...
la colpa non è dell'HA.............................


Diaolin
--
Per iscriversi (o disiscriversi), basta spedire un messaggio con OGGETTO
"subscribe" (o "unsubscribe") a mailto:linuxtrent-request-***@public.gmane.org
Roberto Resoli
2012-04-18 14:38:19 UTC
Permalink
Il 18 aprile 2012 15:50, Giuliano Natali (Diaolin)
Post by Giuliano Natali (Diaolin)
Post by Giuliano Natali (Diaolin)
ma certo.
Diaolin
Aggiungo che per i puri di spirito il fencing ha anche una modalità manual
che potete praticamente inventarvela...
Resta il fatto che se inventate una boiata e non funziona...
la colpa non è dell'HA.............................
Deduco che il "cluster dei poveri" presente in 1.9 non è stato
mantenuto in 2.0;

è *obbligatoria* una configurazione di una qualche forma di
fencing per poter attivare il cluster.

O sbaglio di nuovo? (se sbaglio di nuovo non rompo più, e seguo il
classico precetto RTFM)

ciao,
rob
Post by Giuliano Natali (Diaolin)
Diaolin
--
Per iscriversi  (o disiscriversi), basta spedire un  messaggio con OGGETTO
Giuliano Natali (Diaolin)
2012-04-18 14:53:45 UTC
Permalink
Post by Roberto Resoli
Deduco che il "cluster dei poveri" presente in 1.9 non è stato
mantenuto in 2.0;
C'è ancora...
Post by Roberto Resoli
è *obbligatoria* una configurazione di una qualche forma di
fencing per poter attivare il cluster.
per poter attivare l'HA serve il fencing

l'HA!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!

che non è un cognome cinese
Post by Roberto Resoli
O sbaglio di nuovo? (se sbaglio di nuovo non rompo più, e seguo il
classico precetto RTFM)
Sentiti precettato!

Diaolin
:-)
--
Per iscriversi (o disiscriversi), basta spedire un messaggio con OGGETTO
"subscribe" (o "unsubscribe") a mailto:linuxtrent-request-***@public.gmane.org
Roberto Resoli
2012-04-18 15:02:23 UTC
Permalink
Il 18 aprile 2012 16:53, Giuliano Natali (Diaolin)
Post by Giuliano Natali (Diaolin)
Post by Roberto Resoli
Deduco che il "cluster dei poveri" presente in 1.9 non è stato
mantenuto in 2.0;
C'è ancora...
Bom.
Post by Giuliano Natali (Diaolin)
Post by Roberto Resoli
è *obbligatoria* una configurazione di una qualche forma di
fencing per poter attivare il cluster.
per poter attivare l'HA serve il fencing
Ah, ecco, avevo capito bene.
Post by Giuliano Natali (Diaolin)
l'HA!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
che non è un cognome cinese
<OT>Ci sono più HU a Milano che Brambilla</OT>
Post by Giuliano Natali (Diaolin)
Post by Roberto Resoli
O sbaglio di nuovo? (se sbaglio di nuovo non rompo più, e seguo il
classico precetto RTFM)
Sentiti precettato!
Of course ... ;-)
Post by Giuliano Natali (Diaolin)
Diaolin
:-)
rob
Giuliano Natali (Diaolin)
2012-04-18 15:23:21 UTC
Permalink
Post by Roberto Resoli
Post by Giuliano Natali (Diaolin)
l'HA!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
che non è un cognome cinese
<OT>Ci sono più HU a Milano che Brambilla</OT>
Sai mai che la melange spinta non scaturisca persone migliori
--
Per iscriversi (o disiscriversi), basta spedire un messaggio con OGGETTO
"subscribe" (o "unsubscribe") a mailto:linuxtrent-request-***@public.gmane.org
Roberto Resoli
2012-04-18 16:45:55 UTC
Permalink
...
Post by Giuliano Natali (Diaolin)
Post by Roberto Resoli
<OT>Ci sono più HU a Milano che Brambilla</OT>
Sai mai che la melange spinta non scaturisca persone migliori
Beh visti gli esiti ... troteschi, il melange non può che migliorare
la situazione

rob
Marco Agostini
2012-04-18 14:58:22 UTC
Permalink
Post by Roberto Resoli
Deduco che il "cluster dei poveri" presente in 1.9 non è stato
mantenuto in 2.0;
è *obbligatoria* una configurazione di una qualche forma di
fencing per poter attivare il cluster.
Bisogna fare differenza tra cluster e HA.

Il cluster lo fai sia con la 1.9 che con la 2.0 con le seguenti differenze:
- ora ogni nodo fa anche da master (non esiste più master e slave)
- la replica delle informazioni viene fatta al volo/istantanea tramite
un filesystem distribuito tra i vari nodi

HA, per quanto riguarda Proxmox necessita del fencing; vedi video che
avevate postato in lista te o Giuliano nei mesi scorsi per capire come
gira il "giochino" (alla faccia del giochino !!).
Roberto Resoli
2012-04-18 15:19:25 UTC
Permalink
Post by Marco Agostini
Post by Roberto Resoli
Deduco che il "cluster dei poveri" presente in 1.9 non è stato
mantenuto in 2.0;
è *obbligatoria* una configurazione di una qualche forma di
fencing per poter attivare il cluster.
Bisogna fare differenza tra cluster e HA.
esattamente, HA è una feature aggiuntiva del cluster, che per me
significa come minimo.

"Avere e uno storage condiviso per le vm, e delle funzioni di
sincronizzazione delle configurazione tra
i nodi" e basta.

L'HA come è implementata in 2.0 è un meccanismo *automatico* di
failover che, se la raggiungibilità di un nodo viene meno,

1) Spegne il nodo irraggiungibile (fencing)
2) Avvia le macchine che giravano sul nodo irraggiungibile su altri
nodi del cluster.

1) e 2) correntemente sul nostro 1.9 lo facciamo a manina, con qualche
artifizio in aiuto
(un meccanismo nostro che replica le configurazioni di tutte le
macchine sui vari nodi).

Naturalmente non ci farebbe schifo averlo automatico, sempre che
funzioni a dovere (Ho qualche dubbio sullo
spegnimento ordinato di tutte le vm: ci è capitato di avere un nodo
irraggiungibile, ma vm che ci giravano sopra più o meno felici,
e un reset della vm può avere conseguenze devastanti sul suo filesystem).
Post by Marco Agostini
- ora ogni nodo fa anche da master (non esiste più master e slave)
- la replica delle informazioni viene fatta al volo/istantanea tramite
un filesystem distribuito tra i vari nodi
bellissimo
Post by Marco Agostini
HA, per quanto riguarda Proxmox necessita del fencing; vedi video che
avevate postato in lista te o Giuliano nei mesi scorsi per capire come
gira il "giochino" (alla faccia del giochino !!).
si si, ricordo. Per di più avendo la ilo tutto sarebbe predisposto ...

rob
Roberto Resoli
2012-04-18 14:33:54 UTC
Permalink
Il 18 aprile 2012 15:40, Giuliano Natali (Diaolin)
Post by Giuliano Natali (Diaolin)
Post by Roberto Resoli
Puoi attivare l'HA su di un cluster solo se configuri il fencing.
Se ti basta la funzionalità di live migration manuale il cluster c'è comunque.
O sbaglio?
ma certo.
Quindi? Spiegami per bene.

rob
Giuliano Natali (Diaolin)
2012-04-18 14:44:51 UTC
Permalink
Post by Roberto Resoli
Post by Giuliano Natali (Diaolin)
ma certo.
Quindi? Spiegami per bene.
Il ma certo era riferito a tutta la parte prima di
"O sbaglio?"

l'ho messo dopo per... sbaglio!


Diaolin
Post by Roberto Resoli
rob
--
Per iscriversi (o disiscriversi), basta spedire un messaggio con OGGETTO
--
Per iscriversi (o disiscriversi), basta spedire un messaggio con OGGETTO
"subscribe" (o "unsubscribe") a mailto:linuxtrent-request-***@public.gmane.org
Roberto Resoli
2012-04-18 12:10:46 UTC
Permalink
Il 18 aprile 2012 12:30, Giuliano Natali (Diaolin)
Post by Giuliano Natali (Diaolin)
Post by Gianni Caldonazzi
Non è vero.
In Proxmox invece è vero.
Se non hai il fencing l'HA non finisce la configurazione.
Difatti gianni ha detto *se* vuoi l'HA ...

Qui abbiamo PVE 1.9, senza HA senza fencing, ma con possibilità di
live migration manuale.

Ovviamente il rischio c'è, in situazioni di fault, se vuoi avviare la
macchina su un altro nodo (possibile solo spostando manualmente il
file di configurazione),
il device di fencing è il sistemista, che controlla che la macchina
non sia attiva su nessun altro nodo..

rob
Paolo Larcheri
2012-04-18 12:42:13 UTC
Permalink
Post by Gianni Caldonazzi
[...]
Post by Paolo Larcheri
La parola "importante" forse è riduttiva. Il fencing è FONDAMENTALE
altrimenti la soluzione LVM è più rischiosa che non la soluzione
clustered-filesystem (ocfs, gfs, ...)
Non è vero.
Dipende se vuoi l'HA intesa come spostamento automatico della vm che
girava sul nodo fuori linea.
Io però questa non la definisco HA.

P.
--
Paolo Larcheri
Linux User   #383461
https://linuxcounter.net
Giuliano Natali (Diaolin)
2012-04-18 13:44:33 UTC
Permalink
Post by Paolo Larcheri
Io però questa non la definisco HA.
Speta, qui si dice che puoi spostare la macchina da dove era
rimettendola in linea in un altro posto.
Poi se vuoi aggiungere anche che le macchine devono stare sempre su
e che le applicazioni non se ne devono neppure accorgere probably
la struttura deve essere, oltre in HA, anche un pochino più complessa.


Guarda ad esempio come presenta la HA la VMWARE

http://www.vmware.com/solutions/datacenter/business-continuity/high-availability.html

VMware vSphere High Availability (HA) provides cost effective, automated
restart within minutes for all applications in the event of hardware or
operating system failures.




Diaolin
--
Per iscriversi (o disiscriversi), basta spedire un messaggio con OGGETTO
"subscribe" (o "unsubscribe") a mailto:linuxtrent-request-***@public.gmane.org
Flavio Visentin
2012-04-18 22:20:50 UTC
Permalink
Post by Giuliano Natali (Diaolin)
Poi se vuoi aggiungere anche che le macchine devono stare sempre su
e che le applicazioni non se ne devono neppure accorgere probably
la struttura deve essere, oltre in HA, anche un pochino più complessa.
AFAIK solo VMware offre questa feature che chiama failover, e ha
parecchi limiti. Tutto sta nella sincronizzazione anche della RAM e
nella doppia esecuzione dei processi... pesante.
--
Flavio Visentin
GPG Key: http://www.zipman.it/gpgkey.asc

There are only 10 types of people in this world:
those who understand binary, and those who don't.
--
Per iscriversi (o disiscriversi), basta spedire un messaggio con OGGETTO
"subscribe" (o "unsubscribe") a mailto:linuxtrent-request-***@public.gmane.org
Continue reading on narkive:
Loading...