Výpočetní cluster
 |  |  |
Výpočetní cluster
Výpočetní cluster je založen na blade serverech IBM a Dell. Blade servery Dell byly pořízeny z projektu VAVINET, blade servery IBM z projektů FR CESNET a FRVŠ. Celkem je nyní osazeno 102 modulů, každý má dva 4 až 28 jádrové procesory s pamětí 8 až 256 GB. Na blade serverech běží 64bitový systém Linux CentOS 6. Pro ukládání rozsáhlých dat je k dispozici 12 souborových serverů o celkové kapacitě přes 500 TB.
Zpracování úloh v clusteru je řízeno systémem Sun Grid Engine (SGE). Požadovaný výpočet musí být popsán skriptem shellu a ten je předán do SGE. SGE na základě aktuálního stavu uzlů v clusteru rozhodne, kdy a na kterých z dostupných uzlů úlohu spustí. Maximální paralelní výpočetní kapacita clusteru je dynamická, závisí na stavu jednotlivých blade serverů, teoreticky cca. 2400 procesů.
Blade servery
| Chassis | Modules | Hardware |
|---|---|---|
 blademm1 |
 blade001 - blade012 |
IBM BladeCenter E, switch BNT 14x1Gb/s+3x10Gb/s PSU 4 x 2kW |
| 12 modules HS22 (7870) 2 CPU Intel Xeon 5670 2,93 GHz 6/12core 32K/256K/12MB RAM DDR3 36GB (3 channels) - blade001-005,009,010,012 RAM DDR3 30GB (3 channels) - blade006-008,011 HDD SAS 2,5" 146 GB | ||
blademm2 |
blade013 - blade024 |
IBM BladeCenter E, switch BNT 14x1Gb/s+3x10Gb/s PSU 4 x 2kW |
| 12 modules HS22 (7870) 2 CPU Intel Xeon 5670 2,93 GHz 6/12core 32K/256K/12MB RAM DDR3 36GB (3 channels) HDD SAS 2,5" 146 GB - blade013-018 HDD SAS 2,5" 300 GB - blade019-024 | ||
blademm3 |
blade025 - blade029 |
IBM BladeCenter E, switch BNT 14x1Gb/s+3x10Gb/s PSU 4 x 2kW |
| 5 modules HS22 (7870) 2 CPU Intel Xeon 5670 2,93 GHz 6/12core 32K/256K/12MB RAM DDR3 36GB (3 channels) HDD SAS 2,5" 300 GB | ||
 blade030 - blade036 |
7 modules HS21XM (7995) 2 CPU Intel Xeon E5345 2.33GHz 4core 8MB L2 RAM FB-DDR2/5300 20GB (2 channels) HDD SAS 2,5" 300 GB | |
blademm4 |
blade037 - blade048 |
IBM BladeCenter E, switch BNT 14x1Gb/s+3x10Gb/s PSU 4 x 2kW |
| 12 modules HS21XM (7995) 2 CPU Intel Xeon E5345 2.33GHz 4core 8MB L2 RAM FB-DDR2/5300 8 GB (2 channels) HDD SCSI 73 GB | ||
 dellmm1 |
 blade055 - blade070 |
Blade chassis Dell M1000e, switch M8024-k 24 x 10Gb/s |
| 6 modules Blade Dell M630 2 CPU Intel Xeon E5-2680 v3 2,4 GHz, 14/28core, 35 MB cache RAM DDR4-2133 128 GB (4 channels) HDD 2,5" 300 GB SAS 15k LAN Broadcom 57810-k 2 x 10Gb/s KR | ||
|
10 modules Blade Dell M620 2 CPU Intel Xeon E5-2670 2,6 GHz, 8/16core, 20 MB cache RAM DDR3-1600 64 GB (4 channels) HDD 2,5" 300 GB SAS 10k LAN Broadcom 57810-k 2 x 10Gb/s KR | ||
dellmm2 |
blade071 - blade086 |
Blade chassis Dell M1000e, switch M8024-k 24 x 10Gb/s |
| 16 modules Blade Dell M620 2 CPU Intel Xeon E5-2670 2,6 GHz, 8/16core, 20 MB cache RAM DDR3-1600 64 GB (4 channels) HDD 2,5" 300 GB SAS 10k LAN Broadcom 57810-k 2 x 10Gb/s KR | ||
dellmm3 |
blade087 - blade102 |
Blade chassis Dell M1000e, switch M8024-k 24 x 10Gb/s |
| 14 modules Blade Dell M620 2 CPU Intel Xeon E5-2670 2,6 GHz, 8/16core, 20 MB cache RAM DDR3-1600 64/128 GB (4 channels) HDD 2,5" 300 GB SAS 10k LAN Broadcom 57810-k 2 x 10Gb/s KR | ||
|
2 modules Blade Dell M620 2 CPU Intel Xeon E5-2670 2,6 GHz, 8/16core, 20 MB cache RAM DDR3-1600 256 GB HDD 2,5" 300 GB SAS 10k LAN Broadcom 57810-k 2 x 10Gb/s KR |
Výpočetní servery
 welda1, welda2, ulrika, svatava |
Supermicro SC113TQ MB Supermicro X10DRW-E CPU Intel Xeon E5-2620v3 2,4 GHz 6/12core, 20 MB cache RAM DDR4-2133 32GB (4 channels) HDD Crucial SSD 250 GB PSU 600W |
GPU servery
 supergpu1,supergpu2 |
Supermicro 7047GR-TPRF MB Supermicro X9DRG-QF 2 CPU Intel Xeon E5-2630v2 2,6 GHz, 6/12core, 15 MB cache RAM DDR3-1600 64GB (4 channels) HDD WD RE4 500GB Ethernet 10 Gb/s Intel X520-DA2 4 GPU NVidia GTX 980 4GB GDDR5 PSU 2x1600 W |
supergpu3,supergpu4 |
Supermicro 7048GR-TR MB Supermicro X10DRG-Q 2 CPU Intel Xeon E5-2620v3 2,3 GHz, 6/12core, 20 MB cache RAM DDR4-2133 64GB (4 channels) SSD Crucial 250GB Ethernet 1 Gb/s 4 GPU NVidia GTX 1080 8GB GDDR5 PSU 2x2000 W |
superphi1,superphi2 |
Supermicro 7048GR-TR MB Supermicro X10DRG-Q 2 CPU Intel Xeon E5-2620v3 2,3 GHz, 6/12core, 20 MB cache RAM DDR4-2133 64GB (4 channels) SSD Crucial 250GB Ethernet 1 Gb/s 1 GPU NVidia GTX 980 4GB GDDR5 3 Intel Xeon Phi PSU 2x2000 W |
 dellgpu1,dellgpu2 |
Dell T620 2 CPU Intel Xeon E5-2670 2,6 GHz, 8/16core, 20 MB cache RAM DDR3-1600 64GB (4 channels) HDD WD RE4 500GB LAN Broadcom 57810S 2 x 10Gb/s SFP+ 4 GPU NVidia GTX 980 4GB GDDR5 PSU 2x1100 W |
Souborové servery
 matylda1-6 |
Supermicro SC113TQ MB Supermicro X10DRW-E 2 CPU Intel Xeon E5-2620v3 2,4 GHz 6/12core, 20 MB cache RAM DDR4-2133 64GB HDD Intel SSD 80 GB Ethernet 10 Gb/s Intel X520-DA2 72 TB RAID-6 3Ware (LSI) 9750SA-8e External JBOD Supermicro SC836E16-R1200B |
 scratch1-6 |
Supermicro SC815TQ MB Supermicro X9DRW-iF CPU Intel Xeon E5-2630, 2,3 GHz, 6/12core, 15 MB cache RAM DDR3-1600 16 GB (4 channels) Ethernet 10 Gb/s Intel X520-DA2 10 TB RAID-6 3Ware (LSI) 9750SA-8e External JBOD Supermicro SC826E16-R500LP |
Propojení bladů a dalších serverů 10 Gb/s
 cluster switches |
Extreme Networks Summit X650-24x 4 x 24 ports Ethernet 10 Gb/s SFP+ SummitStack 256 Gb/s ring |