Mellanox QDR kartların Suse Linux Sunucularına kurulumu

 

INFINIBAND linkler

INFINIBAND , 1999 yılı sonu itibarı ile performan sınırlarına yaklaşmış olan PCI arabirimine alternatif olmak üzere, Future I/O ve Nxt-gen I/O arabirim dizaynlarının birleştirilmesi ile gündeme gelmiş, dönemin önemli teknoloji üreticileri olan Compaq, Dell, HP, IBM, Microsoft ve Sun firmalarının desteklediği ve o dönemde Intel ve Mellanox firmaları tarafından üretimi/geliştirmesine başlanmış bir interconnect metodudur. Üretimini takiben kısa süre sonra ise bizi ilgilen üzerine ethernet teknolojisi de bindirilmiştir. Mellanox ve Voltaire firmaları bu interconnect metodunu kullanan Host Bus adapter ve IB switch adı verilen ürünler üretmişlerdir.  Süperbilgisayarların depolama üniteleri ve birbirleri yada node ları arasındaki haberleşmenin yüksek şiddette ve çok kısa zamanlarda [10 gbit bakır : 2-2.5 uSn/1.4 mpps Fiber 10gbit : 0.3 uSn/1.4 mpps mlnx 56 gbit fdr 0.7 uSn / 137 milyon msj[pkt] / sn] halledilmesine olanak vermektedir. Ayrıca Rdma teknolojisi ile veri direkt olarak alıcının belleğine de yazılabilmektedir tabi bu uygulama sadece çok özel kullanımlarda tercih edilmektedir, nodelar arası bellek paylaşımı yada bir node üzerindeki belleğin diğer noda paylaşımı buna en yakın örnektir bu transfer işletim sistemi seviyesinde gerçekleşir ve buna müdahaleniz mümkün değildir. Ethernet / Rdma teknolojisi 2013 yılı itibarı ile gündeme gelmiş ancak günümüzde standardı yeni oturmuş ve implementasyonu yeni başlamıştır.

 

Mellanox

MELLANOX , 1999 yılında çift merkezli olarak İsrail ve Amerika Birleşik Devletlerinde kurulumuş, yüksek performanslı işlem adına ethernet ve infiniband teknolojileri kullanan switch/anahtar ürünleri üretmiştir, 2009 yılında baştan sona sistem ve ürün üretimine başlamıştır. Firma an itibarı ile 500 milyon $ üzerinde bir değere sahiptir. Mellanox rakibi olan Voltaire firmasını 218 milyon $ a 2010 yılında bünyesine katmış ve Infiniband piyasasında intel ile başbaşa kalmıştır.

İlginç bir not olarak, bu firmanın kurucuları bir önceki teknoloji şirketlerini, Hindistanlı bir teknoloji grubu olan Marvell Technologies firmasına 2.8 Milyar $ a satmışlardır. Top500 computer listesindeki tüm sistemler interconnect olarak Mellanox ürünleri kullanmaktadır.

Suse

SUSE, Novell tarafından Slackware kurucusu olan Peter MacDonald’ın firmayı 4 kasım 2003 te devretmesi ile ortaya çıkmış ve özellikle Alman teknoloji ve disiplininin Kurumlara aktarılması fikri ile linux işletim sistemleri piyasasında  özellikle RedHat firmasının dahil olduğu pastada boy göstermiş ve önemli bir alan kaplamıştır.

Suse, redhat derivatiflerine benzer özellikler sergilemekte (rpm, /etc/sysconfig) ve bu derivatiflerden dönüşümü oldukça kolaylaştırmaktadır. Aynı zamanda YAST paket yöneticisi ile kurulum ve güncelleme yönetimini son derece kolaylaştırmıştır.

 

KURULUM

Suse linux enterprise server 11 service pack 3 ve üzeri ile birlikte Mellanox QDR yada FDR kartları sistem içerisinde desteklenmekte olup herhangi bir driver yada modül kurulumu talep etmemktedir. Infiniband bir interconnect metodu olduğundan ve ethernet dışında başka teknolojilerde de kullanıldığından, işletim sistemine bu kartı hangi amaçla kullanıcağımızı ifade eden doğru modülü biz seçmeliyiz.

Ethernet altayapısında infinband kullanmal için,

öncelikle

modprobe -r mlx4_en

komutu ile daha önce yüklenmiş olabilecek  infinibabnd modülünü kernel çevriminden çıkaralım

ifconfig -a

komutu ile var olan ethernet bağdaştırıcılarımızın bir listesini alalım ve not edelim. “eth0 ve eth1” gibi

daha sonra

modprobe  mlx4_en

komutu ile tekrar ekleyelim ve

ifconfig -a

komutunu tekrar çalıştıralım.

mlnx

yukarıdaki örnekte de görebileceğiniz üzere kartlarınızdaki portların ethernet portu olarak sisteme eklendiğini ve bond yada ip konfigürasyonlarına hazır hale geldiğini görebilirsiniz. Mac adres marka segmentinin de 02:c9 ile başlıyor olması sağlama için yeterli olabilir.

reboot esnasında tekrar yüklenmesi için

/etc/sysconfig/kernel, MODULES_LOADED_ON_BOOT  başlığının altına eklemeyi unutmayın,

“supercomputing projelerinde pxe konfigürasyonu tarafında rh derivatifi kullanıyorsanız modülleri /etc/modules-load.d altına ekledikten sonra pxe boot imajı oluşturmayı da unutmayın. ”

Suse enterprise linux 12 sp2 ve altı işletim sistemlerinde ise driver indirip rpm paketini kurmak zorundasınız, bunun için ;

http://www.mellanox.com/downloads/Drivers/mlnx-en-2.4-1.0.0.1.tgz

adresinden sürücüyü indirip açtıktan sonra ./install.sh yöntemi ile kurulum gerçekleştirebilirsiniz. Bu kurulum, modül  konfigürasyonunu da kendisi halletmektedir.

Not 1 : Sürücü yada kart firmware güncellemesi için yukarıdaki linki kullanabilirsiniz.

Not2 : Debian derivatiflerinde alien bu seviyede yazılımlar için doğru sonuç üretmeyebilir yukarıdaki tar paketinden kaynak kodu da çıkmaktadır. Lütfen kaynaktan kurulum yapınız.