Bug 741316

Summary: The 10G interface on HPDL390s doesn't work on a newly installed RHEL6.1
Product: Red Hat Enterprise Linux 6 Reporter: Alexander Chuzhoy <sasha>
Component: kernelAssignee: Doug Ledford <dledford>
Status: CLOSED NOTABUG QA Contact: Red Hat Kernel QE team <kernel-qe>
Severity: medium Docs Contact:
Priority: unspecified    
Version: 6.1CC: arozansk, iheim, sasha, vgrinco
Target Milestone: rc   
Target Release: ---   
Hardware: Unspecified   
OS: Linux   
Whiteboard:
Fixed In Version: Doc Type: Bug Fix
Doc Text:
Story Points: ---
Clone Of: Environment:
Last Closed: 2011-10-07 14:45:44 UTC Type: ---
Regression: --- Mount Type: ---
Documentation: --- CRM:
Verified Versions: Category: ---
oVirt Team: --- RHEL 7.3 requirements from Atomic Host:
Cloudforms Team: --- Target Upstream Version:
Embargoed:

Description Alexander Chuzhoy 2011-09-26 14:58:40 UTC
User-Agent:       Mozilla/5.0 (X11; U; Linux x86_64; en-US; rv:1.9.2.18) Gecko/20110616 Red Hat/3.6.18-1.el6_1 Firefox/3.6.18

Hello,
I've installed RHEl6.1 on HP DL 390S machines (come with 10G interface onboard).
After the installation, I was unable to start the 10G interface and there was no link on both ends. The interface used the module mlx4_core.

Only after I received/installed a driver from Melanox and rebooted the machine  - the interface was able to start and there was a link on both ends.

Reproducible: Always

Steps to Reproduce:
1.Install RHEL6.1 on HP DL390s and try working with its 10G interface.
2.
3.
Actual Results:  
The nic won't come "UP" and there's no link on both ends.

Expected Results:  
ifup <interface> doesn't show an error.

I installed the software from Melanox - below is the output:
[root@modi02 iso]# ./mlnxofedinstall 
This program will install the MLNX_OFED_LINUX package on your machine.
Note that all other Mellanox, OEM, OFED, or Distribution IB packages will be removed.                                                                                                                                
Do you want to continue?[y/N]:y                                                                                                                                                                                      
                                                                                                                                                                                                                     
Uninstalling the previous version of OFED                                                                                                                                                                            

Starting MLNX_OFED_LINUX-1.5.3-1.0.0 installation ...                                                                                                                                                                

Installing kernel-ib RPM
Preparing...                ##################################################
kernel-ib                   ##################################################
Installing kernel-ib-devel RPM                                                
Preparing...                ##################################################
kernel-ib-devel             ##################################################
Installing kernel-mft RPM                                                     
Preparing...                ##################################################
kernel-mft                  ##################################################
Installing mlx4_accl_sys RPM                                                  
Preparing...                ##################################################
mlx4_accl_sys               ##################################################
Installing mlx4_accl RPM                                                      
Preparing...                ##################################################
mlx4_accl                   ##################################################
Installing mpi-selector RPM                                                   
Preparing...                ##################################################
mpi-selector                ##################################################
Install user level RPMs:                                                      
Preparing...                ##################################################
libibverbs                  ##################################################
libibumad                   ##################################################
librdmacm                   ##################################################
opensm-libs                 ##################################################
libibumad-devel             ##################################################
libibmad                    ##################################################
libibverbs-devel            ##################################################
libmverbs                   ##################################################
dapl                        ##################################################
ibutils2                    ##################################################
libmthca                    ##################################################
libmlx4                     ##################################################
libcxgb3                    ##################################################
libnes                      ##################################################
libipathverbs               ##################################################
libibcm                     ##################################################
infinipath-psm              ##################################################
libsdp                      ##################################################
openmpi_gcc                 ##################################################
compat-dapl                 ##################################################
mvapich_gcc                 ##################################################
mpitests_mvapich_gcc        ##################################################
compat-dapl-devel           ##################################################
mpitests_openmpi_gcc        ##################################################
libsdp-devel                ##################################################
infinipath-psm-devel        ##################################################
libibcm-devel               ##################################################
libipathverbs-devel         ##################################################
libipathverbs-devel         ##################################################
libnes-devel-static         ##################################################
libnes-devel-static         ##################################################
libcxgb3-devel              ##################################################
libcxgb3-devel              ##################################################
libmlx4-devel               ##################################################
libmlx4-devel               ##################################################
libmthca-devel-static       ##################################################
libmthca-devel-static       ##################################################
cc_mgr                      ##################################################
ar_mgr                      ##################################################
dapl-devel                  ##################################################
dapl-utils                  ##################################################
libmverbs-devel             ##################################################
libmqe                      ##################################################
librdmacm-devel             ##################################################
libibmad-devel              ##################################################
libibmad-static             ##################################################
libibmad-static             ##################################################
ibsim                       ##################################################
infiniband-diags            ##################################################
opensm-devel                ##################################################
opensm-static               ##################################################
opensm-static               ##################################################
opensm                      ##################################################
ibutils                     ##################################################
librdmacm-utils             ##################################################
perftest                    ##################################################
qperf                       ##################################################
libibumad-static            ##################################################
libibumad-static            ##################################################
ibacm                       ##################################################
srptools                    ##################################################
libibverbs-utils            ##################################################
ibdump                      ##################################################
dump_pr                     ##################################################
rds-devel                   ##################################################
rds-tools                   ##################################################
sdpnetstat                  ##################################################
mft                         ##################################################
mstflint                    ##################################################
dapl-devel-static           ##################################################
dapl-devel-static           ##################################################
libibverbs-devel-static     ##################################################
libibverbs-devel-static     ##################################################
mlnxofed-docs               ##################################################
ofed-scripts                ##################################################
libibverbs                  ##################################################
librdmacm                   ##################################################
libibumad                   ##################################################
libmverbs                   ##################################################
libibmad                    ##################################################
opensm-libs                 ##################################################
compat-dapl                 ##################################################
dapl                        ##################################################
libibcm                     ##################################################
libsdp                      ##################################################
libsdp-devel                ##################################################
libibcm-devel               ##################################################
dapl-devel                  ##################################################
compat-dapl-devel           ##################################################
opensm-devel                ##################################################
libibmad-devel              ##################################################
libmverbs-devel             ##################################################
libibumad-devel             ##################################################
librdmacm-devel             ##################################################
libibverbs-devel            ##################################################
libmqe                      ##################################################
libmthca                    ##################################################
libmlx4                     ##################################################
libcxgb3                    ##################################################
libnes                      ##################################################
libipathverbs               ##################################################
Device (15b3:6746):                                                           
        05:00.0 InfiniBand: Mellanox Technologies MT26438 [ConnectX VPI PCIe 2.0 5GT/s - IB QDR / 10GigE Virtualization+] (rev b0)                                                                                   
        Link Width: 8x                                                                                                                                                                                               
        PCI Link Speed: 5Gb/s                                                                                                                                                                                        
                                                                                                                                                                                                                     

Installation finished successfully.

Comment 2 Doug Ledford 2011-10-07 14:45:44 UTC
This hardware is fully supported in rhel6.1, but you must install the libmlx4 package.  We don't require the libmlx4 package in the base package set because not everyone has that hardware, but if you have that hardware, it is required.  Please install the infiniband package group, enable the rdma service, and your system should work as expected.

Comment 3 RHEL Program Management 2011-10-07 15:50:34 UTC
Since RHEL 6.2 External Beta has begun, and this bug remains
unresolved, it has been rejected as it is not proposed as
exception or blocker.

Red Hat invites you to ask your support representative to
propose this request, if appropriate and relevant, in the
next release of Red Hat Enterprise Linux.