Bug 741316 - The 10G interface on HPDL390s doesn't work on a newly installed RHEL6.1
Summary: The 10G interface on HPDL390s doesn't work on a newly installed RHEL6.1
Keywords:
Status: CLOSED NOTABUG
Alias: None
Product: Red Hat Enterprise Linux 6
Classification: Red Hat
Component: kernel
Version: 6.1
Hardware: Unspecified
OS: Linux
unspecified
medium
Target Milestone: rc
: ---
Assignee: Doug Ledford
QA Contact: Red Hat Kernel QE team
URL:
Whiteboard:
Depends On:
Blocks:
TreeView+ depends on / blocked
 
Reported: 2011-09-26 14:58 UTC by Alexander Chuzhoy
Modified: 2014-01-28 00:36 UTC (History)
4 users (show)

Fixed In Version:
Doc Type: Bug Fix
Doc Text:
Clone Of:
Environment:
Last Closed: 2011-10-07 14:45:44 UTC


Attachments (Terms of Use)

Description Alexander Chuzhoy 2011-09-26 14:58:40 UTC
User-Agent:       Mozilla/5.0 (X11; U; Linux x86_64; en-US; rv:1.9.2.18) Gecko/20110616 Red Hat/3.6.18-1.el6_1 Firefox/3.6.18

Hello,
I've installed RHEl6.1 on HP DL 390S machines (come with 10G interface onboard).
After the installation, I was unable to start the 10G interface and there was no link on both ends. The interface used the module mlx4_core.

Only after I received/installed a driver from Melanox and rebooted the machine  - the interface was able to start and there was a link on both ends.

Reproducible: Always

Steps to Reproduce:
1.Install RHEL6.1 on HP DL390s and try working with its 10G interface.
2.
3.
Actual Results:  
The nic won't come "UP" and there's no link on both ends.

Expected Results:  
ifup <interface> doesn't show an error.

I installed the software from Melanox - below is the output:
[root@modi02 iso]# ./mlnxofedinstall 
This program will install the MLNX_OFED_LINUX package on your machine.
Note that all other Mellanox, OEM, OFED, or Distribution IB packages will be removed.                                                                                                                                
Do you want to continue?[y/N]:y                                                                                                                                                                                      
                                                                                                                                                                                                                     
Uninstalling the previous version of OFED                                                                                                                                                                            

Starting MLNX_OFED_LINUX-1.5.3-1.0.0 installation ...                                                                                                                                                                

Installing kernel-ib RPM
Preparing...                ##################################################
kernel-ib                   ##################################################
Installing kernel-ib-devel RPM                                                
Preparing...                ##################################################
kernel-ib-devel             ##################################################
Installing kernel-mft RPM                                                     
Preparing...                ##################################################
kernel-mft                  ##################################################
Installing mlx4_accl_sys RPM                                                  
Preparing...                ##################################################
mlx4_accl_sys               ##################################################
Installing mlx4_accl RPM                                                      
Preparing...                ##################################################
mlx4_accl                   ##################################################
Installing mpi-selector RPM                                                   
Preparing...                ##################################################
mpi-selector                ##################################################
Install user level RPMs:                                                      
Preparing...                ##################################################
libibverbs                  ##################################################
libibumad                   ##################################################
librdmacm                   ##################################################
opensm-libs                 ##################################################
libibumad-devel             ##################################################
libibmad                    ##################################################
libibverbs-devel            ##################################################
libmverbs                   ##################################################
dapl                        ##################################################
ibutils2                    ##################################################
libmthca                    ##################################################
libmlx4                     ##################################################
libcxgb3                    ##################################################
libnes                      ##################################################
libipathverbs               ##################################################
libibcm                     ##################################################
infinipath-psm              ##################################################
libsdp                      ##################################################
openmpi_gcc                 ##################################################
compat-dapl                 ##################################################
mvapich_gcc                 ##################################################
mpitests_mvapich_gcc        ##################################################
compat-dapl-devel           ##################################################
mpitests_openmpi_gcc        ##################################################
libsdp-devel                ##################################################
infinipath-psm-devel        ##################################################
libibcm-devel               ##################################################
libipathverbs-devel         ##################################################
libipathverbs-devel         ##################################################
libnes-devel-static         ##################################################
libnes-devel-static         ##################################################
libcxgb3-devel              ##################################################
libcxgb3-devel              ##################################################
libmlx4-devel               ##################################################
libmlx4-devel               ##################################################
libmthca-devel-static       ##################################################
libmthca-devel-static       ##################################################
cc_mgr                      ##################################################
ar_mgr                      ##################################################
dapl-devel                  ##################################################
dapl-utils                  ##################################################
libmverbs-devel             ##################################################
libmqe                      ##################################################
librdmacm-devel             ##################################################
libibmad-devel              ##################################################
libibmad-static             ##################################################
libibmad-static             ##################################################
ibsim                       ##################################################
infiniband-diags            ##################################################
opensm-devel                ##################################################
opensm-static               ##################################################
opensm-static               ##################################################
opensm                      ##################################################
ibutils                     ##################################################
librdmacm-utils             ##################################################
perftest                    ##################################################
qperf                       ##################################################
libibumad-static            ##################################################
libibumad-static            ##################################################
ibacm                       ##################################################
srptools                    ##################################################
libibverbs-utils            ##################################################
ibdump                      ##################################################
dump_pr                     ##################################################
rds-devel                   ##################################################
rds-tools                   ##################################################
sdpnetstat                  ##################################################
mft                         ##################################################
mstflint                    ##################################################
dapl-devel-static           ##################################################
dapl-devel-static           ##################################################
libibverbs-devel-static     ##################################################
libibverbs-devel-static     ##################################################
mlnxofed-docs               ##################################################
ofed-scripts                ##################################################
libibverbs                  ##################################################
librdmacm                   ##################################################
libibumad                   ##################################################
libmverbs                   ##################################################
libibmad                    ##################################################
opensm-libs                 ##################################################
compat-dapl                 ##################################################
dapl                        ##################################################
libibcm                     ##################################################
libsdp                      ##################################################
libsdp-devel                ##################################################
libibcm-devel               ##################################################
dapl-devel                  ##################################################
compat-dapl-devel           ##################################################
opensm-devel                ##################################################
libibmad-devel              ##################################################
libmverbs-devel             ##################################################
libibumad-devel             ##################################################
librdmacm-devel             ##################################################
libibverbs-devel            ##################################################
libmqe                      ##################################################
libmthca                    ##################################################
libmlx4                     ##################################################
libcxgb3                    ##################################################
libnes                      ##################################################
libipathverbs               ##################################################
Device (15b3:6746):                                                           
        05:00.0 InfiniBand: Mellanox Technologies MT26438 [ConnectX VPI PCIe 2.0 5GT/s - IB QDR / 10GigE Virtualization+] (rev b0)                                                                                   
        Link Width: 8x                                                                                                                                                                                               
        PCI Link Speed: 5Gb/s                                                                                                                                                                                        
                                                                                                                                                                                                                     

Installation finished successfully.

Comment 2 Doug Ledford 2011-10-07 14:45:44 UTC
This hardware is fully supported in rhel6.1, but you must install the libmlx4 package.  We don't require the libmlx4 package in the base package set because not everyone has that hardware, but if you have that hardware, it is required.  Please install the infiniband package group, enable the rdma service, and your system should work as expected.

Comment 3 RHEL Product and Program Management 2011-10-07 15:50:34 UTC
Since RHEL 6.2 External Beta has begun, and this bug remains
unresolved, it has been rejected as it is not proposed as
exception or blocker.

Red Hat invites you to ask your support representative to
propose this request, if appropriate and relevant, in the
next release of Red Hat Enterprise Linux.


Note You need to log in before you can comment on or make changes to this bug.