Created attachment 985858 [details] volume statedumps and sos reports Description of problem: ======================= On a RHEL6.6 client, created two mounts, fuse and nfs. All the files and directories are created using fuse mount and when tried to list them using NFS, it doesn't show anything. But if absolute path of the file or directory is given it lists that. Version-Release number of selected component (if applicable): ============================================================= glusterfs 3.7dev built on Jan 29 2015 01:05:44 Location from which the packages are used: ========================================== http://download.gluster.org/pub/gluster/glusterfs/nightly/glusterfs/epel-6-x86_64/glusterfs-3.7dev-0.545.git88136b5.autobuild/ GlusterFS Cluster Information: ============================== # Number of volumes : 1 # Volume Names : testvol # Volume on which the particular issue is seen [ if applicable ]: testvol # Type of volumes : Disperse # Volume options if available : Option Value ------ ----- cluster.lookup-unhashed on cluster.min-free-disk 10% cluster.min-free-inodes 5% cluster.rebalance-stats off cluster.subvols-per-directory (null) cluster.readdir-optimize off cluster.rsync-hash-regex (null) cluster.extra-hash-regex (null) cluster.dht-xattr-name trusted.glusterfs.dht cluster.randomize-hash-range-by-gfid off cluster.local-volume-name (null) cluster.weighted-rebalance on cluster.switch-pattern (null) cluster.entry-change-log on cluster.read-subvolume (null) cluster.read-subvolume-index -1 cluster.read-hash-mode 1 cluster.background-self-heal-count 16 cluster.metadata-self-heal on cluster.data-self-heal on cluster.entry-self-heal on cluster.self-heal-daemon on cluster.self-heal-window-size 1 cluster.data-change-log on cluster.metadata-change-log on cluster.data-self-heal-algorithm (null) cluster.eager-lock on cluster.quorum-type none cluster.quorum-count (null) cluster.choose-local true cluster.self-heal-readdir-size 1KB cluster.post-op-delay-secs 1 cluster.ensure-durability on cluster.stripe-block-size 128KB cluster.stripe-coalesce true diagnostics.latency-measurement off diagnostics.dump-fd-stats off diagnostics.count-fop-hits off diagnostics.brick-log-level INFO diagnostics.client-log-level INFO diagnostics.brick-sys-log-level CRITICAL diagnostics.client-sys-log-level CRITICAL diagnostics.brick-logger (null) diagnostics.client-logger (null) diagnostics.brick-log-format (null) diagnostics.client-log-format (null) diagnostics.brick-log-buf-size 5 diagnostics.client-log-buf-size 5 diagnostics.brick-log-flush-timeout 120 diagnostics.client-log-flush-timeout 120 performance.cache-max-file-size 0 performance.cache-min-file-size 0 performance.cache-refresh-timeout 1 performance.cache-priority performance.cache-size 32MB performance.io-thread-count 16 performance.high-prio-threads 16 performance.normal-prio-threads 16 performance.low-prio-threads 16 performance.least-prio-threads 1 performance.enable-least-priority on performance.least-rate-limit 0 performance.cache-size 128MB performance.flush-behind on performance.nfs.flush-behind on performance.write-behind-window-size 1MB performance.nfs.write-behind-window-size1MB performance.strict-o-direct off performance.nfs.strict-o-direct off performance.strict-write-ordering off performance.nfs.strict-write-ordering off performance.lazy-open yes performance.read-after-open no performance.read-ahead-page-count 4 performance.md-cache-timeout 1 features.encryption off encryption.master-key (null) encryption.data-key-size 256 encryption.block-size 4096 network.frame-timeout 1800 network.ping-timeout 42 network.tcp-window-size (null) features.lock-heal off features.grace-timeout 10 network.remote-dio disable network.tcp-window-size (null) network.inode-lru-limit 16384 auth.allow * auth.reject (null) transport.keepalive (null) server.allow-insecure (null) server.root-squash off server.anonuid 65534 server.anongid 65534 server.statedump-path /var/run/gluster server.outstanding-rpc-limit 64 features.lock-heal off features.grace-timeout (null) server.ssl (null) auth.ssl-allow * server.manage-gids off client.send-gids on server.gid-timeout 2 server.own-thread (null) performance.write-behind on performance.read-ahead on performance.readdir-ahead off performance.io-cache on performance.quick-read on performance.open-behind on performance.stat-prefetch on performance.client-io-threads off performance.nfs.write-behind on performance.nfs.read-ahead off performance.nfs.io-cache off performance.nfs.quick-read off performance.nfs.stat-prefetch off performance.nfs.io-threads off performance.force-readdirp true features.file-snapshot off features.uss off features.snapshot-directory .snaps features.show-snapshot-directory off network.compression off network.compression.window-size -15 network.compression.mem-level 8 network.compression.min-size 0 network.compression.compression-level -1 network.compression.debug false features.limit-usage (null) features.quota-timeout 0 features.default-soft-limit 80% features.soft-timeout 60 features.hard-timeout 5 features.alert-time 86400 features.quota-deem-statfs off geo-replication.indexing off geo-replication.indexing off geo-replication.ignore-pid-check off geo-replication.ignore-pid-check off features.quota on debug.trace off debug.log-history no debug.log-file no debug.exclude-ops (null) debug.include-ops (null) debug.error-gen off debug.error-failure (null) debug.error-number (null) debug.random-failure off debug.error-fops (null) nfs.enable-ino32 no nfs.mem-factor 15 nfs.export-dirs on nfs.export-volumes on nfs.addr-namelookup off nfs.dynamic-volumes off nfs.register-with-portmap on nfs.outstanding-rpc-limit 16 nfs.port 2049 nfs.rpc-auth-unix on nfs.rpc-auth-null on nfs.rpc-auth-allow all nfs.rpc-auth-reject none nfs.ports-insecure off nfs.trusted-sync off nfs.trusted-write off nfs.volume-access read-write nfs.export-dir nfs.disable false nfs.nlm on nfs.acl on nfs.mount-udp off nfs.mount-rmtab /var/lib/glusterd/nfs/rmtab nfs.rpc-statd /sbin/rpc.statd nfs.server-aux-gids off nfs.drc off nfs.drc-size 0x20000 nfs.read-size (1 * 1048576ULL) nfs.write-size (1 * 1048576ULL) nfs.readdir-size (1 * 1048576ULL) features.read-only off features.worm off storage.linux-aio off storage.batch-fsync-mode reverse-fsync storage.batch-fsync-delay-usec 0 storage.owner-uid -1 storage.owner-gid -1 storage.node-uuid-pathinfo off storage.health-check-interval 30 storage.build-pgfid off storage.bd-aio off cluster.server-quorum-type off cluster.server-quorum-ratio 0 changelog.changelog off changelog.changelog-dir (null) changelog.encoding ascii changelog.rollover-time 15 changelog.fsync-interval 5 changelog.changelog-barrier-timeout 120 features.barrier disable features.barrier-timeout 120 locks.trace disable cluster.disperse-self-heal-daemon enable # Output of gluster volume info [root@dhcp37-183 ~]# gluster volume info Volume Name: testvol Type: Disperse Volume ID: ad1a31fb-2e69-4d5d-9ae0-d057879b8fd5 Status: Started Number of Bricks: 1 x (4 + 2) = 6 Transport-type: tcp Bricks: Brick1: dhcp37-120:/rhs/brick1/b1 Brick2: dhcp37-208:/rhs/brick1/b1 Brick3: dhcp37-178:/rhs/brick1/b1 Brick4: dhcp37-183:/rhs/brick1/b1 Brick5: dhcp37-120:/rhs/brick2/b2 Brick6: dhcp37-208:/rhs/brick2/b2 Options Reconfigured: features.uss: off features.quota: on # Output of gluster volume status [root@dhcp37-183 ~]# gluster volume status Status of volume: testvol Gluster process Port Online Pid ------------------------------------------------------------------------------ Brick dhcp37-120:/rhs/brick1/b1 49152 Y 4946 Brick dhcp37-208:/rhs/brick1/b1 49156 Y 30577 Brick dhcp37-178:/rhs/brick1/b1 49156 Y 30675 Brick dhcp37-183:/rhs/brick1/b1 49156 Y 30439 Brick dhcp37-120:/rhs/brick2/b2 49153 Y 4957 Brick dhcp37-208:/rhs/brick2/b2 49157 Y 30588 NFS Server on localhost 2049 Y 25102 Quota Daemon on localhost N/A Y 30515 NFS Server on 10.70.37.120 2049 Y 313 Quota Daemon on 10.70.37.120 N/A Y 5128 NFS Server on dhcp37-178 2049 Y 25290 Quota Daemon on dhcp37-178 N/A Y 30751 NFS Server on dhcp37-208 2049 Y 25329 Quota Daemon on dhcp37-208 N/A Y 30678 Task Status of Volume testvol ------------------------------------------------------------------------------ There are no active volume tasks # statedump and sosreports will be attached. How reproducible: 100% Steps to Reproduce: 1. Fuse mount and created some files and directories 2. NFS mount and try to list the created files with 'ls' Actual results: Files should get displayed irrespective of the mount type Expected results: Additional info:
Actual results: Doesn't list anything. [root@dhcp37-173 ~]# mount |grep 178 dhcp37-178:/testvol on /mnt/fuse1 type fuse.glusterfs (rw,default_permissions,allow_other,max_read=131072) dhcp37-178:/testvol on /mnt/nfs type nfs (rw,addr=10.70.37.178) [root@dhcp37-173 ~]# ls /mnt/fuse1 1 dir.15 dir.202 dir.256 dir.309 dir.362 dir.415 dir.469 dir.521 dir.575 dir.628 dir.681 dir.734 dir.788 dir.840 dir.894 dir.947 2 dir.150 dir.203 dir.257 dir.31 dir.363 dir.416 dir.47 dir.522 dir.576 dir.629 dir.682 dir.735 dir.789 dir.841 dir.895 dir.948 3 dir.151 dir.204 dir.258 dir.310 dir.364 dir.417 dir.470 dir.523 dir.577 dir.63 dir.683 dir.736 dir.79 dir.842 dir.896 dir.949 dir.1 dir.152 dir.205 dir.259 dir.311 dir.365 dir.418 dir.471 dir.524 dir.578 dir.630 dir.684 dir.737 dir.790 dir.843 dir.897 dir.95 dir.10 dir.153 dir.206 dir.26 dir.312 dir.366 dir.419 dir.472 dir.525 dir.579 dir.631 dir.685 dir.738 dir.791 dir.844 dir.898 dir.950 dir.100 dir.154 dir.207 dir.260 dir.313 dir.367 dir.42 dir.473 dir.526 dir.58 dir.632 dir.686 dir.739 dir.792 dir.845 dir.899 dir.951 dir.101 dir.155 dir.208 dir.261 dir.314 dir.368 dir.420 dir.474 dir.527 dir.580 dir.633 dir.687 dir.74 dir.793 dir.846 dir.9 dir.952 dir.102 dir.156 dir.209 dir.262 dir.315 dir.369 dir.421 dir.475 dir.528 dir.581 dir.634 dir.688 dir.740 dir.794 dir.847 dir.90 dir.953 dir.103 dir.157 dir.21 dir.263 dir.316 dir.37 dir.422 dir.476 dir.529 dir.582 dir.635 dir.689 dir.741 dir.795 dir.848 dir.900 dir.954 dir.104 dir.158 dir.210 dir.264 dir.317 dir.370 dir.423 dir.477 dir.53 dir.583 dir.636 dir.69 dir.742 dir.796 dir.849 dir.901 dir.955 dir.105 dir.159 dir.211 dir.265 dir.318 dir.371 dir.424 dir.478 dir.530 dir.584 dir.637 dir.690 dir.743 dir.797 dir.85 dir.902 dir.956 dir.106 dir.16 dir.212 dir.266 dir.319 dir.372 dir.425 dir.479 dir.531 dir.585 dir.638 dir.691 dir.744 dir.798 dir.850 dir.903 dir.957 dir.107 dir.160 dir.213 dir.267 dir.32 dir.373 dir.426 dir.48 dir.532 dir.586 dir.639 dir.692 dir.745 dir.799 dir.851 dir.904 dir.958 dir.108 dir.161 dir.214 dir.268 dir.320 dir.374 dir.427 dir.480 dir.533 dir.587 dir.64 dir.693 dir.746 dir.8 dir.852 dir.905 dir.959 dir.109 dir.162 dir.215 dir.269 dir.321 dir.375 dir.428 dir.481 dir.534 dir.588 dir.640 dir.694 dir.747 dir.80 dir.853 dir.906 dir.96 dir.11 dir.163 dir.216 dir.27 dir.322 dir.376 dir.429 dir.482 dir.535 dir.589 dir.641 dir.695 dir.748 dir.800 dir.854 dir.907 dir.960 dir.110 dir.164 dir.217 dir.270 dir.323 dir.377 dir.43 dir.483 dir.536 dir.59 dir.642 dir.696 dir.749 dir.801 dir.855 dir.908 dir.961 dir.111 dir.165 dir.218 dir.271 dir.324 dir.378 dir.430 dir.484 dir.537 dir.590 dir.643 dir.697 dir.75 dir.802 dir.856 dir.909 dir.962 dir.112 dir.166 dir.219 dir.272 dir.325 dir.379 dir.431 dir.485 dir.538 dir.591 dir.644 dir.698 dir.750 dir.803 dir.857 dir.91 dir.963 dir.113 dir.167 dir.22 dir.273 dir.326 dir.38 dir.432 dir.486 dir.539 dir.592 dir.645 dir.699 dir.751 dir.804 dir.858 dir.910 dir.964 dir.114 dir.168 dir.220 dir.274 dir.327 dir.380 dir.433 dir.487 dir.54 dir.593 dir.646 dir.7 dir.752 dir.805 dir.859 dir.911 dir.965 dir.115 dir.169 dir.221 dir.275 dir.328 dir.381 dir.434 dir.488 dir.540 dir.594 dir.647 dir.70 dir.753 dir.806 dir.86 dir.912 dir.966 dir.116 dir.17 dir.222 dir.276 dir.329 dir.382 dir.435 dir.489 dir.541 dir.595 dir.648 dir.700 dir.754 dir.807 dir.860 dir.913 dir.967 dir.117 dir.170 dir.223 dir.277 dir.33 dir.383 dir.436 dir.49 dir.542 dir.596 dir.649 dir.701 dir.755 dir.808 dir.861 dir.914 dir.968 dir.118 dir.171 dir.224 dir.278 dir.330 dir.384 dir.437 dir.490 dir.543 dir.597 dir.65 dir.702 dir.756 dir.809 dir.862 dir.915 dir.969 dir.119 dir.172 dir.225 dir.279 dir.331 dir.385 dir.438 dir.491 dir.544 dir.598 dir.650 dir.703 dir.757 dir.81 dir.863 dir.916 dir.97 dir.12 dir.173 dir.226 dir.28 dir.332 dir.386 dir.439 dir.492 dir.545 dir.599 dir.651 dir.704 dir.758 dir.810 dir.864 dir.917 dir.970 dir.120 dir.174 dir.227 dir.280 dir.333 dir.387 dir.44 dir.493 dir.546 dir.6 dir.652 dir.705 dir.759 dir.811 dir.865 dir.918 dir.971 dir.121 dir.175 dir.228 dir.281 dir.334 dir.388 dir.440 dir.494 dir.547 dir.60 dir.653 dir.706 dir.76 dir.812 dir.866 dir.919 dir.972 dir.122 dir.176 dir.229 dir.282 dir.335 dir.389 dir.441 dir.495 dir.548 dir.600 dir.654 dir.707 dir.760 dir.813 dir.867 dir.92 dir.973 dir.123 dir.177 dir.23 dir.283 dir.336 dir.39 dir.442 dir.496 dir.549 dir.601 dir.655 dir.708 dir.761 dir.814 dir.868 dir.920 dir.974 dir.124 dir.178 dir.230 dir.284 dir.337 dir.390 dir.443 dir.497 dir.55 dir.602 dir.656 dir.709 dir.762 dir.815 dir.869 dir.921 dir.975 dir.125 dir.179 dir.231 dir.285 dir.338 dir.391 dir.444 dir.498 dir.550 dir.603 dir.657 dir.71 dir.763 dir.816 dir.87 dir.922 dir.976 dir.126 dir.18 dir.232 dir.286 dir.339 dir.392 dir.445 dir.499 dir.551 dir.604 dir.658 dir.710 dir.764 dir.817 dir.870 dir.923 dir.977 dir.127 dir.180 dir.233 dir.287 dir.34 dir.393 dir.446 dir.5 dir.552 dir.605 dir.659 dir.711 dir.765 dir.818 dir.871 dir.924 dir.978 dir.128 dir.181 dir.234 dir.288 dir.340 dir.394 dir.447 dir.50 dir.553 dir.606 dir.66 dir.712 dir.766 dir.819 dir.872 dir.925 dir.979 dir.129 dir.182 dir.235 dir.289 dir.341 dir.395 dir.448 dir.500 dir.554 dir.607 dir.660 dir.713 dir.767 dir.82 dir.873 dir.926 dir.98 dir.13 dir.183 dir.236 dir.29 dir.342 dir.396 dir.449 dir.501 dir.555 dir.608 dir.661 dir.714 dir.768 dir.820 dir.874 dir.927 dir.980 dir.130 dir.184 dir.237 dir.290 dir.343 dir.397 dir.45 dir.502 dir.556 dir.609 dir.662 dir.715 dir.769 dir.821 dir.875 dir.928 dir.981 dir.131 dir.185 dir.238 dir.291 dir.344 dir.398 dir.450 dir.503 dir.557 dir.61 dir.663 dir.716 dir.77 dir.822 dir.876 dir.929 dir.982 dir.132 dir.186 dir.239 dir.292 dir.345 dir.399 dir.451 dir.504 dir.558 dir.610 dir.664 dir.717 dir.770 dir.823 dir.877 dir.93 dir.983 dir.133 dir.187 dir.24 dir.293 dir.346 dir.4 dir.452 dir.505 dir.559 dir.611 dir.665 dir.718 dir.771 dir.824 dir.878 dir.930 dir.984 dir.134 dir.188 dir.240 dir.294 dir.347 dir.40 dir.453 dir.506 dir.56 dir.612 dir.666 dir.719 dir.772 dir.825 dir.879 dir.931 dir.985 dir.135 dir.189 dir.241 dir.295 dir.348 dir.400 dir.454 dir.507 dir.560 dir.613 dir.667 dir.72 dir.773 dir.826 dir.88 dir.932 dir.986 dir.136 dir.19 dir.242 dir.296 dir.349 dir.401 dir.455 dir.508 dir.561 dir.614 dir.668 dir.720 dir.774 dir.827 dir.880 dir.933 dir.987 dir.137 dir.190 dir.243 dir.297 dir.35 dir.402 dir.456 dir.509 dir.562 dir.615 dir.669 dir.721 dir.775 dir.828 dir.881 dir.934 dir.988 dir.138 dir.191 dir.244 dir.298 dir.350 dir.403 dir.457 dir.51 dir.563 dir.616 dir.67 dir.722 dir.776 dir.829 dir.882 dir.935 dir.989 dir.139 dir.192 dir.245 dir.299 dir.351 dir.404 dir.458 dir.510 dir.564 dir.617 dir.670 dir.723 dir.777 dir.83 dir.883 dir.936 dir.99 dir.14 dir.193 dir.246 dir.3 dir.352 dir.405 dir.459 dir.511 dir.565 dir.618 dir.671 dir.724 dir.778 dir.830 dir.884 dir.937 dir.990 dir.140 dir.194 dir.247 dir.30 dir.353 dir.406 dir.46 dir.512 dir.566 dir.619 dir.672 dir.725 dir.779 dir.831 dir.885 dir.938 dir.991 dir.141 dir.195 dir.248 dir.300 dir.354 dir.407 dir.460 dir.513 dir.567 dir.62 dir.673 dir.726 dir.78 dir.832 dir.886 dir.939 dirs dir.142 dir.196 dir.249 dir.301 dir.355 dir.408 dir.461 dir.514 dir.568 dir.620 dir.674 dir.727 dir.780 dir.833 dir.887 dir.94 files dir.143 dir.197 dir.25 dir.302 dir.356 dir.409 dir.462 dir.515 dir.569 dir.621 dir.675 dir.728 dir.781 dir.834 dir.888 dir.940 dir.144 dir.198 dir.250 dir.303 dir.357 dir.41 dir.463 dir.516 dir.57 dir.622 dir.676 dir.729 dir.782 dir.835 dir.889 dir.941 dir.145 dir.199 dir.251 dir.304 dir.358 dir.410 dir.464 dir.517 dir.570 dir.623 dir.677 dir.73 dir.783 dir.836 dir.89 dir.942 dir.146 dir.2 dir.252 dir.305 dir.359 dir.411 dir.465 dir.518 dir.571 dir.624 dir.678 dir.730 dir.784 dir.837 dir.890 dir.943 dir.147 dir.20 dir.253 dir.306 dir.36 dir.412 dir.466 dir.519 dir.572 dir.625 dir.679 dir.731 dir.785 dir.838 dir.891 dir.944 dir.148 dir.200 dir.254 dir.307 dir.360 dir.413 dir.467 dir.52 dir.573 dir.626 dir.68 dir.732 dir.786 dir.839 dir.892 dir.945 dir.149 dir.201 dir.255 dir.308 dir.361 dir.414 dir.468 dir.520 dir.574 dir.627 dir.680 dir.733 dir.787 dir.84 dir.893 dir.946 [root@dhcp37-173 ~]# ls /mnt/nfs [root@dhcp37-173 ~]# Expected results: Files/directories should get displayed irrespective of the mount type Additional info:
It seems EC is receiving an OPENDIR request and before it has been completely processed, it receives a READDIRP request that fails with EINVAL. I'll check what's the cause.
REVIEW: http://review.gluster.org/9513 (ec: Special handling of anonymous fd) posted (#1) for review on master by Xavier Hernandez (xhernandez)
COMMIT: http://review.gluster.org/9513 committed in master by Vijay Bellur (vbellur) ------ commit f75bb4a9ca14b50c7f828ee3fe4ba73dd78f094c Author: Xavier Hernandez <xhernandez> Date: Fri Jan 30 11:47:11 2015 +0100 ec: Special handling of anonymous fd Anonymous file descriptors need to be handled specially because they can be used in some non standard ways (i.e. an anonymous fd can be used without having been opened). This caused NFS to fail on some operations because ec always expected to have a previous successful opendir call (from patch http://review.gluster.org/9098/). This patch treats all anonymous fd as opened on all subvolumes. Change-Id: I09dbbce2ffc1ae3a5bcbb328bed55b84f4f0b9f8 BUG: 1187474 Signed-off-by: Xavier Hernandez <xhernandez> Reviewed-on: http://review.gluster.org/9513 Tested-by: Gluster Build System <jenkins.com> Reviewed-by: Pranith Kumar Karampuri <pkarampu> Reviewed-by: Vijay Bellur <vbellur>
verified this on latest master and the issue is not seen.
This bug is getting closed because a release has been made available that should address the reported issue. In case the problem is still not fixed with glusterfs-3.7.0, please open a new bug report. glusterfs-3.7.0 has been announced on the Gluster mailinglists [1], packages for several distributions should become available in the near future. Keep an eye on the Gluster Users mailinglist [2] and the update infrastructure for your distribution. [1] http://thread.gmane.org/gmane.comp.file-systems.gluster.devel/10939 [2] http://thread.gmane.org/gmane.comp.file-systems.gluster.user