Bug 2021141

Summary: Cluster should allow a fast rollout of kube-apiserver is failing on single node
Product: OpenShift Container Platform Reporter: Stephen Benjamin <stbenjam>
Component: InstallerAssignee: Eran Cohen <ercohen>
Installer sub component: Single Node OpenShift QA Contact: Omri Hochman <ohochman>
Status: CLOSED ERRATA Docs Contact:
Severity: medium    
Priority: medium CC: aos-bugs, ercohen, sasha, sippy, wking
Version: 4.9   
Target Milestone: ---   
Target Release: 4.10.0   
Hardware: Unspecified   
OS: Unspecified   
Whiteboard:
Fixed In Version: Doc Type: If docs needed, set a value
Doc Text:
Story Points: ---
Clone Of: Environment:
job=periodic-ci-openshift-release-master-nightly-4.10-e2e-aws-single-node-serial=all
Last Closed: 2022-03-10 16:26:09 UTC Type: Bug
Regression: --- Mount Type: ---
Documentation: --- CRM:
Verified Versions: Category: ---
oVirt Team: --- RHEL 7.3 requirements from Atomic Host:
Cloudforms Team: --- Target Upstream Version:
Embargoed:
Bug Depends On: 1999561    
Bug Blocks:    

Description Stephen Benjamin 2021-11-08 13:01:27 UTC 
[Conformance][sig-sno][Serial] Cluster should allow a fast rollout of kube-apiserver [Suite:openshift/conformance/serial/minimal]

is failing frequently in CI, see:
https://sippy.ci.openshift.org/sippy-ng/tests/4.10/analysis?test=%5BConformance%5D%5Bsig-sno%5D%5BSerial%5D%20Cluster%20should%20allow%20a%20fast%20rollout%20of%20kube-apiserver%20%5BSuite%3Aopenshift%2Fconformance%2Fserial%2Fminimal%5D

The test is failing with:
  fail [github.com/openshift/origin/test/extended/apiserver/resiliency.go:94]:    You may only call It from within a Describe, Context or When


It looks like the It on L94 is indeed being called within another It, which is not allowed:
  https://github.com/openshift/origin/blob/master/test/extended/apiserver/resiliency.go#L94-L97


This was added as part of the bugfix for BZ1999561 in https://github.com/openshift/origin/pull/26451
Comment 1 Stephen Benjamin 2021-11-08 13:02:46 UTC 
@ Eran, can you take a look at this? Thanks!
Comment 4 Eran Cohen 2021-11-14 07:30:41 UTC 
After the fix was merged the test is passing:
https://prow.ci.openshift.org/view/gs/origin-ci-test/logs/periodic-ci-openshift-release-master-nightly-4.10-e2e-aws-single-node-serial/1459442999372025856
Comment 7 Alexander Chuzhoy 2022-02-17 19:39:55 UTC 
#######################################################################################################
#########################    Starting a kubeapiserver patch test1    #################################
#######################################################################################################
Thu Feb 17 13:49:54 EST 2022
patching the kubeapiserver
kubeapiserver.operator.openshift.io/cluster patched
Waiting until api stops working - 3 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 13.. 14.. 15.. 16.. 17.. 18.. 19.. 20.. 21.. 
Waiting until api starts working - 1 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 
It took 0 minutes and 20 seconds
#######################################################################################################
#########################    Starting a kubeapiserver patch test2    #################################
#######################################################################################################
Thu Feb 17 13:51:20 EST 2022
patching the kubeapiserver
kubeapiserver.operator.openshift.io/cluster patched
Waiting until api stops working - 3 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 13.. 14.. 15.. 16.. 17.. 18.. 19.. 20.. 21.. 22.. 23.. 24.. 25.. 26.. 27.. 28.. 29.. 30.. 31.. 32.. 33.. 
Waiting until api starts working - 1 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 
It took 0 minutes and 19 seconds
#######################################################################################################
#########################    Starting a kubeapiserver patch test3    #################################
#######################################################################################################
Thu Feb 17 13:53:22 EST 2022
patching the kubeapiserver
kubeapiserver.operator.openshift.io/cluster patched
Waiting until api stops working - 3 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 13.. 14.. 15.. 16.. 17.. 18.. 19.. 20.. 21.. 22.. 23.. 24.. 25.. 26.. 27.. 
Waiting until api starts working - 1 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 
It took 0 minutes and 18 seconds
#######################################################################################################
#########################    Starting a kubeapiserver patch test4    #################################
#######################################################################################################
Thu Feb 17 13:55:05 EST 2022
patching the kubeapiserver
kubeapiserver.operator.openshift.io/cluster patched
Waiting until api stops working - 3 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 13.. 14.. 15.. 16.. 17.. 18.. 19.. 20.. 21.. 22.. 23.. 24.. 25.. 26.. 27.. 28.. 
Waiting until api starts working - 1 seconds intervals
1.. 2.. 3.. 4.. 
It took 0 minutes and 11 seconds
#######################################################################################################
#########################    Starting a kubeapiserver patch test5    #################################
#######################################################################################################
Thu Feb 17 13:56:54 EST 2022
patching the kubeapiserver
kubeapiserver.operator.openshift.io/cluster patched
Waiting until api stops working - 3 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 13.. 14.. 15.. 16.. 17.. 18.. 19.. 20.. 21.. 22.. 23.. 24.. 25.. 26.. 27.. 28.. 29.. 30.. 31.. 32.. 33.. 34.. 35.. 36.. 37.. 
Waiting until api starts working - 1 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 
It took 0 minutes and 13 seconds
#######################################################################################################
#########################    Starting a kubeapiserver patch test6    #################################
#######################################################################################################
Thu Feb 17 13:59:02 EST 2022
patching the kubeapiserver
kubeapiserver.operator.openshift.io/cluster patched
Waiting until api stops working - 3 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 13.. 14.. 15.. 16.. 17.. 18.. 19.. 20.. 21.. 22.. 23.. 24.. 25.. 26.. 27.. 28.. 29.. 
Waiting until api starts working - 1 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 
It took 0 minutes and 20 seconds
#######################################################################################################
#########################    Starting a kubeapiserver patch test7    #################################
#######################################################################################################
Thu Feb 17 14:00:53 EST 2022
patching the kubeapiserver
kubeapiserver.operator.openshift.io/cluster patched
Waiting until api stops working - 3 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 13.. 14.. 15.. 16.. 17.. 18.. 19.. 20.. 21.. 22.. 23.. 24.. 25.. 26.. 27.. 
Waiting until api starts working - 1 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 13.. 14.. 15.. 
It took 0 minutes and 23 seconds
#######################################################################################################
#########################    Starting a kubeapiserver patch test8    #################################
#######################################################################################################
Thu Feb 17 14:02:41 EST 2022
patching the kubeapiserver
kubeapiserver.operator.openshift.io/cluster patched
Waiting until api stops working - 3 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 13.. 14.. 15.. 16.. 17.. 18.. 19.. 20.. 21.. 22.. 23.. 24.. 25.. 26.. 27.. 28.. 29.. 30.. 31.. 
Waiting until api starts working - 1 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 
It took 0 minutes and 21 seconds
#######################################################################################################
#########################    Starting a kubeapiserver patch test9    #################################
#######################################################################################################
Thu Feb 17 14:04:38 EST 2022
patching the kubeapiserver
kubeapiserver.operator.openshift.io/cluster patched
Waiting until api stops working - 3 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 13.. 14.. 15.. 16.. 17.. 18.. 19.. 20.. 21.. 22.. 23.. 24.. 25.. 26.. 27.. 28.. 29.. 30.. 
Waiting until api starts working - 1 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 13.. 
It took 0 minutes and 22 seconds
#######################################################################################################
#########################    Starting a kubeapiserver patch test10    #################################
#######################################################################################################
Thu Feb 17 14:06:33 EST 2022
patching the kubeapiserver
kubeapiserver.operator.openshift.io/cluster patched
Waiting until api stops working - 3 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 13.. 14.. 15.. 16.. 17.. 18.. 19.. 20.. 21.. 22.. 23.. 24.. 25.. 26.. 27.. 28.. 29.. 
Waiting until api starts working - 1 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 
It took 0 minutes and 18 seconds
#######################################################################################################
#########################    Starting a kubeapiserver patch test11    #################################
#######################################################################################################
Thu Feb 17 14:08:22 EST 2022
patching the kubeapiserver
kubeapiserver.operator.openshift.io/cluster patched
Waiting until api stops working - 3 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 13.. 14.. 15.. 16.. 17.. 18.. 19.. 20.. 21.. 22.. 23.. 24.. 25.. 26.. 27.. 28.. 29.. 30.. 31.. 32.. 33.. 
Waiting until api starts working - 1 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 13.. 14.. 
It took 0 minutes and 22 seconds
#######################################################################################################
#########################    Starting a kubeapiserver patch test12    #################################
#######################################################################################################
Thu Feb 17 14:10:27 EST 2022
patching the kubeapiserver
kubeapiserver.operator.openshift.io/cluster patched
Waiting until api stops working - 3 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 13.. 14.. 15.. 16.. 17.. 18.. 19.. 20.. 21.. 22.. 23.. 24.. 25.. 26.. 27.. 28.. 29.. 
Waiting until api starts working - 1 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 
It took 0 minutes and 17 seconds
#######################################################################################################
#########################    Starting a kubeapiserver patch test13    #################################
#######################################################################################################
Thu Feb 17 14:12:29 EST 2022
patching the kubeapiserver
kubeapiserver.operator.openshift.io/cluster patched
Waiting until api stops working - 3 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 13.. 14.. 15.. 16.. 17.. 18.. 19.. 20.. 21.. 22.. 23.. 24.. 25.. 26.. 
Waiting until api starts working - 1 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 
It took 0 minutes and 19 seconds
#######################################################################################################
#########################    Starting a kubeapiserver patch test14    #################################
#######################################################################################################
Thu Feb 17 14:14:09 EST 2022
patching the kubeapiserver
kubeapiserver.operator.openshift.io/cluster patched
Waiting until api stops working - 3 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 13.. 14.. 15.. 16.. 17.. 18.. 19.. 20.. 21.. 22.. 23.. 24.. 25.. 26.. 27.. 28.. 29.. 30.. 31.. 
Waiting until api starts working - 1 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 
It took 0 minutes and 17 seconds
#######################################################################################################
#########################    Starting a kubeapiserver patch test15    #################################
#######################################################################################################
Thu Feb 17 14:16:03 EST 2022
patching the kubeapiserver
kubeapiserver.operator.openshift.io/cluster patched
Waiting until api stops working - 3 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 13.. 14.. 15.. 16.. 17.. 18.. 19.. 20.. 21.. 22.. 23.. 24.. 25.. 26.. 27.. 28.. 29.. 30.. 31.. 32.. 33.. 34.. 
Waiting until api starts working - 1 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 13.. 14.. 
It took 0 minutes and 23 seconds
#######################################################################################################
#########################    Starting a kubeapiserver patch test16    #################################
#######################################################################################################
Thu Feb 17 14:18:12 EST 2022
patching the kubeapiserver
kubeapiserver.operator.openshift.io/cluster patched
Waiting until api stops working - 3 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 13.. 14.. 15.. 16.. 17.. 18.. 19.. 20.. 21.. 22.. 23.. 24.. 25.. 26.. 
Waiting until api starts working - 1 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 13.. 14.. 
It took 0 minutes and 23 seconds
#######################################################################################################
#########################    Starting a kubeapiserver patch test17    #################################
#######################################################################################################
Thu Feb 17 14:19:56 EST 2022
patching the kubeapiserver
kubeapiserver.operator.openshift.io/cluster patched
Waiting until api stops working - 3 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 13.. 14.. 15.. 16.. 17.. 18.. 19.. 20.. 21.. 22.. 23.. 24.. 25.. 26.. 
Waiting until api starts working - 1 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 
It took 0 minutes and 21 seconds
#######################################################################################################
#########################    Starting a kubeapiserver patch test18    #################################
#######################################################################################################
Thu Feb 17 14:21:38 EST 2022
patching the kubeapiserver
kubeapiserver.operator.openshift.io/cluster patched
Waiting until api stops working - 3 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 13.. 14.. 15.. 16.. 17.. 18.. 19.. 20.. 21.. 22.. 23.. 24.. 25.. 26.. 27.. 28.. 29.. 30.. 31.. 
Waiting until api starts working - 1 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 13.. 
It took 0 minutes and 21 seconds
#######################################################################################################
#########################    Starting a kubeapiserver patch test19    #################################
#######################################################################################################
Thu Feb 17 14:23:36 EST 2022
patching the kubeapiserver
kubeapiserver.operator.openshift.io/cluster patched
Waiting until api stops working - 3 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 13.. 14.. 15.. 16.. 17.. 18.. 19.. 20.. 21.. 22.. 23.. 24.. 25.. 26.. 27.. 28.. 29.. 30.. 31.. 32.. 33.. 34.. 35.. 
Waiting until api starts working - 1 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 13.. 
It took 0 minutes and 21 seconds
#######################################################################################################
#########################    Starting a kubeapiserver patch test20    #################################
#######################################################################################################
Thu Feb 17 14:25:46 EST 2022
patching the kubeapiserver
kubeapiserver.operator.openshift.io/cluster patched
Waiting until api stops working - 3 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 13.. 14.. 15.. 16.. 17.. 18.. 19.. 20.. 21.. 22.. 23.. 24.. 25.. 26.. 27.. 28.. 29.. 30.. 31.. 32.. 
Waiting until api starts working - 1 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 13.. 14.. 
It took 0 minutes and 23 seconds




Grepping for the time it took:
It took 0 minutes and 20 seconds
It took 0 minutes and 19 seconds
It took 0 minutes and 18 seconds
It took 0 minutes and 11 seconds
It took 0 minutes and 13 seconds
It took 0 minutes and 20 seconds
It took 0 minutes and 23 seconds
It took 0 minutes and 21 seconds
It took 0 minutes and 22 seconds
It took 0 minutes and 18 seconds
It took 0 minutes and 22 seconds
It took 0 minutes and 17 seconds
It took 0 minutes and 19 seconds
It took 0 minutes and 17 seconds
It took 0 minutes and 23 seconds
It took 0 minutes and 23 seconds
It took 0 minutes and 21 seconds
It took 0 minutes and 21 seconds
It took 0 minutes and 21 seconds
It took 0 minutes and 23 seconds


As we can see the API was down for less than a minute every time and it's consitent.
Note that it took more than a minute for the API to go down.
Comment 8 Alexander Chuzhoy 2022-02-17 19:41:02 UTC 
Version: 4.10.0-0.nightly-2022-02-16-171622

Verifying based on comment #7 (same setup)
Comment 10 errata-xmlrpc 2022-03-10 16:26:09 UTC 
Since the problem described in this bug report should be
resolved in a recent advisory, it has been closed with a
resolution of ERRATA.

For information on the advisory (Moderate: OpenShift Container Platform 4.10.3 security update), and where to find the updated
files, follow the link below.

If the solution does not work for you, open a new bug report.

https://access.redhat.com/errata/RHSA-2022:0056