Bug 2021141 - Cluster should allow a fast rollout of kube-apiserver is failing on single node
Summary: Cluster should allow a fast rollout of kube-apiserver is failing on single node
Keywords:
Status: CLOSED ERRATA
Alias: None
Product: OpenShift Container Platform
Classification: Red Hat
Component: Installer
Version: 4.9
Hardware: Unspecified
OS: Unspecified
medium
medium
Target Milestone: ---
: 4.10.0
Assignee: Eran Cohen
QA Contact: Omri Hochman
URL:
Whiteboard:
Depends On: 1999561
Blocks:
TreeView+ depends on / blocked
 
Reported: 2021-11-08 13:01 UTC by Stephen Benjamin
Modified: 2022-03-10 16:26 UTC (History)
5 users (show)

Fixed In Version:
Doc Type: If docs needed, set a value
Doc Text:
Clone Of:
Environment:
job=periodic-ci-openshift-release-master-nightly-4.10-e2e-aws-single-node-serial=all
Last Closed: 2022-03-10 16:26:09 UTC
Target Upstream Version:
Embargoed:


Attachments (Terms of Use)


Links
System ID Private Priority Status Summary Last Updated
Github openshift origin pull 26576 0 None Merged Bug 2021141: Cluster should allow a fast rollout of kube-apiserver is… 2021-11-14 07:30:33 UTC
Red Hat Product Errata RHSA-2022:0056 0 None None None 2022-03-10 16:26:27 UTC

Description Stephen Benjamin 2021-11-08 13:01:27 UTC
[Conformance][sig-sno][Serial] Cluster should allow a fast rollout of kube-apiserver [Suite:openshift/conformance/serial/minimal]

is failing frequently in CI, see:
https://sippy.ci.openshift.org/sippy-ng/tests/4.10/analysis?test=%5BConformance%5D%5Bsig-sno%5D%5BSerial%5D%20Cluster%20should%20allow%20a%20fast%20rollout%20of%20kube-apiserver%20%5BSuite%3Aopenshift%2Fconformance%2Fserial%2Fminimal%5D

The test is failing with:
  fail [github.com/openshift/origin/test/extended/apiserver/resiliency.go:94]:    You may only call It from within a Describe, Context or When


It looks like the It on L94 is indeed being called within another It, which is not allowed:
  https://github.com/openshift/origin/blob/master/test/extended/apiserver/resiliency.go#L94-L97


This was added as part of the bugfix for BZ1999561 in https://github.com/openshift/origin/pull/26451

Comment 1 Stephen Benjamin 2021-11-08 13:02:46 UTC
@ Eran, can you take a look at this? Thanks!

Comment 7 Alexander Chuzhoy 2022-02-17 19:39:55 UTC
#######################################################################################################
#########################    Starting a kubeapiserver patch test1    #################################
#######################################################################################################
Thu Feb 17 13:49:54 EST 2022
patching the kubeapiserver
kubeapiserver.operator.openshift.io/cluster patched
Waiting until api stops working - 3 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 13.. 14.. 15.. 16.. 17.. 18.. 19.. 20.. 21.. 
Waiting until api starts working - 1 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 
It took 0 minutes and 20 seconds
#######################################################################################################
#########################    Starting a kubeapiserver patch test2    #################################
#######################################################################################################
Thu Feb 17 13:51:20 EST 2022
patching the kubeapiserver
kubeapiserver.operator.openshift.io/cluster patched
Waiting until api stops working - 3 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 13.. 14.. 15.. 16.. 17.. 18.. 19.. 20.. 21.. 22.. 23.. 24.. 25.. 26.. 27.. 28.. 29.. 30.. 31.. 32.. 33.. 
Waiting until api starts working - 1 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 
It took 0 minutes and 19 seconds
#######################################################################################################
#########################    Starting a kubeapiserver patch test3    #################################
#######################################################################################################
Thu Feb 17 13:53:22 EST 2022
patching the kubeapiserver
kubeapiserver.operator.openshift.io/cluster patched
Waiting until api stops working - 3 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 13.. 14.. 15.. 16.. 17.. 18.. 19.. 20.. 21.. 22.. 23.. 24.. 25.. 26.. 27.. 
Waiting until api starts working - 1 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 
It took 0 minutes and 18 seconds
#######################################################################################################
#########################    Starting a kubeapiserver patch test4    #################################
#######################################################################################################
Thu Feb 17 13:55:05 EST 2022
patching the kubeapiserver
kubeapiserver.operator.openshift.io/cluster patched
Waiting until api stops working - 3 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 13.. 14.. 15.. 16.. 17.. 18.. 19.. 20.. 21.. 22.. 23.. 24.. 25.. 26.. 27.. 28.. 
Waiting until api starts working - 1 seconds intervals
1.. 2.. 3.. 4.. 
It took 0 minutes and 11 seconds
#######################################################################################################
#########################    Starting a kubeapiserver patch test5    #################################
#######################################################################################################
Thu Feb 17 13:56:54 EST 2022
patching the kubeapiserver
kubeapiserver.operator.openshift.io/cluster patched
Waiting until api stops working - 3 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 13.. 14.. 15.. 16.. 17.. 18.. 19.. 20.. 21.. 22.. 23.. 24.. 25.. 26.. 27.. 28.. 29.. 30.. 31.. 32.. 33.. 34.. 35.. 36.. 37.. 
Waiting until api starts working - 1 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 
It took 0 minutes and 13 seconds
#######################################################################################################
#########################    Starting a kubeapiserver patch test6    #################################
#######################################################################################################
Thu Feb 17 13:59:02 EST 2022
patching the kubeapiserver
kubeapiserver.operator.openshift.io/cluster patched
Waiting until api stops working - 3 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 13.. 14.. 15.. 16.. 17.. 18.. 19.. 20.. 21.. 22.. 23.. 24.. 25.. 26.. 27.. 28.. 29.. 
Waiting until api starts working - 1 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 
It took 0 minutes and 20 seconds
#######################################################################################################
#########################    Starting a kubeapiserver patch test7    #################################
#######################################################################################################
Thu Feb 17 14:00:53 EST 2022
patching the kubeapiserver
kubeapiserver.operator.openshift.io/cluster patched
Waiting until api stops working - 3 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 13.. 14.. 15.. 16.. 17.. 18.. 19.. 20.. 21.. 22.. 23.. 24.. 25.. 26.. 27.. 
Waiting until api starts working - 1 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 13.. 14.. 15.. 
It took 0 minutes and 23 seconds
#######################################################################################################
#########################    Starting a kubeapiserver patch test8    #################################
#######################################################################################################
Thu Feb 17 14:02:41 EST 2022
patching the kubeapiserver
kubeapiserver.operator.openshift.io/cluster patched
Waiting until api stops working - 3 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 13.. 14.. 15.. 16.. 17.. 18.. 19.. 20.. 21.. 22.. 23.. 24.. 25.. 26.. 27.. 28.. 29.. 30.. 31.. 
Waiting until api starts working - 1 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 
It took 0 minutes and 21 seconds
#######################################################################################################
#########################    Starting a kubeapiserver patch test9    #################################
#######################################################################################################
Thu Feb 17 14:04:38 EST 2022
patching the kubeapiserver
kubeapiserver.operator.openshift.io/cluster patched
Waiting until api stops working - 3 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 13.. 14.. 15.. 16.. 17.. 18.. 19.. 20.. 21.. 22.. 23.. 24.. 25.. 26.. 27.. 28.. 29.. 30.. 
Waiting until api starts working - 1 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 13.. 
It took 0 minutes and 22 seconds
#######################################################################################################
#########################    Starting a kubeapiserver patch test10    #################################
#######################################################################################################
Thu Feb 17 14:06:33 EST 2022
patching the kubeapiserver
kubeapiserver.operator.openshift.io/cluster patched
Waiting until api stops working - 3 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 13.. 14.. 15.. 16.. 17.. 18.. 19.. 20.. 21.. 22.. 23.. 24.. 25.. 26.. 27.. 28.. 29.. 
Waiting until api starts working - 1 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 
It took 0 minutes and 18 seconds
#######################################################################################################
#########################    Starting a kubeapiserver patch test11    #################################
#######################################################################################################
Thu Feb 17 14:08:22 EST 2022
patching the kubeapiserver
kubeapiserver.operator.openshift.io/cluster patched
Waiting until api stops working - 3 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 13.. 14.. 15.. 16.. 17.. 18.. 19.. 20.. 21.. 22.. 23.. 24.. 25.. 26.. 27.. 28.. 29.. 30.. 31.. 32.. 33.. 
Waiting until api starts working - 1 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 13.. 14.. 
It took 0 minutes and 22 seconds
#######################################################################################################
#########################    Starting a kubeapiserver patch test12    #################################
#######################################################################################################
Thu Feb 17 14:10:27 EST 2022
patching the kubeapiserver
kubeapiserver.operator.openshift.io/cluster patched
Waiting until api stops working - 3 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 13.. 14.. 15.. 16.. 17.. 18.. 19.. 20.. 21.. 22.. 23.. 24.. 25.. 26.. 27.. 28.. 29.. 
Waiting until api starts working - 1 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 
It took 0 minutes and 17 seconds
#######################################################################################################
#########################    Starting a kubeapiserver patch test13    #################################
#######################################################################################################
Thu Feb 17 14:12:29 EST 2022
patching the kubeapiserver
kubeapiserver.operator.openshift.io/cluster patched
Waiting until api stops working - 3 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 13.. 14.. 15.. 16.. 17.. 18.. 19.. 20.. 21.. 22.. 23.. 24.. 25.. 26.. 
Waiting until api starts working - 1 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 
It took 0 minutes and 19 seconds
#######################################################################################################
#########################    Starting a kubeapiserver patch test14    #################################
#######################################################################################################
Thu Feb 17 14:14:09 EST 2022
patching the kubeapiserver
kubeapiserver.operator.openshift.io/cluster patched
Waiting until api stops working - 3 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 13.. 14.. 15.. 16.. 17.. 18.. 19.. 20.. 21.. 22.. 23.. 24.. 25.. 26.. 27.. 28.. 29.. 30.. 31.. 
Waiting until api starts working - 1 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 
It took 0 minutes and 17 seconds
#######################################################################################################
#########################    Starting a kubeapiserver patch test15    #################################
#######################################################################################################
Thu Feb 17 14:16:03 EST 2022
patching the kubeapiserver
kubeapiserver.operator.openshift.io/cluster patched
Waiting until api stops working - 3 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 13.. 14.. 15.. 16.. 17.. 18.. 19.. 20.. 21.. 22.. 23.. 24.. 25.. 26.. 27.. 28.. 29.. 30.. 31.. 32.. 33.. 34.. 
Waiting until api starts working - 1 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 13.. 14.. 
It took 0 minutes and 23 seconds
#######################################################################################################
#########################    Starting a kubeapiserver patch test16    #################################
#######################################################################################################
Thu Feb 17 14:18:12 EST 2022
patching the kubeapiserver
kubeapiserver.operator.openshift.io/cluster patched
Waiting until api stops working - 3 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 13.. 14.. 15.. 16.. 17.. 18.. 19.. 20.. 21.. 22.. 23.. 24.. 25.. 26.. 
Waiting until api starts working - 1 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 13.. 14.. 
It took 0 minutes and 23 seconds
#######################################################################################################
#########################    Starting a kubeapiserver patch test17    #################################
#######################################################################################################
Thu Feb 17 14:19:56 EST 2022
patching the kubeapiserver
kubeapiserver.operator.openshift.io/cluster patched
Waiting until api stops working - 3 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 13.. 14.. 15.. 16.. 17.. 18.. 19.. 20.. 21.. 22.. 23.. 24.. 25.. 26.. 
Waiting until api starts working - 1 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 
It took 0 minutes and 21 seconds
#######################################################################################################
#########################    Starting a kubeapiserver patch test18    #################################
#######################################################################################################
Thu Feb 17 14:21:38 EST 2022
patching the kubeapiserver
kubeapiserver.operator.openshift.io/cluster patched
Waiting until api stops working - 3 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 13.. 14.. 15.. 16.. 17.. 18.. 19.. 20.. 21.. 22.. 23.. 24.. 25.. 26.. 27.. 28.. 29.. 30.. 31.. 
Waiting until api starts working - 1 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 13.. 
It took 0 minutes and 21 seconds
#######################################################################################################
#########################    Starting a kubeapiserver patch test19    #################################
#######################################################################################################
Thu Feb 17 14:23:36 EST 2022
patching the kubeapiserver
kubeapiserver.operator.openshift.io/cluster patched
Waiting until api stops working - 3 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 13.. 14.. 15.. 16.. 17.. 18.. 19.. 20.. 21.. 22.. 23.. 24.. 25.. 26.. 27.. 28.. 29.. 30.. 31.. 32.. 33.. 34.. 35.. 
Waiting until api starts working - 1 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 13.. 
It took 0 minutes and 21 seconds
#######################################################################################################
#########################    Starting a kubeapiserver patch test20    #################################
#######################################################################################################
Thu Feb 17 14:25:46 EST 2022
patching the kubeapiserver
kubeapiserver.operator.openshift.io/cluster patched
Waiting until api stops working - 3 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 13.. 14.. 15.. 16.. 17.. 18.. 19.. 20.. 21.. 22.. 23.. 24.. 25.. 26.. 27.. 28.. 29.. 30.. 31.. 32.. 
Waiting until api starts working - 1 seconds intervals
1.. 2.. 3.. 4.. 5.. 6.. 7.. 8.. 9.. 10.. 11.. 12.. 13.. 14.. 
It took 0 minutes and 23 seconds




Grepping for the time it took:
It took 0 minutes and 20 seconds
It took 0 minutes and 19 seconds
It took 0 minutes and 18 seconds
It took 0 minutes and 11 seconds
It took 0 minutes and 13 seconds
It took 0 minutes and 20 seconds
It took 0 minutes and 23 seconds
It took 0 minutes and 21 seconds
It took 0 minutes and 22 seconds
It took 0 minutes and 18 seconds
It took 0 minutes and 22 seconds
It took 0 minutes and 17 seconds
It took 0 minutes and 19 seconds
It took 0 minutes and 17 seconds
It took 0 minutes and 23 seconds
It took 0 minutes and 23 seconds
It took 0 minutes and 21 seconds
It took 0 minutes and 21 seconds
It took 0 minutes and 21 seconds
It took 0 minutes and 23 seconds


As we can see the API was down for less than a minute every time and it's consitent.
Note that it took more than a minute for the API to go down.

Comment 8 Alexander Chuzhoy 2022-02-17 19:41:02 UTC
Version: 4.10.0-0.nightly-2022-02-16-171622

Verifying based on comment #7 (same setup)

Comment 10 errata-xmlrpc 2022-03-10 16:26:09 UTC
Since the problem described in this bug report should be
resolved in a recent advisory, it has been closed with a
resolution of ERRATA.

For information on the advisory (Moderate: OpenShift Container Platform 4.10.3 security update), and where to find the updated
files, follow the link below.

If the solution does not work for you, open a new bug report.

https://access.redhat.com/errata/RHSA-2022:0056


Note You need to log in before you can comment on or make changes to this bug.