아침부터 깃허브 액션이 안되서 CI/CD 배포가 중단되었단 팀원들의 이야기를 듣고 긴급 대응에 들어갔다.

Github Actions 를 보면 이렇게 Queued 상태로 계속 걸려있다.

🙏 결론부터 말하자면 깃허브 장애였다.

깃허브 장애 체크를 위한 서비스 상태 웹사이트는 https://www.githubstatus.com/ 여기를 접속하면 된다.

이제 원인에 대해서 확인하기 전까지 체크한 것들을 정리해 보겠다.

1. Github Actions 비용 제한 체크

우선 우리는 지출 비용에 대한 문제인지 체크를 했다.
깃허브 액션은 2,000회/월 가 무료이고 그 이상은 건당 요금이 발생하여 카드 등록을 하고 써야 한다.
또 무분별하게 금액이 결제되지 않도록 최대 지출 금액을 제한해 둘 수 있다.

2,000회를 다 썼고 유료 금액이 올라가고 있었다. 하지만 제한해 놓은 10달러까지는 올라가지 않고 5.1달러까지 진행중이였다.

지출 금액 제한이 문제일까봐 금액을 무제한으로 설정해 보아도 변경되지 않았다.
예전에 이 지출 금액 문제로 git actions이 작동되지 않았던 이슈가 있었는데 이번에는 아닌 것 같다.

2. 다른 정상 배포되었던 브랜치로 다시 시도

해당 브랜치에서 변경된 코드가 문제인 듯 하여 다른 브랜치인 develop 브랜치로 다시 Github Actions 를 실행시켰지만 여전히 Queued로 멈춰있다.

브랜치는 문제가 아니였다.

3. 다른 저장소에서 Github Actions 실행

다른 레파지토리에 설정해 놓은 workflows도 문제인지 시도해 보았다.
역시 다른 레파지토리도 Queued에서 멈춰서 진행되지 않았다.

4. 성공했던 Github Actions 를 Re-run jobs

마지막으로 성공했던 Actions을 열어 우측의 Re-run all jobs 버튼을 눌러 재작동하면 다시 돌아올까 해서 재작동했다.

Re-run jobs를 해보았지만 역시 Queued로 멈췄다.

5. 머신 버전 변경

해외에서 질의 응답에 workflows 작동하는 머신의 버전을 최신으로 변경하라고 한다. [ 링크 ]

이미 우리의 workflows 는 이미 최신 버전으로 가져오도록 설정되어 있었다.

혹시나 어제자 버전으로 변경해서 빌드하면 어떨까해서 하여 runs-on: ubuntu-22.04 으로 변경하고 진행해 보았으나 역시 해당 머신 버전에 대한 문제가 아니라고 판단되었다.

6. Waiting for a runner to pick up this job…

그러면 빌드 실패의 원인이 무엇일까 하여 실제 해당 빌드 진행 상황을 보려고 하자 이렇게 떠있고 진행되지 않았다.
어느 블로그에서도 ubuntu-18.04 머신 버전을 20.04로 변경하고 해결되었다고 하는 글을 보았지만 역시 위 2번처럼 이는 이에 해당하지 않았다.
다른 해외 질의응답도 머신 버전을 ubuntu-latest 로 변경하란 대답들이였다.
즉, 머신버전에 대한 해결책은 아니여서 스킵했다.

7. Github 고객센터

이제 남은 것은 고객센터에 문의하는 것이다.
https://support.github.com/?tags=dotcom-footer
그러다 발견한 상단 공지

아니 이걸 ... 여기에만 노출하면 ㅠㅠㅠㅠㅠ 알 수가 없는데 왜 여기에만 있었을까?
현재의 장애 상태를 여기서만 알 수 있다는게 아쉽다.
지금까지 원인을 찾던 과정이 이렇게 힘들게 돌아올 일이였나 하는 생각이 든다.

현재 Resolved가 된 후로 Git actions는 정상 작동되었다.

Github Actions 를 보니 그동안 Queued로 장애로 인한 취소도 안되던 Actions들이 정상 취소되었다.
그리고 추가로 푸시한 내용이 잘 작동하여 정상 빌드/배포 되었다.

후... 정신 없던 아침이였다.