Cloud/Azure
원본 글 보기

[Azure] Key Vault 인증 만료로 생긴 장애와 대응

[Azure] Key Vault 인증 만료로 생긴 장애와 대응

Azure AD Client Secret 만료로 인해 발생했던 장애 기록

1. 장애 현상

Azure Blob Storage에 파일을 저장하고

Azure Key Vault를 사용하는 서비스를 운영하던 중,

어느 날 파일 처리 요청이 갑자기 실패하는 이슈가 접수되었다.

코드 변경, 배포, 인프라 변경 이력은 없었는데.. 확인해 보니 Azure 보안 자원 접근 실패로 인해 기능이 중단된 상황이었다.

2. 장애 원인

2-1. Azure AD Client Secret 만료

Azure Key Vault 접근에 사용하던

Azure AD Service Principal의 Client Secret이 만료된 상태였다.

Service Principal 자체는 존재했지만,

이를 증명하는 Secret이 유효하지 않아 Azure AD 인증이 실패했고,

그 결과 Key Vault 요청이 거부되고 있었다.

그래서 Client Secret을 새로 발급해

설정을 교체했음에도 장애는 바로 해소되지 않았다.

2-2. Secret 교체 이후에도 즉시 해결되지 않은 이유

Azure 환경에서는 다음 요소들이 모두 정합성을 가져야 Key Vault 접근이 가능했다.

  • Client Secret 유효성

  • Key Vault 접근 권한(IAM)

  • 실제 사용 중인 Key 식별자

  • Azure Tenant(Directory) 기준

Secret만 교체한 상태에서는

Key Vault 기준으로 여전히 권한 없는 요청으로 처리되고 있었다.

3. 조치 및 복구

다음 항목들을 점검하며 문제를 해결했다.

  • Azure AD Client Secret 재발급 및 반영

  • Azure Key Vault 접근 권한 재설정

  • Key Vault 설정 값 정합성 확인

  • Azure Tenant 기준 인증 정보 재확인

  • 서비스 재기동 후 정상 동작 검증

Azure 인증과 권한, Key 설정이 모두 맞춰진 이후

서비스는 정상화되었다.

4. Azure 인프라 관점에서의 문제

이 장애는 Azure 기반 시스템에서 다음 특성을 보여줬다.

  1. Azure AD Client Secret은 유효 기간을 가진 운영 자산

  2. Secret, Key Vault 권한, Key 식별자, Tenant는 Azure에서는 하나의 보안 단위처럼 관리되어야 함

  3. 암호화가 필수인 서비스에서는 Key Vault 접근 실패가 곧 전체 서비스 장애로 이어짐

장애가 발생한 근본적인 원인은

Azure 보안 자원을 설정 값 수준으로만 관리한 운영 방식이었다.

5. 재발 방지 및 운영 개선

장애 이후 Azure AD Client Secret 만료로 인한 재발을 방지하기 위해

Client Secret 만료 시점을 사전에 인지할 수 있도록 알림을 설정했다.

어쨌든 이를 통해 인증 자격 증명이 만료된 상태로 운영되는 상황을 사전에 차단할 수 있고,

운영 중 갑작스럽게 발생하는 장애 가능성은 크게 줄일 수 있을 것이다.

이번 경험을 통해 다음 부분을 알 수 있었다.

  • Azure AD / Key Vault / IAM 구조에 대한 이해

  • Azure 환경에서 발생하는 인증 기반 장애 대응

  • 재발 방지를 위한 운영 기준 개선

인증 자격 증명과 권한 역시

운영 대상으로 관리해야 한다는 점을 느꼈던 날..