Logo
hhlee
2024-11-12 21:55:20

비하인드
사용자 경험을 고려한 디도스 방어 with AWS WAF

웹사이트를 운영하다보면 비정상적인 트래픽의 공격은 늘 있는 일입니다. 더군다나 글로벌 서비스를 지향하게 되면, 도메인 자체가 더더욱 많이 노출되기 때문에 그에 상응하여 공격의 대상이 될 확률도 높아집니다.

안전한 웹사이트 운영을 위하여 비디오스튜는 AWS에서 제공하는 WAF를 사용하고 있습니다. 비디오스튜에 접속이루어지기 전에 먼저 WAF라는 수문장을 통과해야만 하는 것이지요. 그 다음엔 비디오스튜에서도 자체적으로 잘못된 요청을 검증하는 몇 가지 장치들을 통해 또 한 번 거르고 있습니다.

< 존재하지 않는 파일들이지만, 숨쉬듯이 들어오는 브루트포스 공격의 흔적들 >

공격의 패턴은 다양하고, 저희도 여러가지 설정을 통해서 다양한 유형에 방어하고 있지만, 이번 포스팅에서는 그중에서도 무차별 디도스 공격에 관한 이야기만을 해볼까합니다.

디도스 공격(DDoS Attack)

디도스 공격은 순간적으로 동시다발적으로 여러개의 요청을 보내 서버의 다운을 유도하는 공격방법입니다. 다운 그 자체도 치명적이지만, 서버에 overflow를 일으켜, 예상치 못한 경우에 나타나는 오류메시지나 설정 등을 통해서 추가적인 공격에 이용할 수 있습니다.

디도스가 막기가 어려운 부분은 아래와 같은 이유들이 있을 것입니다.

  • 하나의 컴퓨터에서 발생하는 것이 아님. 즉, 아이피나 에이전트가 다양함. 감염된 좀비피씨 등을 통해서 조종하기에 각 개인은 실제 사용자처럼 요청됨
  • 위의 이유로 인해서 디도스에 관한 어떠한 기준점(threshold)를 잡기가 어려움. 지나치게 기준을 낮추면, 정상 사용자가 차단되거나 매번 "로봇이 아닙니다"를 증명하는 불편이 발생함
  • 모의실험이 어려움. 일반적인 스트레스 테스트는 단순 처리량에 관한 것이기에 디도스랑은 다른 패턴을 보임
  • 순간적인 대량 트래픽으로 인해서, WAF같이 서버리스 방화벽이 아닌 경우, 방화벽 서버 자체도 죽을수가 있음


비디오스튜에서는 디도스 공격도 막으면서 동시에 사용자의 불편도 초래하지 않도록, 두 단계로 나누어서 방어 설정을 하고 있습니다. 느슨한 조건이지만 해체할 수 없는 1단계 차단, 그리고 예민한 조건이지만 해체할 수 있는 2단계 차단으로 구성하고 있습니다.

WAF의 Rate Limit Blocking(1 단계)

제일 첫 단계는 WAF에서 대량의 트래픽에 대해서 1차로 거르는 것입니다. 공격 요청이 실제 웹서버까지 들어가는 경우는 그만큼 검증에 관한 부담이 늘어나는 것이기 때문에, 가장 좋은 것은 WAF선에서 공격을 자르는 것입니다.

문제는 상기했듯이 WAF에서 자르는 요청은 사후 대처가 어렵습니다. 접속 자체가 원찬차단 되는 것이기에, 만약에 정상 고객의 트래픽이었는데 차단이 발생되었다면 수습하기가 다소 어려워집니다. 따라서 조금은 느슨한(이정도면 진짜 진짜 비정상적인 트래픽이라 판단할) 기준으로 잡아줍니다.

지정한 시간안에 받아들이는 요청의 횟수는 [Rules > Add rules > Add my own rules and rule groups]로 추가합니다. 

중요한 것은 Rate-limiting criteria인데, 정답은 없습니다. 왜냐하면 각 서비스마다 고객들의 접속 패턴이 다르기 때문입니다. 다소 타이트하게 설정하고 의도치 않은 차단들이 발생하면 느슨하게 변경해도 되고, 반대로 접근할 수도 있습니다. 시간도 자유로 설정할 수 있지만, 5분으로 하는 경우 그만큼 Rate Limit도 늘려야하는 부분이 있기에(정상이 차단되면 안되니까), 실제 악의적 공격자가 악영향을 주는 텀도 길어지는 것이지요.

포인트는 여기에서의 설정은 기준을 아주 느슨하게 잡는다는 것입니다. 이 설정을 통해서 모든 디도스를 막는게 아니라, 너무 심한 트래픽만 1차로 거르는것이 목적이기 때문입니다.

백엔드 & WAF CAPTCHA(2 단계)

악의적 공격과 단순히 접속이 많은 사용자가 애매하게 섞이는 부분이 바로 이 두번째 단계일 것입니다. 1차 기준보다는 더 타이트한 기준이 적용되어야하고(여전히 걸러야하므로), 동시에 정상 사용자일 수도 있으므로 해체요청이 가능한 수단을 제공해야합니다.

구성 방법은 간단합니다. WAF상에 IP Sets 기능을 이용하여 blacklist ip를 관리하고, 해당 블랙리스트에 있는 IP에 대해서 차단 대신 CAPTCHA 기능을 제공하는 것입니다.

백엔드 코드상에서, 특정 아이피의 유저가 단순히 1분안에 많이 접속하거나, csrf 에러를 많이 발생시키거나 여러 form validation시 실패를 반복하거나, 없는 페이지를 지속적으로 요청하거나 등.. 비정상적인 요청이 반복되면 WAF SDK를 이용하여 IP Sets에 아이피를 동적으로 추가합니다.

그렇게 되면 사용자는 아마존이 띄워주는 구린 디자인의 CAPTCHA를 만나게 됩니다. 이 것을 통과하기 전까지는 WAF가 사용자를 절대 웹서버로 보내주지 않습니다. 사용자가 만약 사람임을 증명하면, `aws-waf-token`이라는 쿠키를 생성하며 그제서야 웹서버로 보내줍니다. 이 쿠키가 살아있는 한 유저는 정상적으로 서비스를 다시 이용할 수 있습니다.

하지만 사용자는 여전히 blacklist ip에 있는 상태입니다. 즉, 허용된 토큰쿠키가 만료되거나 없어지면 다시 CAPTCHA가 뜨게 된다는 것입니다. 따라서 유저가 `aws-waf-token`을 가지고 접근했을 때에는 안내를 통해서 "아이피에 대한 차단 요청"을 한 번 더 하도록 유도하고 있습니다.

< 공격아이피로 오인되었지만, 사람을 인증한 경우 해체관련 안내 >

이후 안내메시지를 클릭하면 구글CAPTCHA를 이용하여 다시 한 번 사람인지 확인하고, 검증 완료시 AWS SDK를 이용하여 해당 IP를 제거하는 API 요청을 일으키면 됩니다.

$token = ''// token from front-end form
$res = remotePost('https://www.google.com/recaptcha/api/siteverify', [], [
    'secret' => '6LfaXX....',
    'response' => $token,
]);
if (isset($res->success) && !!$res->success) {
    // WAF에 등록된 현재의 아이피 제거
    $wafClient = new AwsWaf();
    $wafClient->releaseIp($ip);

    // 안내메시지 중복안내 방어
    setCookie('aws-waf-verified', true, 300);

    return cleanRedirect('/');
}

프론트에서는 `aws-waf-token`가 있고, `aws-waf-verified`가 없는 유저에 대해서만 "수동 해체 요청" 안내메시지를 띄우면 됩니다.

효과

이것은 실제 디도스 트래픽에 대한 그래프입니다. 디도스공격은 특정 시간대에 다양한 아이피로 트래픽을 몰아오기 때문에 저런식으로 폭증하는 형태를 보입니다. 설정된 룰에 의해 상당부분 걸러진 것을 볼 수 있습니다. 여전히 빠져나가는 걸러지지 않는 일부 트래픽이 있는데.. 이 경우 1차조건을 빡빡하게 하면 정상 사용자의 불편을 초래할 수 있으므로, 백엔드에서 조정하는 2차 조건에 대한 보완이 필요해보입니다.

그 밖에...

여기에서는 WAF의 기능 중 Rate Limit Rule와 IP Sets를 이용한 CAPTCHA 차단만을 다루었습니다. 저희팀은 이 Rule외에도 AWS Managed Rule(아마존이 제공하는 여러 패턴의 차단방법)들도 사용중입니다. WAF의 설정에는 정답이 없으므로, 자사의 서비스에 적용하면서 조금씩 커스텀을 하는 방법이 가장 좋다고 생각합니다.

게시물로 이동
🎓 소규모 커머스 기업들이 당장 시도해볼 수 있는 5가지 인스타그램 릴스 유형 인스타그램 릴스는 커머스 마케터들에게 이제 선택이 아닌 필수 마케팅 채널로 자리잡았습니다. 실제로 2023년 2분기 메타의 발표에 따르면 전 세계 인스타그램 릴스의 일일 시청 횟수는 2,000억 회에 달한다고 하죠.릴스는 짧고 중독성 있는 음악과 매력적인 영상으로 시청자의 눈과 귀를 사...
소규모 커머스 기업들이 당장 시도해볼 수 있는 5가지 인스타그램 릴스 유형
Junwoo 2025-03-26
🗞️ [Update] 더 똑똑해진 위자드 모드 (Text-to-Video) 최근 위자드 모드 사용 흐름 개선을 하면서 지속적으로 위자드 모드에 대한 개발 고도화를 진행 중에 있는데요.이제 템플릿을 고르고 영상 편집을 시작 할 때, 타이틀 슬라이드부터 인트로, 아웃트로 슬라이드까지 한번에 모든 내용이 완성되도록 개선되었습니다.여러분이 입력하거나 생성한 스크립트에...
[Update] 더 똑똑해진 위자드 모드 (Text-to-Video)
Junwoo 2025-03-21
🤔 비디오스튜로 광고 영상 만들기 (비하인드) 비디오스튜 글로벌 채널에 게시하기 위한 영어 버전 광고 영상을 직접 만든 후기를 공유하고자 합니다.튜토리얼이라고 하기 보다는 작업 과정에서의 팁들을 공유하기 위한 글인만큼 비하인드 섹션에 게시합니다.완성된 광고 동영상사용한 솔루션들메인 영상 편집: 비디오스튜화면 녹화: ScreenFlo...
비디오스튜로 광고 영상 만들기 (비하인드)
Junwoo 2025-03-12
🎓 AI 동영상 편집기 선택 시 고려해야 할 요소 (2025) 최근 영상 편집 업계에서는 AI 동영상 편집기가 큰 화제를 모으고 있습니다. 클릭 몇 번으로 자동으로 멋진 영상을 완성해준다는 자동 영상 편집 소프트웨어들도 쏟아져 나오고 있죠.&lt; 구글 트렌드의 'AI video editor 검색 추이 &gt;구글 트렌드에서 'AI 동영상 편집기’...
AI 동영상 편집기 선택 시 고려해야 할 요소 (2025)
Junwoo 2025-03-05
📣 텍스트의 한계를 뛰어넘다: 한국언론진흥재단의 영상 콘텐츠 혁신 도전기 한국언론진흥재단(이하 KPF)은 다양한 미디어 채널을 통해 국민의 정보복지 향상을 위한 다양한 사업을 펼치고 있는 기관입니다.KPF 사무실을 방문했다가 우연히 복도 벽면에 설치된 디스플레이에서 플레이되던 영상을 보고, 비디오스튜의 향기를 물씬 느끼게 되었는데요.&lt; KPF 사무실에서...
텍스트의 한계를 뛰어넘다: 한국언론진흥재단의 영상 콘텐츠 혁신 도전기
Junwoo 2025-02-26
🗞️ [Update] 위자드 모드 사용 흐름 개선 위자드 모드를 통해 새로운 프로젝트를 생성할 때, 레시피를 선택하는 과정에서 업데이트가 있어 안내드립니다.생성할 프로젝트의 화면 비율을 우선 선택프로젝트의 제목을 입력하고나면 생성할 동영상 프로젝트의 화면비율을 우선 선택하게 됩니다. 세로형, 가로형, 그리고 위자드 모드를 닫고 직접 편...
[Update] 위자드 모드 사용 흐름 개선
Junwoo 2025-02-20
🗞️ [Update] AI 이미지 생성 기능에 Flux 모델 도입 AI Photo 생성 기능에 고퀄리티의 실사 이미지 생성 모델 중 가장 높은 성능을 보이고 있는 Flux 모델이 적용되었습니다.스크립트를 기반으로 자동 생성편집화면 상에서 사용자가 입력한 내용에 가장 적합한 생성 프롬프트를 자동으로 생성하기 때문에, 별도로 프롬프트에 대한 지식이 없어도...
[Update] AI 이미지 생성 기능에 Flux 모델 도입
Junwoo 2025-02-11
🗞️ [Update] 더 스마트해진 이미지/영상 매칭 많은 분들이 요청해주셨던 '스톡 이미지/영상 매칭' 기능이 새롭게 개선되었습니다. 이제 영상 뿐만이 아니라 이미지 라이브러리까지 함께 검색을 하여 가장 어울리는 미디어를 추천할 수 있게 되었는데요.✨ 무엇이 달라졌나요?더 정확해진 이미지/영상 매칭위자드 모드를 통해 프로젝트 초안을 생성...
[Update] 더 스마트해진 이미지/영상 매칭
Junwoo 2025-02-07
[중단]