우리 모두가 타겟입니다: 생성적 AI와 스피어 피싱 자동화

얼마 전만 해도 철자 오류, 문법 오류, 영어가 아닌 구문 등으로 피싱 이메일을 구별할 수 있었습니다. 우리는 나이지리아 왕자 사기와 같은 널리 사용되는 일반적인 수법을 발견할 수 있었습니다. 우리 중 대부분은 정교한 표적형 스피어피싱을 겪지 않았는데, 그 이유는 범죄자들이 자신의 배경을 조사하고 개인화된 메시지를 작성하는 데 드는 비용이 너무 많이 들었기 때문입니다. 생성적 AI로 인해 상황이 빠르게 바뀌고 있습니다. 보안 전문가로서 우리는 결과에 대비해야 합니다.

생성적 AI는 스피어 피싱의 종단 간 자동화를 가능하게 하여 비용을 낮추고 사용 범위를 넓힙니다. 공격자가 비즈니스 이메일 침해(BEC)를 위해 효과적인 스피어 피싱 메시지를 작성하려면 얼마나 많은 작업이 필요할까요? 공격자는 타겟을 선택하고, 소셜 미디어를 조사하고, 가장 가까운 연결을 파악하고, 타겟의 관심사를 알아냅니다. 공격자는 이러한 정보를 활용해 의심을 피하려는 어조로 개인화된 이메일을 작성합니다. 이 작업에는 단서를 주의 깊게 따르는 것과 심리적 직관이 필요합니다.

이 작업을 자동화할 수 있을까? 물론, 공격자는 소셜 미디어 콘텐츠 스크래핑을 자동화하고 신임장 정보 수집을 위해 계정을 인수합니다 . 자동화를 통해 공격자는 타겟의 수명에 대한 지식 그래프를 구축할 수 있습니다.

이러한 지식 그래프를 통해 공격자는 윤리적 보호 장치가 없는 ChatGPT 유사 서비스에 매우 개인적인 정보를 제공하여 타겟팅되고 효과적인 스피어 피싱 메시지를 만들 수 있습니다. 공격자는 이메일에서 소셜 미디어에 이르기까지 여러 채널에 걸쳐 메시지의 전체 시퀀스를 만들 수 있으며, 메시지는 여러 가짜 계정에서 시작되며, 각 메시지는 대상의 신뢰 성향을 기반으로 생성된 잘 만들어진 페르소나를 갖습니다.

이러한 위협이 임박했다는 징후들이 보입니다. WormGPT와 FraudGPT를 포함해 다크 웹에서 판매되는 새로운 공격 도구에 대한 보고는 범죄자들이 피싱을 포함한 불법적인 목적을 위해 생성적 AI를 적용하기 시작했다는 것을 보여줍니다. 이 기술을 사용하여 아직 대규모 엔드투엔드 자동화에 이르지는 않았지만, 조각들이 하나로 합쳐지고 있으며 사이버범죄의 경제적 역학으로 인해 이러한 개발은 거의 불가피합니다.

사이버범죄 경제 내에는 혁신을 주도하는 전문성이 있습니다. 세계경제포럼 (WEF)에 따르면 사이버범죄는 현재 미국과 중국에 이어 세계에서 세 번째로 큰 경제 규모를 자랑하며, 2023년에는 사이버범죄 비용이 8조 달러, 2025년에는 10.5조 달러에 달할 것으로 예상됩니다. 다른 대규모 경제와 마찬가지로 사이버범죄 경제에도 전문 분야를 가진 공급업체가 포함됩니다. 도난당한 자격 증명을 판매하는 공급업체, 손상된 계정에 대한 액세스를 제공하는 공급업체, 수천만 개의 주거용 IP 주소에 대한 IP 주소 프록시를 제공하는 공급업체가 있습니다.

게다가 이메일 템플릿부터 실시간 피싱 프록시 사이트까지 완벽한 툴킷을 제공하는 피싱 서비스 제공업체도 있습니다. (피싱 사이트가 유효한 TLS를 사용해 실제 사이트를 스푸핑하는 방법에 대한 제이 켈리의 기사를 참조하세요.) 공급업체들이 범죄자들의 사업을 따내기 위해 경쟁함에 따라 가장 낮은 비용으로 엔드투엔드 서비스를 제공하는 조직이 가장 큰 이익을 얻을 것입니다. 이러한 역학 관계는 스피어 피싱의 자동화를 촉진할 가능성이 높습니다. 타겟을 중심으로 다양한 유형의 데이터 수집, 데이터 집계, 특정 산업에 집중하는 LLM 또는 특정 유형의 사기에 능숙한 조직을 상상해 볼 수 있습니다.

새로운 타깃을 겨냥한 스피어피싱이 증가할 가능성이 높으므로 조직에서는 기존의 안티피싱 관행을 강화해야 합니다.

상위 레벨 피싱 인식 교육: 오랫동안 직원들에게 피싱의 위험성, 의심스러운 이메일을 식별하는 방법, 잠재적인 피싱 시도에 직면했을 때 취해야 할 조치 등에 대해 정기적으로 교육하는 것이 중요했습니다. 그러나 많은 조직에서는 직원들에게 철자와 문법 오류를 통해 피싱 이메일을 구분하도록 교육합니다. 그 대신, 신뢰할 수 없고 검증되지 않은 출처의 모든 요청을 조심하도록 사람들을 훈련하는 데 더 심도 있는 교육이 필요할 것입니다. 피싱 이메일을 식별하는 직원의 능력을 테스트하기 위해 시뮬레이션 피싱 캠페인을 수행할 때, 잘 쓰여지고 전문적이며 특정 직원을 대상으로 하고 합법적인 출처에서 시작된 피싱 메시지를 사용하세요.

실시간 피싱 프록시 방어: 공격자는 실시간 피싱 프록시를 통해 다중 요소 인증(MFA)을 우회하기 위해 피싱을 사용하는 경우가 많습니다. 범죄자는 피싱 기술을 사용해 사용자를 속여 자신이 제어하는 사이트에 자격 증명과 일회용 비밀번호를 입력하게 한 다음, 이를 실제 애플리케이션으로 프록시하여 액세스 권한을 얻습니다. (MFA 우회 및 방어에 대한 자세한 내용은 백서를 참조하세요. MFA가 계정 인수 위협을 해결할 수 있을까? )

계정 인수에 대해 더 엄격하게 방어하세요: 범죄자는 봇을 이용해 신임장 정보를 빼내는 방식으로 대규모로 계정을 제어하며, 이로 인해 엄청난 수의 계정이 탈취됩니다. 금융 사기에 더해, 범죄자들은 스크래핑을 통해 추가적인 개인 데이터를 수집하고 이를 피싱 공격에 사용합니다. 봇을 효과적으로 방어하려면 풍부한 신호 수집과 머신 러닝이 필요합니다.

AI를 사용하여 AI와 싸우세요: 범죄자들이 사기를 저지르기 위해 생성적 AI를 악용하고 있기 때문에 조직은 방어를 위해 AI를 활용해야 합니다. F5는 여러 기관과 협력하여 풍부한 신호 수집과 AI를 활용해 사기를 방지합니다. F5 분산 클라우드 계정 보호는 사용자 여정 전반에서 실시간으로 거래를 모니터링하여 악성 활동을 탐지하고 정확한 사기 탐지율을 제공합니다. 애플리케이션 내에서 사기 행위를 감지할 수 있다면 피싱으로 인한 피해가 줄어듭니다. (AI로 트래픽을 검사하려면 트래픽을 효율적으로 해독해야 하며, 이는 TLS 오케스트레이션을 사용하여 효율적으로 달성할 수 있습니다.)