AI 애플리케이션을 위한 애플리케이션 제공 및 보안: 현대 AI 아키텍처 탐색

올해 상반기에는 추론 배포 패턴 과 새로운 AI 애플리케이션 아키텍처가 표준화되기 시작했으며, 네트워크부터 애플리케이션 제공 및 보안에 이르기까지 모든 것에 미치는 미래 영향에 대해 더 나은 관점을 제공합니다. 최근 AI 중심 연구 결과에 따르면 추론은 온프레미스와 클라우드(자체 관리형 패턴)에 모두 배포될 뿐만 아니라 클라우드 공급자가 제공하는 서비스(클라우드 호스팅 패턴)와 서비스로서 사용(서비스로서의 추론 패턴)될 것이라고 확신합니다.

그러나 새로운 AI 아키텍처는 데이터 소스(지식 그래프와 벡터 데이터베이스)를 애플리케이션 아키텍처에 통합하는 검색 증강 생성(RAG)에 크게 의존합니다. 연구에 따르면 "GenAI를 활용하는 회사의 70%가 기본 모델을 증강하기 위해 도구와 벡터 데이터베이스를 사용합니다."( Databricks, 2024 )

이러한 건축 패턴의 결과는 네 가지입니다.

1. 기업에서 최신 애플리케이션 워크로드의 수를 늘립니다 .
2. 보안이 필요한 API의 수가 극적으로 늘어납니다 .
3. EW 데이터 경로의 전략적 관련성을 애플리케이션 제공 및 보안 기술로 높입니다 .
4. 애플리케이션 아키텍처에 새로운 계층인 추론 계층을 도입합니다 . 이는 초기 AI 기술 스택에서 참조하는 "모델" 계층이지만, AI 애플리케이션을 운영할 때 훈련 중인 모델(개발 프로세스)과 운영 중인 모델(실행 프로세스)을 구별하는 데 도움이 됩니다.

AI 아키텍처와 관련하여 조직이 직면하는 과제의 90%는 새로운 것이 아니라는 점을 알아두는 것이 중요합니다. 가시성, 속도 제한, 라우팅 등에 대한 기대에 부응하기 위한 변경 사항은 대부분 기업이 이미 보유하고 있는 기존 역량에 점진적으로 추가됩니다.

AI 애플리케이션을 제공하고 보호하는 데 필요한 모든 기능 중에서 완전히 새로운 기능은 10%에 불과할 것으로 추정되며, 이 중 거의 대부분이 프롬프트와 AI 애플리케이션 트래픽의 비정형적 특성과 관련이 있습니다. 이 10%는 데이터 보안 관련 기능과 함께 신속한 보안, 신속한 관리, 신속한 최적화와 같은 새로운 응용 서비스의 탄생을 의미합니다. F5는 이미 Portkey 와 Prompt Security 와의 파트너십을 통해 이러한 요구 사항을 해결하려는 의지를 보였습니다.

여기서 우리는 AI 게이트웨이의 도입을 보고 있습니다. 현재 AI 게이트웨이의 정의와 시장에 제공하는 기능은 "사물"을 제공하는 사람에 따라 다르지만 API 게이트웨이와 마찬가지로 AI 게이트웨이는 보안 및 애플리케이션 라우팅 기능을 조직의 단일 전략적 제어 지점으로 통합하는 경향이 있습니다. 하지만 다시 말하지만, "사물"의 기능은 대부분 AI 트래픽에 특화된 증분형 신규 기능이고 나머지는 기존 기능입니다.

제게 정말 흥미로운 점은 새로운 계층입니다. 왜냐하면 그곳에서 새로운 애플리케이션 제공 및 보안 기능이 필요하게 될 것이기 때문입니다.

사실, 새로운 계층의 도입으로 인해 대규모 AI 추론을 실행하는 데 필요한 컴퓨팅, 스토리지 및 네트워크 리소스를 제공할 수 있는 인프라를 갖춘 새로운 데이터 센터 아키텍처가 등장하고 있습니다. 이 계층에서는 AI 네트워크 패브릭이나 AI 팩토리 또는 뭐라고 부르든 그것이 등장하고 있습니다. 이름과 상관없이 이 새로운 인프라 구조에는 기존 인프라 구조를 새로운 하드웨어 시스템에서 작동할 수 있는 기능이 포함되어 있습니다. 제공된 멋진 다이어그램에서는 #4입니다.

하지만 #2에도 몇 가지 새로운 역량이 필요합니다. 여기의 브리지는 API 트래픽을 확장, 보안 및 라우팅해야 하는 명백한 필요성이 있는 상당히 표준적인 N-S 데이터 경로이지만(예, 해당 API는 추론용이지만 여전히 API입니다) 이 시점에서 새로운 부하 분산 알고리즘(또는 적어도 기존 알고리즘에 통합된 새로운 결정 기준)을 볼 가능성이 높습니다.

예를 들어, 토큰 수와 컨텍스트 창은 성능을 이해하고 주어진 요청이 수신 시스템에 주는 부하를 파악하는 데 특히 중요합니다. 토큰 수가 비용에 미치는 영향은 말할 것도 없습니다. 따라서 이러한 변수가 #2에서 내린 모든 부하 분산/트래픽 라우팅 결정의 일부가 될 수 있다는 것을 인식하는 것은 논리적으로 크게 벗어나지 않습니다.

4번 항목은 아마도 가장 흥미로운 부분일 겁니다. 하드웨어를 활용하여 서버의 네트워크 작업을 오프로드하던 시대로 돌아가기 때문입니다. 그렇습니다. 이는 아키텍처에 대한 " 서버가 서비스를 제공하도록 하는 " 접근 방식의 귀환입니다. 현대 사회에서 이는 DPU를 애플리케이션 제공 및 보안을 구축할 수 있는 전체 시스템으로 활용하고 추론 서버의 CPU를 추론에 집중시키는 것을 의미합니다. 이는 우리가 이전에도 보았던 패턴이며, 추론 서비스의 확장(따라서 성능)과 관련된 모든 문제를 성공적으로 해결할 수 있는 패턴입니다.

AI 아키텍처가 애플리케이션 제공과 보안에 미치는 영향은 평범하면서도 엄청납니다. 대부분 과제가 동일하기 때문에 지루합니다. 조직이 이러한 과제를 전략적으로 해결할 수 있는 추가적인 아키텍처 요소를 도입했다는 점에서 기념비적인 의미가 있습니다.

업계가 일상적인 것과 거대한 것에 어떻게 대응하는지에 따라 애플리케이션 제공 및 보안의 미래가 형성될 것입니다.