운영 데이터와 생성 AI의 교차점에서

생성적 AI(GenAI)에 대한 이야기가 곳곳에서 나오고 있습니다. 문제는 무엇이 인기를 얻고 있는가입니다. 그것은 어떻게 세상을 더 나은 곳으로 만들까요? 사업적 가치는 어디에 있는가? 이러한 질문은 조직이 운영(AIOps)에 GenAI를 구현할지, 그리고 언제 구현할지 알아내는 데 직면한 과제를 고려할 때에도 마찬가지로 관련성이 있습니다. F5에서 매일 연구하면서 생성 AI를 실험하고 업계 동향에 대해 광범위하게 접한 지난 1년을 바탕으로, GenAI가 운영 데이터 관행에 미치는 영향을 이해하고자 하는 조직에 도움이 될 다음의 다섯 가지 요점을 제시합니다. 결과적으로 이러한 조직은 GenAI 기술 도입 일정을 기존 예산, 관행 및 문화에 맞춰 조정할 수 있는 더 나은 입장에 있게 될 것입니다.

운영 데이터는 반구조화된 데이터(객체)와 비구조화된 데이터 집합의 혼합물입니다. 대규모 언어 모델(LLM)은 이 범위의 데이터 형식을 처리하는 데 매우 유연하고 효과적입니다. 이로 인해 LLM은 운영 데이터 세트를 분석하는 데 적합한 기술이 되었습니다. 조직에서는 다양한 GenAI 기반 솔루션의 효능, 사용 용이성 및 비용을 검증하기 위해 자체적으로 다양한 실험과 평가를 수행할 수 있습니다. LLM 추론을 사용하여 거짓 양성률이 낮은 흥미로운 데이터 패턴을 감지하면 머신의 속도와 규모를 운영 데이터 흐름을 사용하는 팀의 목표에 맞게 조정할 수 있습니다.

특정 작업에 어떤 모델이 어떤 기술을 사용하는지 아는 데 중점을 두는 조직은 자체 모델을 구축할 필요가 없습니다. 예를 들어, 명명된 엔터티 인식(NER)은 반구조화된 데이터 내의 주요 요소를 파악하는 데 효과적인 기술로 입증된 자연어 처리(NLP)의 한 분야입니다. NER의 예로는 요일과 같은 카테고리나 1보다 크고 5보다 작은 정수와 같은 설명을 포함하는 목록이 있습니다. 결과적으로 GenAI가 지원하지 않는 규칙 기반 패턴 매칭 기술보다 추론 시 정확도가 더 높아집니다. NER과 같은 기술을 사용하는 연구와 실무가 계속 발전함에 따라 운영 팀은 모델을 구축하는 것보다는 이미 성공이 입증된 기술을 활용하는 데 주력할 수 있습니다.

데이터 중력은 컴퓨팅을 데이터가 생성되는 곳에 더 가깝게 배치할지, 아니면 컴퓨팅이 이미 배포된 곳에 더 가깝게 데이터를 이동할지에 대한 결정에 영향을 미치는 기본적인 힘입니다. 데이터 양이 많을수록 중력이 강해지므로, 데이터에 가깝게 배치된 컴퓨팅 용량이 커집니다. 훈련(모델 생성 및 튜닝)을 위해 데이터는 집계되어 컴퓨팅 장치에 더 가까이 이동됩니다. 추론(모델 사용)의 경우, 모델은 프롬프트가 발행된 곳에 더 가깝게 이동합니다.

타사에서 호스팅하는 인스턴스의 API를 호출하는 것보다 내부적으로 복사본을 가져와서 모델에 액세스하는 경우 모델을 프롬프트에 더 가깝게 옮기거나 프롬프트의 일부로 벡터화된 추가 비공개 데이터 세트를 옮기는 것이 합리적입니다. 반면, 모델이 다음에 의해 호스팅되는 경우 제3자가 인터넷을 통해 API를 공개하면 모델과 추론 작업은 전혀 진행되지 않습니다. 이러한 경우 추론 및 개인 데이터 벡터는 데이터 센터 콜로케이션 상호 연결을 사용하거나 가능한 경우 호스팅 위치와 모델 공급자를 일치시키려고 시도하여 "네트워크 근처" 위치로 이동할 수 있습니다.

데이터와 컴퓨팅을 하나로 모으는 힘과 분리하는 힘을 인식하는 것은 비용과 성능 간의 적절한 균형을 찾기 위한 정보에 입각한 선택을 하는 데 도움이 됩니다.

GenAI 처리를 통해 운영 데이터 분석을 간소화하고 가속화하기 위해 데이터 사일로를 분해하는 것이 그 어느 때보다 중요해졌습니다. 그러나 가까운 미래에는 데이터 사일로가 계속 남아 있거나 확산될 것으로 보입니다.

문제는 데이터 사일로를 어떻게 처리할 것인가, 그리고 어떤 기술을 선택할 것인가에 대한 것입니다. 여러 위치에 저장된 데이터에 액세스하는 경우 데이터를 복사하여 이동하는 방법과 데이터를 이동하지 않고 연합 쿼리를 사용하는 논리적 데이터 계층을 구현하는 방법이 있습니다. 어떤 선택을 하든, 존재하는 스트리밍 데이터 소스를 인식하고 시간/데이터 신선도 제약에 대한 운영 사용 사례를 평가하면 스트리밍 엔진, 쿼리 엔진, 데이터 형식, 카탈로그 등 데이터 기술 스택의 필요한 요소를 선택하는 데 도움이 됩니다. 기술 선택을 통해 데이터 팀은 성능과 비용의 균형을 맞추는 동시에 가장 효과적이고 사용하기 쉬운 기술을 선택할 수 있는 권한을 얻습니다. 이상적으로 조직의 데이터 관행은 시간이 지남에 따라 성숙해지지만 조직은 항상 성숙도의 특정 단계에서 자신에게 가장 적합한 것을 선택할 수 있는 유연성을 갖습니다.

솔루션에 자동화를 추가하면 데이터 프라이버시와 SecOps 분야의 전문가가 암묵적으로 알고 있던 지식을 기계가 실행할 수 있는 반복 가능한 AIOps 기반 관행으로 전환하여 확장할 수 있습니다. 그런 다음에야 데이터, 보안 및 개인정보 보호팀이 정보를 추가할 수 있게 됩니다. 인텔리전스는 누가, 얼마나 오랫동안, 어떤 목적으로 특정 데이터를 사용할 수 있는지 보다 세부적으로 정의함으로써 정책의 효과를 강화합니다. 또한 데이터가 어디에 있는지, 어떤 사본이 만들어지고 있는지, 누구와 공유되고 있는지도 추적합니다. 이를 통해 전략적 계획, 새로운 기술 평가, 데이터 접근 정책을 개선하고 예외를 승인하기 위한 기업과의 소통에 시간을 할애할 수 있습니다.

속도, 규모 및 자동화는 성숙한 AIOps 관행의 특징으로, 이를 통해 더 나은 성과, 더 빠른 의사 결정, 최적화된 인적 자본을 얻을 수 있습니다. GenAI는 지금까지 기술이 열지 못했던 문을 열어줍니다. 위의 5가지 학습 내용은 IT 운영, 보안 운영 및 개인 정보 보호 운영 팀이 AIOps에 GenAI를 구현할 때 고려해야 할 몇 가지 방향을 제공합니다. AI 모델, 컴퓨팅과 운영 데이터의 근접성, 데이터 및 자동화는 새로운 AIOps 플랫폼의 핵심 부분을 제공합니다. 이러한 풍부한 학습 환경 내에서 조직은 현재 및 미래 세대를 위한 기술 운영 문화와 관행을 구축할 수 있습니다.