Gen AI 앱: 실험에서 생산으로 이동

생성적 AI가 급속히 확산되면서 기업 내부에는 엄청난 긴박감이 조성되었습니다. 그러나 모델이 발전하는 속도가 너무 빨라 일부 조직은 마비될 수도 있습니다. 지반이 너무 빨리 무너져서 지속적이고 빠른 변화에 대처할 방향을 잡지 못하기 때문입니다. 생성적 AI를 도입하는 비결은 Frogger 게임을 시작하는 것과 같습니다. 뛰어드세요!

기본적인 생성 AI 사용 사례에서 시작하여, 회사에서는 어떤 사례가 바람직한지 결정한 후 실험을 시작할 수 있습니다. AI 기반 애플리케이션을 구축하든, 타사 솔루션을 시도하든, 아니면 둘 다를 하든, 초기 시도를 통해 비즈니스에 필요한 것이 정확히 무엇인지 명확히 파악할 수 있습니다. 이 초기 단계에서 성공의 핵심은 안전성과 효능에 대한 생산 요건을 충족하는 최소 버전의 애플리케이션을 개발하는 것입니다. 이것이 조직의 기반이 됩니다. 이를 바탕으로 모델을 발전시키는 것이 중요한지, 직접 만드는 것보다 사는 것이 더 신중한지 결정하여 프로젝트를 추진할 수 있습니다.

생성적 AI를 도입하려는 조직이 필연적으로 속도를 늦추게 되는 두 가지 "문제"가 있습니다. 즉, 사내에서 모델을 학습하는 것과 비공개 데이터 저장소입니다. 이제 기초 모델 발전 속도는 몇 주, 몇 달 단위로 측정되며, 다운스트림 버전은 매일 업데이트됩니다. 증거가 필요하다면 HuggingFace 모델 추적기를 살펴보세요. 이 글을 쓰는 동안 방금 가져온 페이지는 1분도 안 돼서 업데이트된 모델로 거의 한 페이지가 가득 차 있습니다. 2분 이상 된 모델을 찾으려면 폴드를 지나서 스크롤해야 합니다!

AI에 대한 질문에 답하는 데 필요한 데이터가 공개적으로 사용 가능한 경우 API를 통해 사용할 수 있는 다양한 기본 모델이 이미 있을 가능성이 높습니다. 반면, 데이터가 공개되지 않은 경우 추론 중에 해당 데이터를 전송할지 아니면 비공개적으로 모델을 구축하거나 획득하여 배포할지에 대한 결정을 내려야 합니다. 모델에 액세스하기 위해 비용을 지불하는 것은 자체 모델을 구축하거나 라이선스를 받고, 호스팅하고, 유지 관리하는 것보다 확실히 빠르고 저렴할 가능성이 큽니다. 당신의 회사의 초능력은 무엇입니까? 대규모 언어 모델(LLM)을 구축하거나 유지하는 것이 아니라면, 구축하고 호스팅하는 것이 아니라 구매하는 것이 좋습니다.

개인 데이터의 경우 LLM 사용을 위한 컨텍스트 창과 사용자 정의 옵션이 너무 빨리 성숙되어 클라우드 컴퓨팅에 대해 이미 수용된 것과 유사한 엔터프라이즈급 보안 및 규정 준수가 대부분 회사에 적합합니다. 실제로, 2023년에 모델 제공자들은 귀하의 데이터에 대한 어떠한 교육 도 명확하게 듣지 못했습니다. ChatGPT Enterprise를 예로 들면, SOC 2 Type 2 규정 준수, SAML SSO, 저장 데이터와 전송 중인 데이터의 암호화, 데이터 보존 및 도메인 확인을 지원하는 전용 작업 공간이 자랑이죠. 나쁘지 않은 것 같죠? 글쎄요, 포춘 500대 기업의 92%에게는 충분히 좋은 수준인 듯합니다.

생성적 AI의 약속을 믿는 조직은 내재적 위험이나 일상적인 LLM 개선에 의해 마비될 필요가 없습니다. 눈을 뜨고 뛰어들면 성공할 수 있다. 초기 실험 주기를 통해 안전하고 윤리적인 사용 시 어떤 작업이 가장 큰 이점을 얻을 수 있는지에 대한 확신과 우선순위를 정하는 능력이 향상됩니다. 이를 조직 전체에 프로덕션 모드로 도입하여 평가자와 구현자에게 휴식 시간을 주고, 조직이 생산성 향상을 측정하고, 다음 작업의 우선순위를 정하고, LLM에 대한 접근성을 구매하는 것보다 구축하는 것이 더 합리적인지 판단할 수 있도록 해야 합니다.