아파치 애로우와 오픈텔레메트리: 오픈소스가 관찰성을 강화하는 방식
모든 산업 분야의 기업에서 오픈소스 소프트웨어가 얼마나 널리 퍼져 있는지에 대한 통계는 무려 15조 개가 있습니다. 앱은 80% 이상이 오픈 소스 구성 요소로 구성되며, 인터넷은 기본적으로 오픈 소스 소프트웨어인 NGINX에서 실행됩니다 .
하지만 개방형 표준도 마찬가지로 많습니다. 오픈 소스, 커뮤니티 접근 방식을 사용하여 표준을 개발하고 다듬어 지원 제품, 프로젝트, 인프라의 놀라운 생태계를 만들어냈습니다.
OpenTelemetry 는 그러한 노력 중 하나이며, 운영 데이터(일명 원격 측정)를 생성, 수집, 처리하는 표준이 되었습니다. Observability Innovation Report 2023에 응답한 사람 중 거의 3분의 1(32%)이 "OpenTelemetry 지원이 필요하며 50%는 공급업체 제품에서 매우 중요하다고 말합니다. 응답자의 3분의 1(36%) 이상이 조직 내에서 OpenTelemetry를 사용합니다."
원격 측정을 표준화하는 것은 관찰성이 전체 IT 스택의 데이터 포인트에 의존하기 때문에 매우 중요합니다. 즉, 네트워크 측정항목, 서버 로그, 추적 정보가 모두 매우 다양한 유형의 인프라와 시스템에서 제공됩니다. 단순한 애플리케이션이라도 움직이는 부분이 너무 많기 때문에 단일 진실 소스는 없습니다. 특정 시점에서 앱의 상태를 관찰하는 데 필요한 모든 데이터를 수집할 수 있다는 보장은 없습니다. 원격 측정 데이터를 생성하는 방식을 표준화하는 것은 디지털 신호를 정규화하고 분석에서 모든 적절한 데이터 포인트를 활용하여 정확하고 실행 가능한 통찰력을 제공할 수 있는 한 가지 방법입니다.
하지만 원격 측정을 표준화하더라도 풀스택 관찰성이라는 성배에 도달하는 데 따른 모든 과제를 해결할 수는 없습니다.
운영 데이터를 다루는 데 있어서 가장 큰 난제 중 하나는 데이터의 양입니다. 조직이 성능 문제나 공격 시도에 대한 잠재적인 상황을 파악하기 위해 활용하는 디지털 신호는 다른 종류의 데이터보다 더 빠르고 맹렬하게 생성됩니다. F5에서는 OpenTelemetry를 전체 포트폴리오의 표준으로 채택했기 때문에 우리는 이를 친밀하고 개인적인 차원에서 알고 있습니다. BIG-IP와 NGINX와 같은 당사 제품의 특성과 역할은 애플리케이션과 디지털 서비스를 제공하고 보호하는 데 있어 다양한 이유로 지표와 로그와 같은 상당한 양의 데이터가 생성된다는 것을 의미합니다. 해당 데이터를 전송하고 처리하는 비용은 원격측정 파이프라인과 관련된 비용의 상당 부분을 차지합니다.
이러한 과제를 해결하기 위해 뛰어난 엔지니어인 로랑 케렐은 Apache Arrow 에 참여하여 OpenTelemetry 프로젝트와 협력하여 대용량 원격 측정을 통해 효율성을 높이기 시작했습니다.
벤치마크 결과에 따르면 Apache Arrow는 원격 측정 데이터 전송 및 처리에 상당한 이점을 제공하며, 특히 수백 개 이상의 엔티티로 구성된 일괄 처리로 그룹화할 때 그 이점이 큽니다. 데이터를 열 형식으로 구성하면 압축성이 높아지고, 이러한 메모리 레이아웃은 다양한 캐시 레벨과 SIMD 명령어의 사용을 최적화함으로써 처리 속도를 크게 향상시킵니다. 또한 Arrow 생태계는 OpenTelemetry를 훌륭하게 보완하여 쿼리 엔진, 스트림 처리 파이프라인 및 특수 분석 파일 형식과의 통합을 강화합니다.
Apache Arrow와 Laurent의 작업에 대해 자세히 알아보려면 Apache Arrow 사이트에서 해당 기술에 대한 두 기사 중 첫 번째 기사를 읽어보세요.