Gemma 4를 기반으로 하고 Apache 2.0 라이선스에 따라 출시된 Google의 EmbeddingGemma 2는 의미 체계 검색 및 RAG(검색 증강 생성)를 보다 효율적으로 수행하는 동시에 기기 내 배포 성능을 최적화하도록 설계된 컴팩트한 개방형 다중 모드 임베딩 모델입니다.
모바일 장치 및 랩톱과 같은 소비자 하드웨어에서 실행되도록 설계된 EmbeddingGemma 2는 검색, RAG(검색 증강 생성), 분류 및 클러스터링과 같은 장치 내 애플리케이션에 대한 지연 시간이 짧은 의미 체계 표현을 제공합니다.
다중 모드 기능 덕분에 EmbeddingGemma 2는 쿼리에 대한 응답으로 관련 문서, 스크린샷 및 녹음 찾기, 자연어를 사용하여 소스 코드 검색, 텍스트 설명을 기반으로 비디오 콘텐츠 검색 등 광범위한 검색 작업을 지원합니다.
EmbeddingGemma 2의 핵심 기능은 통합된 768차원 임베딩 공간에서 텍스트, 코드, 이미지, 비디오 및 오디오를 표현하는 기능이라고 Google은 말합니다. 이를 통해 개발자는 다양한 미디어 유형에 대해 호환되지 않는 별도의 삽입 공간을 유지하지 않고도 다양한 미디어 유형을 검색하는 검색 시스템을 구축할 수 있습니다.
다양한 양식에서 나왔음에도 불구하고 EmbeddingGemma 2에서 생성된 임베딩은 동일한 차원 공간을 차지하며 의미론적 유사성을 비교할 수 있습니다.
이 모델을 통해 개발자는 애플리케이션에 필요한 인코더만 로드할 수 있으며, 텍스트 및 코드용 매개변수 2억 7천만 개에서 완전한 다중 모드 지원을 위한 7억 4천만 개까지 확장할 수 있습니다. Google에 따르면 이 모델은 “코드 검색 및 기술 검색에서 EmbeddingGemma 1보다 훨씬 뛰어난 성능을 발휘하므로 로컬 코드베이스 인덱싱 및 에이전트 코드 검색에 이상적입니다.”
EmbeddingGemma 2는 MRL(Matryoshka Representation Learning)을 지원합니다. 이를 통해 임베딩을 더 짧은 단위 길이 벡터로 잘라 저장 요구 사항을 줄일 수 있습니다. 예를 들어, 768차원 벡터 백만 개를 bfloat16 정밀도로 저장하려면 대략 1.5GB의 메모리가 필요한 반면, 이를 128차원으로 자르려면 250MB만 필요하므로 메모리가 6배 감소합니다. 그러나 이는 검색 품질 균형을 의미합니다. 따라서 Google은 저장 또는 검색 속도가 필요한 경우에만 잘림을 사용할 것을 권장합니다. 128차원에서 모델은 텍스트 품질의 약 90%를 유지하지만 이미지, 비디오 및 음성 검색의 경우 성능은 약 75%로 떨어집니다.
발표에 대해 Reddit 사용자 Distinct-Target7503은 모델의 다중 모드 기능을 강조하면서 텍스트 전용 작업에 대한 개선 정도에 대해 의문을 제기했습니다.
이것의 인상적인 점은 공유된 의미 공간에 이미지와 오디오를 내장할 수 있다는 점이지만, 텍스트에 대해서만은 큰 개선이 되지 않습니다.
한편 Reddit 사용자 Open-Adhesiveness-86은 개발자에게 모델을 올바르게 사용하는 것의 중요성에 대해 경고했습니다.
첫 번째 임베딩젬마에서 저를 괴롭히고 아마도 여전히 적용되는 두 가지: 작업 접두사는 선택 사항이 아닙니다. “title: none | text: ” 대신 쿼리 접두사를 사용하여 문서를 색인화하면 기억력이 눈에 띄게 손상됩니다. 그리고 MRL에 대해 잘라내는 경우 먼저 슬라이스한 다음 더 짧은 벡터를 L2 정규화하고 768에서 정규화한 다음 잘라내면 표준을 벗어난 벡터가 제공됩니다.
EmbeddingGemma는 작년에 “개인 파일을 로컬에서 검색하거나 Gemma 3n을 사용하여 모바일 RAG 파이프라인을 실행하거나 도메인별 챗봇을 구축하는 등 오프라인 및 개인 정보 보호에 민감한 시나리오”에 초점을 맞춰 소개되었습니다. EmbeddingGemma 2는 Hugging Face에서 사용할 수 있습니다.
