AI 기능 향상: Google Cloud, 관리형 데이터베이스에 벡터 검색 통합

InfoQ 홈페이지 뉴스 AI 기능 강화: Google Cloud, 관리형 데이터베이스에 벡터 검색 통합

2023년 7월 9일 2분 분량의 글

~에 의해

레나토 로시오

Google Cloud는 최근 PostgreSQL용 Cloud SQL 및 PostgreSQL용 AlloyDB에 pgVector에 대한 지원을 추가했습니다. 확장 프로그램은 관리형 데이터베이스에 벡터 검색 작업을 제공하여 개발자가 LLM(대형 언어 모델)에서 생성된 벡터 임베딩을 저장하고 유사성 검색을 수행할 수 있도록 합니다.

이제 Cloud SQL 및 AlloyDB를 Vertex AI의 생성 AI 서비스와 결합하여 애플리케이션과 사용자 상태를 인식하는 AI 지원 애플리케이션을 만드는 데 도움을 줄 수 있습니다. Google의 수석 제품 관리자인 Sandhya Ghai와 Google의 제품 관리자인 Bala Narasimhan은 다음과 같이 설명합니다.

벡터 임베딩은 일반적으로 텍스트, 오디오, 비디오와 같은 복잡한 사용자 생성 콘텐츠를 쉽게 저장, 조작 및 색인화할 수 있는 형식으로 변환하는 데 사용되는 수치 표현입니다. 이러한 표현은 임베딩 모델에 의해 생성되므로 콘텐츠의 두 부분이 의미상 유사할 경우 해당 임베딩이 임베딩 벡터 공간에서 서로 가까이 위치하게 됩니다. 그런 다음 벡터 임베딩을 인덱싱하고 유사성을 기준으로 데이터를 효율적으로 필터링하는 데 사용합니다.

예를 들어 개발자는 텍스트와 이미지 전반에 걸쳐 Vertex AI의 사전 학습된 모델을 사용하여 임베딩을 생성하고 이를 데이터베이스에 저장 및 색인화하여 유사한 레코드 검색을 단순화할 수 있습니다.

이제 CREATE EXTENSION 명령을 사용하여 기존 데이터베이스 내에 pgVector 확장을 설치할 수 있습니다.

출처: https://cloud.google.com/blog/products/databases/using-pgVector-llms-and-langchain-with-google-cloud-databases

Ghai와 Narasimhan이 설명하는 것처럼, 새로운 기능은 개발자가 사전 훈련된 LLM을 활용하는 데에도 도움이 될 수 있습니다.

LLM에 대해 주목해야 할 점은 상태에 대한 개념이 없다는 것입니다. (...) 임베딩을 사용하면 문서나 장기 채팅 기록과 같은 대규모 컨텍스트를 데이터베이스에 저장하고 필터링하여 가장 관련성이 높은 정보를 찾을 수 있습니다. 그런 다음 가장 관련성이 높은 채팅 기록이나 문서를 모델에 공급하여 장기 기억과 비즈니스 관련 지식을 시뮬레이션할 수 있습니다.

Google Cloud는 pgVector, 오픈 소스 프레임워크인 LangChain 및 LLM을 사용하여 AI 기반 앱을 구축하기 위한 Colab 노트북과 비디오를 출시했습니다. Google의 수석 소프트웨어 엔지니어인 Saket Saurabh는 샘플 Python 애플리케이션에 생성 AI 기능을 추가하는 방법을 보여주며 다음과 같이 썼습니다.

또한 pgVector 확장에는 벡터에 대한 유사성 일치를 수행하는 새로운 연산자가 도입되어 의미상 유사한 벡터를 찾을 수 있습니다. 두 가지 연산자는 다음과 같습니다.'<->': 두 벡터 사이의 유클리드 거리를 반환합니다. (...)'<=>': 두 벡터 사이의 코사인 거리를 반환합니다.

Google Cloud는 지난 몇 달 동안 벡터 데이터베이스를 목표로 하는 유일한 클라우드 제공업체가 아닙니다. PostgreSQL용 Amazon RDS는 pgVector 확장을 지원하고 Microsoft는 ADX(Azure Data Explorer)를 벡터 데이터베이스로 사용할 수 있는 방법을 보여주고 벡터 데이터베이스에 대한 여러 커넥터에 대해 논의하고 있습니다. .

Java를 원하는 방식으로 코딩, 배포 및 확장하세요. Microsoft Azure는 Java 앱, 앱 서버 또는 프레임워크에서 작업하는지 여부에 관계없이 다양한 선택을 통해 워크로드를 지원합니다. 더 알아보기.

InfoQ에 글을 쓰면 많은 문이 열리고 직업 기회가 늘어납니다. 나를 위한. 저는 제가 다룬 주제에 대해 더 많은 것을 배우기 위해 전문가 및 사고 리더들과 깊이 소통할 수 있었습니다. 또한 내가 배운 내용을 더 넓은 기술 커뮤니티에 전파하고 기술이 실제 세계에서 어떻게 사용되는지 이해할 수 있습니다.

저는 올해 초 InfoQ의 기여자 프로그램을 발견했고 그 이후로 즐겁게 지냈습니다! InfoQ의 P2P 검토 시스템은 전 세계 소프트웨어 개발자 커뮤니티와 학습 내용을 공유할 수 있는 플랫폼을 제공했을 뿐만 아니라 내 작문 능력도 크게 향상시켰습니다.