pgvector 하이브리드 검색과 RRF 로 만든 AI 캐릭터 장기 기억
LLM의 컨텍스트 윈도우를 넘어서는 장기 기억을 어떻게 만들었나. 주기적 AI 요약과 Voyage AI 임베딩, pgvector 코사인 유사도와 tsvector 키워드 검색을 RRF로 병합하는 하이브리드 검색 설계를 정리했다.
#Redis
Redis 태그가 붙은 글 2편
한국어 AI 콘텐츠 안전 필터링: 유니코드 정규화부터 스트리밍 실시간 차단까지
한국어에는 자모 분리, 공백 삽입, 유니코드 정규화 차이처럼 이 언어에만 열려 있는 우회 경로가 있다. 4단계 정규화 파이프라인과 유니코드 자모 조합 알고리즘을 만들고, 입력과 출력 양쪽에 필터를 걸어 SSE 스트리밍 도중 실시간으로 걸러내기까지 어떻게 설계했는지 적었다.