지식 코퍼스 이해하기

지식 코퍼스는 BrainTube의 근간이에요. 내가 배운 모든 것이 살아 있는 네트워크로 계속 자라나요.

지식 코퍼스란 무엇인가요?

잘 정리된 지식 베이스라고 생각하면 돼요. 단순한 북마크 목록과 달리, BrainTube는 전체 텍스트와 스크립트를 추출하고, AI가 만든 메타데이터로 보강하고, 콘텐츠를 벡터로 임베딩하고, 지식 그래프로 항목들을 연결하고, 여러 출처를 아울러 인사이트를 종합해요.

보강 파이프라인

콘텐츠를 저장하면 다음 단계를 거쳐요: 저장 → 추출 → 보강 → 임베딩 → 연결 → 클러스터링

1단계: 추출

소스에서 원본 콘텐츠를 가져와요. 영상에서는 스크립트를, 기사에서는 텍스트를 가져와요.

2단계: 보강

AI가 요약, 핵심 개체, 핵심 주장, 가상의 검색 질문, 주제 태그를 추출해요.

3단계: 임베딩

Contextual Retrieval을 적용한 임베딩 모델로 콘텐츠를 768차원 벡터로 변환해요. 검색 정확도를 높이기 위해 임베딩 전에 메타데이터 접두어를 붙여요.

4단계: 연결

자동 링커가 개체를 2개 이상 공유하는 항목, 임베딩 유사도가 85%를 넘는 항목, 동의어로 확인된 개체에 대해 지식 그래프 엣지를 만들어요.

5단계: 클러스터링

벡터 유사도로 항목을 주제 클러스터로 묶어요. 항목이 5개 이상인 클러스터는 Brain이 돼요.

코퍼스 상태

코퍼스 상태는 보강 범위, 임베딩 범위, 그래프 밀도(목표: 고립 항목 비율 25% 미만), 최신성(관심도 감소)에 따라 달라져요.