2026-04-10 23:20:41 -04:00
---
layout: default
title: "Veri Çı ı ı
parent: "Turkish (Beta)"
---
2026-04-06 14:50:34 -04:00
# Veri Çı ı ı
2026-04-10 23:20:41 -04:00
> **Beta Translation:** This document was translated via Machine Learning and as such may not be 100% accurate. All non-English languages are currently classified as Beta.
2026-04-06 14:50:34 -04:00
Bu belge, verilerin TrustGraph veri çı ı ı ı ı ı ı ı ı
## Genel Bakı
```
┌──────────┐ ┌─────────────┐ ┌─────────┐ ┌────────────────────┐
│ Librarian│────▶│ PDF Decoder │────▶│ Chunker │────▶│ Knowledge │
│ │ │ (PDF only) │ │ │ │ Extraction │
│ │────────────────────────▶│ │ │ │
└──────────┘ └─────────────┘ └─────────┘ └────────────────────┘
│ │
│ ├──▶ Triples
│ ├──▶ Entity Contexts
│ └──▶ Rows
│
└──▶ Document Embeddings
```
## İçerik Depolama
### Blob Depolama (S3/Minio)
Belge içeriği, S3 uyumlu blob depolama alanı ı
Yol formatı `doc/{object_id}` , burada object_id bir UUID'dir.
Tüm belge türleri burada saklanı
### Metaveri Depolama (Cassandra)
Cassandra'da saklanan belge metaverileri şunları
Belge ID'si, başlı
Blob depolama alanı `object_id` referansı
Alt belgelere (sayfalar, parçalar) ait `parent_id` .
`document_type` : "kaynak", "sayfa", "parça", "cevap".
### İçerik vs. Akı
İçerik iletimi, boyuta dayalı ı
**< 2MB * * : İçerik , mesaj içinde ( base64 ile kodlanmı ) yer alı .
**≥ 2MB**: Yalnı `document_id` gönderilir; işlemci, kütüphaneci API'si aracı ı ı ı
## 1. Aşama: Belge Gönderimi (Kütüphaneci)
### Giriş Noktası
Belgeler, kütüphanecinin `add-document` işlemi aracı ı ı
1. İçerik, blob depolama alanı
2. Cassandra'da bir metaveri kaydı
3. Belge ID'si döndürülür.
### Çı ı
`add-processing` işlemi, çı ı ı
`document_id` , `flow` (işlem hattı `collection` (hedef depolama alanı
Kütüphanecinin `load_document()` işlemi, içeriği alı ı ı
### Şema: Belge
```
Document
├── metadata: Metadata
│ ├── id: str # Document identifier
│ ├── user: str # Tenant/user ID
│ ├── collection: str # Target collection
│ └── metadata: list[Triple] # (largely unused, historical)
├── data: bytes # PDF content (base64, if inline)
└── document_id: str # Librarian reference (if streaming)
```
**Yönlendirme**: `kind` alanı
`application/pdf` → `document-load` kuyruğu → PDF Kod Çözücü
`text/plain` → `text-load` kuyruğu → Parçalayı ı
## 2. Aşama: PDF Kod Çözücü
PDF belgelerini metin sayfaları
### İşlem
1. İçeriği al (doğrudan `data` veya `document_id` üzerinden kütüphaneciden)
2. Sayfaları ı
3. Her sayfa için:
Kütüphanecide alt belge olarak kaydet (`{doc_id}/p{page_num}` )
Kaynak üçlülerini yayı
Parçalayı ı
### Şema: TextDocument
```
TextDocument
├── metadata: Metadata
│ ├── id: str # Page URI (e.g., https://trustgraph.ai/doc/xxx/p1)
│ ├── user: str
│ ├── collection: str
│ └── metadata: list[Triple]
├── text: bytes # Page text content (if inline)
└── document_id: str # Librarian reference (e.g., "doc123/p1")
```
## 3. Aşama: Parçalayı ı
Metni, yapı ı ı ı ı ı
### Parametreler (akı ı ı ı ı ı
`chunk_size` : Karakter cinsinden hedef parça boyutu (varsayı
`chunk_overlap` : Parçalar arası ı
### İşlem
1. Metin içeriğini alı ı ı ı
2. Özyinelemeli karakter ayı ı ı ı ı
3. Her parça için:
Kütüphanecide alt belge olarak kaydedin (`{parent_id}/c{index}` )
Kaynak bilgilerini yayı ı
Çı
### Şema: Parça (Chunk)
```
Chunk
├── metadata: Metadata
│ ├── id: str # Chunk URI
│ ├── user: str
│ ├── collection: str
│ └── metadata: list[Triple]
├── chunk: bytes # Chunk text content
└── document_id: str # Librarian chunk ID (e.g., "doc123/p1/c3")
```
### Belge Kimlik Hiyerarşisi
Alt belgeler, kimlik içinde kendi kökenlerini kodlar:
Kaynak: `doc123`
Sayfa: `doc123/p5`
Sayfadan parça: `doc123/p5/c2`
Metinden parça: `doc123/c2`
## 4. Aşama: Bilgi Çı ı ı
Kullanı ı ı ı ı ı ı ı ı
### Kalı
İki paralel işlemci:
**kg-extract-definitions**
Giriş: Parça
Çı ı ı ı ı ı ı
Çı ı ı ı
**kg-extract-relationships**
Giriş: Parça
Çı ı ı ı
Çı ı
### Kalı ı
Giriş: Parça
Çı ı ı ı
Çı ı ı ı ı ı ı ı
### Kalı ı
Giriş: Parça
Çı ı ı ı
Çı ı ı
### Kalı ı ı ı ı
Giriş: Parça
Çı ı ı ı ı ı ı
Yapı ı ı ı ı ı ı ı ı ı ı
### Şema: Üçlüler
```
Triples
├── metadata: Metadata
│ ├── id: str
│ ├── user: str
│ ├── collection: str
│ └── metadata: list[Triple] # (set to [] by extractors)
└── triples: list[Triple]
└── Triple
├── s: Term # Subject
├── p: Term # Predicate
├── o: Term # Object
└── g: str | None # Named graph
```
### Şema: Varlı ı
```
EntityContexts
├── metadata: Metadata
└── entities: list[EntityContext]
└── EntityContext
├── entity: Term # Entity identifier (IRI)
├── context: str # Textual description for embedding
└── chunk_id: str # Source chunk ID (provenance)
```
### Şema: Satı
```
Rows
├── metadata: Metadata
├── row_schema: RowSchema
│ ├── name: str
│ ├── description: str
│ └── fields: list[Field]
└── rows: list[dict[str, str]] # Extracted records
```
## 5. Aşama: Gömme (Embedding) Oluşturma
### Grafik Gömme (Graph Embeddings)
Varlı ı ı
**Süreç:**
1. Varlı ı ı ı
2. Bağlam metniyle gömme hizmetini çağı ı
3. GrafikGömme'leri Çı ı ı ı
**Şema: GrafikGömme (GraphEmbeddings)**
```
GraphEmbeddings
├── metadata: Metadata
└── entities: list[EntityEmbeddings]
└── EntityEmbeddings
├── entity: Term # Entity identifier
├── vector: list[float] # Embedding vector
└── chunk_id: str # Source chunk (provenance)
```
### Belge Gömme (Document Embeddings)
Parça metnini doğrudan vektör gömmelerine dönüştürür.
**Süreç:**
1. Parçayı
2. Parça metniyle gömme hizmetini çağı
3. DocumentEmbeddings çı ı ı ı
**Şema: DocumentEmbeddings**
```
DocumentEmbeddings
├── metadata: Metadata
└── chunks: list[ChunkEmbeddings]
└── ChunkEmbeddings
├── chunk_id: str # Chunk identifier
└── vector: list[float] # Embedding vector
```
### Satı
Satı ı ı
**İşlem:**
1. Satı ı
2. Yapı ı ı ı ı ı
3. Satı ı ı
## 6. Aşama: Depolama
### Üçlü Depo (Triple Store)
Gelen: Üçlüler
Depolama: Cassandra (varlı ı
İsimlendirilmiş grafikler, temel bilgiyi köken bilgisinden ayı ı
`""` (varsayı
`urn:graph:source` : Çı
`urn:graph:retrieval` : Sorgu zamanı ı
### Vektör Deposu (Grafik Gömme)
Gelen: GrafikGömme (GraphEmbeddings)
Depolama: Qdrant, Milvus veya Pinecone
Dizin: Varlı
Metaveri: Köken için chunk_id
### Vektör Deposu (Belge Gömme)
Gelen: BelgeGömme (DocumentEmbeddings)
Depolama: Qdrant, Milvus veya Pinecone
Dizin: chunk_id ile
### Satı
Gelen: Satı
Depolama: Cassandra
Şema odaklı ı ı
### Satı
Gelen: Satı
Depolama: Vektör Veritabanı
Dizin: Satı ı
## Metaveri Alanı
### Aktif Olarak Kullanı
| Alan | Kullanı
|-------|-------|
| `metadata.id` | Belge/parça tanı ı ı
| `metadata.user` | Çoklu kiracı ı
| `metadata.collection` | Hedef koleksiyon seçimi |
| `document_id` | Kütüphaneci referansı ı ı
| `chunk_id` | İşlem hattı
< < < < < < < HEAD
### Potansiyel Olarak Gereksiz Alanlar
| Alan | Durum |
|-------|--------|
| `metadata.metadata` | Tüm çı ı ı ı `[]` olarak ayarlanı ı ı ı
=======
### Kaldı ı
| Alan | Durum |
|-------|--------|
| `metadata.metadata` | `Metadata` sı ı ı ı ı ı ı ı ı ı ı ı
>>>>>>> e3bcbf73 (The metadata field (list of triples) in the pipeline Metadata class)
### Bayt Alanı
Tüm içerik alanları `data` , `text` , `chunk` ) `bytes` 'tür, ancak tüm işlemciler tarafı ı ı
## Akı ı ı ı
Akı ı ı ı ı ı ı ı ı ı ı
Giriş kuyrukları `text-load` , `document-load` )
İşlemci zinciri
Parametreler (parça boyutu, çı
Örnek akı
`pdf-graphrag` : PDF → Kod Çözücü → Parçalayı ı ı
`text-graphrag` : Metin → Parçalayı ı ı
`pdf-ontology` : PDF → Kod Çözücü → Parçalayı ı ı
`text-rows` : Metin → Parçalayı ı ı ı ı
