> **Beta Translation:** This document was translated via Machine Learning and as such may not be 100% accurate. All non-English languages are currently classified as Beta.
│ └── metadata: list[Triple] # (set to [] by extractors)
└── triples: list[Triple]
└── Triple
├── s: Term # Subject
├── p: Term # Predicate
├── o: Term # Object
└── g: str | None # Named graph
```
### סכימה: EntityContexts
```
EntityContexts
├── metadata: Metadata
└── entities: list[EntityContext]
└── EntityContext
├── entity: Term # Entity identifier (IRI)
├── context: str # Textual description for embedding
└── chunk_id: str # Source chunk ID (provenance)
```
### סכימה: שורות
```
Rows
├── metadata: Metadata
├── row_schema: RowSchema
│ ├── name: str
│ ├── description: str
│ └── fields: list[Field]
└── rows: list[dict[str, str]] # Extracted records
```
## שלב 5: יצירת הטמעות (Embeddings)
### הטמעות גרפיות (Graph Embeddings)
ממיר הקשרים של ישויות להטמעות וקטוריות.
**תהליך:**
1. קבלת הקשרים של ישויות (EntityContexts)
2. הפעלת שירות הטמעות עם טקסט ההקשר
3. פלט הטמעות גרפיות (מיפוי ישות ← וקטור)
**סכימה: הטמעות גרפיות (GraphEmbeddings)**
```
GraphEmbeddings
├── metadata: Metadata
└── entities: list[EntityEmbeddings]
└── EntityEmbeddings
├── entity: Term # Entity identifier
├── vector: list[float] # Embedding vector
└── chunk_id: str # Source chunk (provenance)
```
### הטמעות מסמכים
ממיר טקסט מחולק ישירות להטמעות וקטוריות.
**תהליך:**
1. קבלת מקטע
2. הפעלת שירות הטמעות עם טקסט המקטע
3. פלט הטמעות מסמכים
**סכימה: הטמעות מסמכים**
```
DocumentEmbeddings
├── metadata: Metadata
└── chunks: list[ChunkEmbeddings]
└── ChunkEmbeddings
├── chunk_id: str # Chunk identifier
└── vector: list[float] # Embedding vector
```
### הטמעות שורות
ממיר שדות אינדקס שורות להטמעות וקטוריות.
**תהליך:**
1. קבלת שורות
2. הטמעת שדות אינדקס מוגדרים
3. פלט לאחסון וקטורים של שורות
## שלב 6: אחסון
### מאגר משולשות
מקבל: משולשות
אחסון: Cassandra (טבלאות ממוקדות ישויות)
גרפים בעלי שמות מפרידים ידע ליבה ממידע על מקור:
`""` (ברירת מחדל): עובדות ידע ליבה
`urn:graph:source`: מידע על מקור החילוץ
`urn:graph:retrieval`: הסבר בזמן שאילתה
### מאגר וקטורים (הטמעות גרפים)
מקבל: הטמעות גרפים
אחסון: Qdrant, Milvus, או Pinecone
מאוּינדקס על ידי: IRI של ישות
מטא-דאטה: chunk_id עבור מידע על מקור
### מאגר וקטורים (הטמעות מסמכים)
מקבל: הטמעות מסמכים
אחסון: Qdrant, Milvus, או Pinecone
מאוּינדקס על ידי: chunk_id
### מאגר שורות
מקבל: שורות
אחסון: Cassandra
מבנה טבלאות המונחה סכימה
### מאגר וקטורים של שורות
מקבל: הטמעות שורות
אחסון: מסד נתונים וקטורי
מאוּנדקס על ידי: שדות אינדקס שורה
## ניתוח שדות מטא-דאטה
### שדות בשימוש פעיל
| שדה | שימוש |
|-------|-------|
| `metadata.id` | מזהה מסמך/חלק, רישום, מקור
| `metadata.user` | ריבוי דיירים, ניתוב אחסון
| `metadata.collection` | בחירת אוסף יעד
| `document_id` | הפניה לספרן, קישור למקור
| `chunk_id` | מעקב אחר מקור לאורך הצינור
<<<<<<<HEAD
### שדות שעלולים להיות מיותרים
| שדה | סטטוס |
|-------|--------|
| `metadata.metadata` | מוגדר ל-`[]` על ידי כל המחלצים; מטא-דאטה ברמת המסמך מטופלים כעת על ידי הספרן בזמן ההגשה |
=======
### שדות שהוסרו
| שדה | סטטוס |
|-------|--------|
| `metadata.metadata` | הוסר ממחלקת `Metadata`. משולשות מטא-דאטה ברמת המסמך משודרים כעת ישירות על ידי הספרן למאגר משולשות בזמן ההגשה, ולא מועברים דרך צינור החילוץ. |
>>>>>>> e3bcbf73 (The metadata field (list of triples) in the pipeline Metadata class)
### תבניות שדות בייטים
כל שדות התוכן (`data`, `text`, `chunk`) הם `bytes` אך מפענחים מיד לשרשורי UTF-8 על ידי כל המעבדים. אף מעבד לא משתמש בבייטים גולמיים.
## תצורת זרימה
זרימות מוגדרות מחוץ למערכת ומועברות לספרן באמצעות שירות התצורה. כל זרימה מציינת:
תורי קלט (`text-load`, `document-load`)
שרשרת מעבדים
פרמטרים (גודל חתיכה, שיטת חילוץ, וכו')
דוגמאות לתבניות זרימה:
`pdf-graphrag`: PDF → מפענח → חולק → הגדרות + קשרים → הטמעות
`text-graphrag`: טקסט → חולק → הגדרות + קשרים → הטמעות
