mirror of
https://github.com/trustgraph-ai/trustgraph.git
synced 2026-07-11 14:22:12 +02:00
update more languages
Signed-off-by: Alex Jenkins <kjenkins60@gatech.edu>
This commit is contained in:
Alex Jenkins
parent
835acaa70e
commit
16c2f12a54
249 changed files with 117186 additions and 186 deletions
|
|
@ -19,13 +19,21 @@
|
|||
|
||||
1. **טעינת מטא-נתונים חוזרת:** מטא-נתונים של מסמכים מקובצים ונטענים שוב ושוב עם כל אצווה של משולשים המחולצים ממסמך זה. זה בזבוז ומיותר - אותם מטא-נתונים מועברים כחלק מהפלט בכל חילוץ.
|
||||
|
||||
<<<<<<< HEAD
|
||||
2. **מקור מידע שטחי:** הקשר `subjectOf` הנוכחי מקשר רק עובדות ישירות למסמך הראשי. אין נראות לגבי שרשרת השינויים - מאיזו עמוד הגיעה העובדה, מאיזה חלק, באיזו שיטת חילוץ נעשה שימוש.
|
||||
=======
|
||||
2. **מקור מידע שטחי:** הקשר `subjectOf` הנוכחי מקשר רק עובדות ישירות למסמך הראשי. אין נראות לגבי שרשרת השינויים - מאיזו עמוד הגיעה העובדה, מאיזה חלק, באיזו שיטת חילוץ השתמשו.
|
||||
>>>>>>> 82edf2d (New md files from RunPod)
|
||||
|
||||
### מצב רצוי
|
||||
|
||||
1. **טעינת מטא-נתונים פעם אחת:** מטא-נתונים של מסמכים צריכים להיטען פעם אחת ולהיות מחוברים לצומת המסמך הראשי, ולא לחזור על עצמם עם כל אצווה של משולשים.
|
||||
|
||||
<<<<<<< HEAD
|
||||
2. **גרף מקור מידע עשיר:** לתפוס את שרשרת השינויים המלאה ממסמך המקור דרך כל הארטיפקטים הביניים ועד לעובדות המחולצות. לדוגמה, טרנספורמציה של מסמך PDF:
|
||||
=======
|
||||
2. **גרף מקור מידע עשיר:** לתפוס את שרשרת השינויים המלאה מהמסמך המקור דרך כל הארטיפקטים הביניים ועד לעובדות המחולצות. לדוגמה, טרנספורמציה של מסמך PDF:
|
||||
>>>>>>> 82edf2d (New md files from RunPod)
|
||||
|
||||
```
|
||||
PDF file (source document with metadata)
|
||||
|
|
@ -50,7 +58,11 @@
|
|||
|
||||
## תרחישי שימוש
|
||||
|
||||
<<<<<<< HEAD
|
||||
### UC1: הקצאת מקור בתגובות GraphRAG
|
||||
=======
|
||||
### תרחיש שימוש 1: הקצאת מקור בתגובות GraphRAG
|
||||
>>>>>>> 82edf2d (New md files from RunPod)
|
||||
|
||||
**תרחיש:** משתמש מריץ שאילתה של GraphRAG ומקבל תגובה מהסוכן.
|
||||
|
||||
|
|
@ -69,6 +81,7 @@
|
|||
|
||||
**ערך:** משתמשים יכולים לאמת תגובות שנוצרו על ידי AI מול מקורות ראשוניים, ובכך לבנות אמון ולאפשר בדיקת עובדות.
|
||||
|
||||
<<<<<<< HEAD
|
||||
### UC2: ניפוי באגים של איכות חילוץ
|
||||
|
||||
עובדה נראית שגויה. ניתן לעקוב אחורה דרך מקטע → עמוד → מסמך כדי לראות את הטקסט המקורי. האם זו הייתה שגיאת חילוץ, או שהמקור עצמו היה שגוי?
|
||||
|
|
@ -90,6 +103,29 @@
|
|||
למקורות מסוימים יש סמכות רבה יותר מאחרים. ניתן לשקלל או לסנן עובדות בהתאם לסמכות/איכות מסמכי המקור שלהן.
|
||||
|
||||
### UC7: השוואת צינורות חילוץ
|
||||
=======
|
||||
### תרחיש שימוש 2: ניפוי באגים של איכות חילוץ
|
||||
|
||||
עובדה נראית שגויה. ניתן לחזור אחורה דרך מקטע → עמוד → מסמך כדי לראות את הטקסט המקורי. האם זו הייתה שגיאת חילוץ, או שהמקור עצמו שגוי?
|
||||
|
||||
### תרחיש שימוש 3: חילוץ חוזר מצטבר
|
||||
|
||||
מסמך מקור מתעדכן. אילו מקטעים/עובדות נגזרו ממנו? לבטל ולחדש רק את אלה, ולא לעבד הכל מחדש.
|
||||
|
||||
### תרחיש שימוש 4: מחיקת נתונים / הזכות להימחק
|
||||
|
||||
יש להסיר מסמך מקור (GDPR, סיבות משפטיות וכו'). יש לעבור ב-DAG כדי למצוא ולהסיר את כל העובדות הנגזרות.
|
||||
|
||||
### תרחיש שימוש 5: פתרון קונפליקטים
|
||||
|
||||
שתי עובדות סותרות אחת את השנייה. ניתן לחזור לשתי העובדות למקורות שלהן כדי להבין מדוע ולהחליט איזו מהן לתת לה עדיפות (מקור סמכותי יותר, עדכני יותר וכו').
|
||||
|
||||
### תרחיש שימוש 6: שקלול סמכות מקור
|
||||
|
||||
למקורות מסוימים יש סמכות רבה יותר מאחרים. ניתן לשקלל או לסנן עובדות בהתאם לסמכות/איכות מסמכי המקור שלהן.
|
||||
|
||||
### תרחיש שימוש 7: השוואת צינורות חילוץ
|
||||
>>>>>>> 82edf2d (New md files from RunPod)
|
||||
|
||||
השוואת תוצאות משיטות/גרסאות חילוץ שונות. איזה מחלץ הפיק עובדות טובות יותר מאותו מקור?
|
||||
|
||||
|
|
@ -257,10 +293,17 @@ Text: Document → Chunks → Triples/Embeddings
|
|||
|
||||
| פרידיקט | משמעות | דוגמה |
|
||||
|-----------|---------|---------|
|
||||
<<<<<<< HEAD
|
||||
| `prov:wasDerivedFrom` | ישות שמקורה בישות אחרת | עמוד היה-מבוסס-על מסמך |
|
||||
| `prov:wasGeneratedBy` | ישות שנוצרה על ידי פעילות | עמוד נוצר-על-ידי פעולת חילוץ PDF |
|
||||
| `prov:used` | פעילות השתמשה בישות כקלט | פעולת חילוץ PDF השתמשה במסמך |
|
||||
| `prov:wasAssociatedWith` | פעילות בוצעה על ידי סוכן | פעולת חילוץ PDF הייתה-קשורה ל-tg:PDFExtractor |
|
||||
=======
|
||||
| `prov:wasDerivedFrom` | ישות שמקורה בישות אחרת | עמוד wasDerivedFrom מסמך |
|
||||
| `prov:wasGeneratedBy` | ישות שנוצרה על ידי פעילות | עמוד wasGeneratedBy PDFExtractionActivity |
|
||||
| `prov:used` | פעילות השתמשה בישות כקלט | PDFExtractionActivity used Document |
|
||||
| `prov:wasAssociatedWith` | פעילות בוצעה על ידי סוכן | PDFExtractionActivity wasAssociatedWith tg:PDFExtractor |
|
||||
>>>>>>> 82edf2d (New md files from RunPod)
|
||||
|
||||
#### מטא-נתונים בכל רמה
|
||||
|
||||
|
|
@ -275,7 +318,11 @@ doc:123 tg:pageCount 42 .
|
|||
doc:123 tg:mimeType "application/pdf" .
|
||||
```
|
||||
|
||||
<<<<<<< HEAD
|
||||
**עמוד (נפלט על ידי מופשט PDF):**
|
||||
=======
|
||||
**עמוד (נפלט על ידי מחלץ PDF):**
|
||||
>>>>>>> 82edf2d (New md files from RunPod)
|
||||
```
|
||||
page:123-1 a prov:Entity .
|
||||
page:123-1 prov:wasDerivedFrom doc:123 .
|
||||
|
|
@ -348,22 +395,39 @@ activity:extract-999 tg:ontology <http://example.org/ontologies/business-v1> .
|
|||
| `tg:pageCount` | מסמך | מספר כולל של עמודים במסמך המקור |
|
||||
| `tg:mimeType` | מסמך | סוג MIME של המסמך המקור |
|
||||
| `tg:pageNumber` | עמוד | מספר עמוד במסמך המקור |
|
||||
<<<<<<< HEAD
|
||||
| `tg:chunkIndex` | קטע | אינדקס של קטע בתוך הורה |
|
||||
| `tg:charOffset` | קטע | התאמה אופסט בטקסט הורה |
|
||||
| `tg:charLength` | קטע | אורך הקטע בתווים |
|
||||
| `tg:chunkSize` | פעילות | גודל קטע מוגדר |
|
||||
| `tg:chunkOverlap` | פעילות | חפיפה מוגדרת בין קטעים |
|
||||
| `tg:componentVersion` | פעילות | גרסת רכיב TG |
|
||||
=======
|
||||
| `tg:chunkIndex` | קטע | אינדקס של קטע בתוך ההורה |
|
||||
| `tg:charOffset` | קטע | התאמה אופסט בטקסט ההורה |
|
||||
| `tg:charLength` | קטע | אורך הקטע בתווים |
|
||||
| `tg:chunkSize` | פעילות | גודל קטע מוגדר |
|
||||
| `tg:chunkOverlap` | פעילות | חפיפה מוגדרת בין קטעים |
|
||||
| `tg:componentVersion` | פעילות | גרסה של רכיב TG |
|
||||
>>>>>>> 82edf2d (New md files from RunPod)
|
||||
| `tg:llmModel` | פעילות | מודל LLM ששימש לחילוץ |
|
||||
| `tg:ontology` | פעילות | אונטולוגיה ששימשה להכוונת החילוץ |
|
||||
| `tg:embeddingModel` | פעילות | מודל ששימש להטמעות |
|
||||
| `tg:sourceText` | הצהרה | הטקסט המדויק ממנו חולצה משולשת |
|
||||
<<<<<<< HEAD
|
||||
| `tg:sourceCharOffset` | הצהרה | התאמה אופסט בתוך קטע שבו מתחיל הטקסט המקור |
|
||||
=======
|
||||
| `tg:sourceCharOffset` | הצהרה | התאמה אופסט בתוך הקטע שבו מתחיל הטקסט המקור |
|
||||
>>>>>>> 82edf2d (New md files from RunPod)
|
||||
| `tg:sourceCharLength` | הצהרה | אורך הטקסט המקור בתווים |
|
||||
|
||||
#### אתחול אוצר מילים (לכל אוסף)
|
||||
|
||||
<<<<<<< HEAD
|
||||
גרף הידע הוא ניטרלי אוטולוגי ומתחיל ריק. בעת כתיבת נתוני provenance של PROV-O לאוסף בפעם הראשונה, יש לאתחל את אוצר המילים עם תגיות RDF עבור כל מחלקות ופרדיקטים. זה מבטיח תצוגה קריאה על ידי בני אדם בשאילתות ובממשק המשתמש.
|
||||
=======
|
||||
גרף הידע הוא ניטרלי מבחינת אונטולוגיה ומתחיל ריק. בעת כתיבת נתוני provenance של PROV-O לאוסף בפעם הראשונה, יש לאתחל את אוצר המילים עם תגיות RDF עבור כל מחלקות ופרדיקטים. זה מבטיח תצוגה קריאה על ידי בני אדם בשאילתות ובממשק המשתמש.
|
||||
>>>>>>> 82edf2d (New md files from RunPod)
|
||||
|
||||
**מחלקות PROV-O:**
|
||||
```
|
||||
|
|
@ -401,11 +465,19 @@ tg:sourceCharOffset rdfs:label "source character offset" .
|
|||
tg:sourceCharLength rdfs:label "source character length" .
|
||||
```
|
||||
|
||||
<<<<<<< HEAD
|
||||
**הערה בנושא יישום:** אוצר המילים הזה צריך להיות בעל תכונה של אידמפוטנטיות - בטוח להפעיל אותו מספר פעמים מבלי ליצור כפילויות. ניתן להפעיל אותו בפעם הראשונה בעיבוד מסמך באוסף, או כשלב נפרד של אתחול אוסף.
|
||||
|
||||
#### מקור של חלקים קטנים (שאפתני)
|
||||
|
||||
לצורך מעקב מקור מדויק יותר, יהיה שימושי לתעד בדיוק מאיפה בתוך חלק קטן נשלפה טריפלט. זה מאפשר:
|
||||
=======
|
||||
**הערה בנושא יישום:** אוצר המילים הזה צריך להיות בעל תכונה של "אידמפוטנטיות" - בטוח להפעיל אותו מספר פעמים מבלי ליצור כפילויות. ניתן להפעיל אותו בפעם הראשונה בעיבוד מסמך באוסף, או כשלב נפרד של אתחול אוסף.
|
||||
|
||||
#### מקור (Provenance) של תת-קטע (שאיפה)
|
||||
|
||||
לצורך מעקב מדויק יותר, יהיה מועיל לתעד בדיוק מאיפה בתוך קטע נשלפה טריפלט. זה מאפשר:
|
||||
>>>>>>> 82edf2d (New md files from RunPod)
|
||||
|
||||
הדגשת הטקסט המדויק ממנו נשלף הטריפלט בממשק המשתמש
|
||||
אימות דיוק החילוץ מול המקור
|
||||
|
|
@ -434,6 +506,7 @@ subgraph:001 tg:sourceText "John Smith has worked at Acme Corp since 2019" .
|
|||
|
||||
**שיקולי יישום:**
|
||||
|
||||
<<<<<<< HEAD
|
||||
חילוץ מבוסס מודל שפה גדול (LLM) עשוי שלא לספק באופן טבעי מיקומי תווים.
|
||||
ניתן לבקש מה-LLM להחזיר את המשפט/הביטוי המקורי יחד עם הטריפלים החילוצים.
|
||||
לחלופין, ניתן לבצע עיבוד לאחר החילוץ כדי להתאים את הישויות החילוצות בחזרה לטקסט המקור.
|
||||
|
|
@ -464,6 +537,38 @@ subgraph:001 tg:sourceText "John Smith has worked at Acme Corp since 2019" .
|
|||
4. **בניית גרף הדרגתית** - כל מעבד מוסיף את השכבה שלו לגרף. שרשרת מקור המידע השלמה נבנית בהדרגה.
|
||||
|
||||
5. **אופטימיזציה לאחר חלוקה לחלקים** - לאחר חלוקה לחלקים, הודעות נושאות גם מזהה וגם תוכן. החלקים קטנים (2-4KB), כך שכלול התוכן מונע מעברים מיותרים לספרן תוך שמירה על מקור המידע באמצעות המזהה.
|
||||
=======
|
||||
חילוץ מבוסס מודל שפה גדול (LLM) עשוי שלא לספק באופן טבעי מיקומי תווים
|
||||
ניתן לבקש מה-LLM להחזיר את המשפט/הביטוי המקורי יחד עם הטריפלים החולצים
|
||||
לחלופין, ניתן לבצע עיבוד לאחר החילוץ כדי להתאים את הישויות החולצות בחזרה לטקסט המקור
|
||||
פשרה בין מורכבות החילוץ וגרנולריות המקור
|
||||
ייתכן שיהיה קל יותר להשיג זאת באמצעות שיטות חילוץ מובנות מאשר חילוץ LLM חופשי
|
||||
|
||||
זה מסומן כשאיפה - יש ליישם תחילה את המקור הבסיסי ברמת החלקים, כאשר מעקב אחר תת-חלקים הוא שיפור עתידי אם זה אפשרי.
|
||||
|
||||
### מודל אחסון כפול
|
||||
|
||||
גרף המקור נבנה בהדרגה ככל שהמסמכים עוברים דרך הצינור:
|
||||
|
||||
| חנות | מה מאוחסן | מטרה |
|
||||
|-------|---------------|---------|
|
||||
| ספרן | תוכן מסמך + קישורים הורה-ילד | אחזור תוכן, מחיקה מדורגת |
|
||||
| גרף ידע | קצוות הורה-ילד + מטא-נתונים | שאילתות מקור, הקצאת עובדות |
|
||||
|
||||
שתי החנויות שומרות על מבנה גרף זהה. הספרן מחזיק בתוכן; הגרף מחזיק ביחסים ומאפשר שאילתות ניווט.
|
||||
|
||||
### עקרונות עיצוב מרכזיים
|
||||
|
||||
1. **מזהה מסמך כיחידת זרימה** - מעבדים מעבירים מזהים, לא תוכן. תוכן נשאב מהספרן בעת הצורך.
|
||||
|
||||
2. **פליטה פעם אחת במקור** - מטא-נתונים נכתבים לגרף פעם אחת כאשר עיבוד מתחיל, ולא חוזרים על עצמם במורד הזרם.
|
||||
|
||||
3. **דפוס מעבד עקבי** - כל מעבד עוקב אחר דפוס קבלה/שאילתא/יצירה/שמירה/פליטה/העברה זהה.
|
||||
|
||||
4. **בניית גרף הדרגתית** - כל מעבד מוסיף את השכבה שלו לגרף. שרשרת המקור השלמה נבנית באופן מצטבר.
|
||||
|
||||
5. **אופטימיזציה לאחר חלוקה לחלקים** - לאחר חלוקה לחלקים, הודעות נושאות גם מזהה וגם תוכן. החלקים קטנים (2-4KB), כך שכלול התוכן נמנע ממסעות הלוך ושוב מיותרים לספרן תוך שמירה על המקור באמצעות המזהה.
|
||||
>>>>>>> 82edf2d (New md files from RunPod)
|
||||
|
||||
## משימות יישום
|
||||
|
||||
|
|
@ -471,15 +576,23 @@ subgraph:001 tg:sourceText "John Smith has worked at Acme Corp since 2019" .
|
|||
|
||||
#### מצב נוכחי
|
||||
|
||||
<<<<<<< HEAD
|
||||
מתחיל עיבוד מסמכים על ידי שליחת מזהה מסמך למעבד הראשון.
|
||||
אין חיבור למאגר טריפלים - מטא-נתונים נכללים בפלט החילוץ.
|
||||
`add-child-document` יוצר קישורים הורה-ילד ברמה אחת.
|
||||
`list-children` מחזיר רק ילדים מיידיים.
|
||||
=======
|
||||
מתחיל עיבוד מסמכים על ידי שליחת מזהה מסמך למעבד הראשון
|
||||
אין חיבור למאגר טריפלים - מטא-נתונים מקובצים עם פלטי חילוץ
|
||||
`add-child-document` יוצר קישורים הורה-ילד חד-שכבתיים
|
||||
`list-children` מחזיר רק ילדים מיידיים
|
||||
>>>>>>> 82edf2d (New md files from RunPod)
|
||||
|
||||
#### שינויים נדרשים
|
||||
|
||||
**1. ממשק חדש: חיבור למאגר טריפלים**
|
||||
|
||||
<<<<<<< HEAD
|
||||
הספרן צריך לפלוט קצוות מטא-נתונים של מסמכים ישירות לגרף הידע בעת התחלת העיבוד.
|
||||
הוספת לקוח/מפרסם של מאגר טריפלים לשירות הספרן.
|
||||
בעת התחלת עיבוד: פליטת מטא-נתונים של מסמך השורש כקצוות גרף (פעם אחת).
|
||||
|
|
@ -497,32 +610,71 @@ subgraph:001 tg:sourceText "John Smith has worked at Acme Corp since 2019" .
|
|||
|-----------|--------|
|
||||
| מאגר טריפלים | חיבור יוצא חד - פליטת קצוות מטא-נתונים של מסמכים |
|
||||
| התחלת עיבוד | פליטת מטא-נתונים לגרף לפני העברת מזהה מסמך |
|
||||
=======
|
||||
הספרן צריך לפלוט קצוות מטא-נתונים של מסמכים ישירות לגרף הידע בעת התחלת עיבוד.
|
||||
הוסף לקוח/מפרסם של מאגר טריפלים לשירות הספרן
|
||||
בעת התחלת עיבוד: פלט מטא-נתונים של מסמך שורש כקצוות גרף (פעם אחת)
|
||||
|
||||
**2. אוצר מילים של סוגי מסמכים**
|
||||
|
||||
תקנן ערכים של `document_type` עבור מסמכי ילד:
|
||||
`source` - מסמך שהועלה במקור
|
||||
`page` - עמוד שחולץ מהמקור (PDF, וכו')
|
||||
`chunk` - חלק טקסט שמקורו בעמוד או במקור
|
||||
|
||||
#### סיכום שינויי ממשק
|
||||
|
||||
| ממשק | שינוי |
|
||||
|-----------|--------|
|
||||
| מאגר טריפלים | חיבור יוצא חד - פלט קצוות מטא-נתונים של מסמכים |
|
||||
| התחלת עיבוד | פלט מטא-נתונים לגרף לפני העברת מזהה מסמך |
|
||||
>>>>>>> 82edf2d (New md files from RunPod)
|
||||
|
||||
### שינויים בחולץ PDF
|
||||
|
||||
#### מצב נוכחי
|
||||
|
||||
<<<<<<< HEAD
|
||||
מקבל תוכן מסמך (או זורם מסמכים גדולים).
|
||||
מחלץ טקסט מעמודי PDF.
|
||||
מעביר תוכן עמוד לחולץ חלקים.
|
||||
אין אינטראקציה עם הספרן או מאגר הטריפלים.
|
||||
=======
|
||||
מקבל תוכן מסמך (או זורם מסמכים גדולים)
|
||||
מחלץ טקסט מעמודי PDF
|
||||
מעביר תוכן עמוד לחולץ
|
||||
אין אינטראקציה עם הספרן או מאגר הטריפלים
|
||||
>>>>>>> 82edf2d (New md files from RunPod)
|
||||
|
||||
#### שינויים נדרשים
|
||||
|
||||
**1. ממשק חדש: לקוח ספרן**
|
||||
|
||||
חולץ PDF צריך לשמור כל עמוד כמסמך ילד בספרן.
|
||||
<<<<<<< HEAD
|
||||
הוספת לקוח ספרן לשירות חולץ PDF.
|
||||
עבור כל עמוד: קריאה ל-`add-child-document` עם מזהה הורה = מזהה מסמך השורש.
|
||||
=======
|
||||
הוסף לקוח ספרן לשירות חולץ PDF
|
||||
עבור כל עמוד: התקשר ל-`add-child-document` עם parent = מזהה מסמך שורש
|
||||
>>>>>>> 82edf2d (New md files from RunPod)
|
||||
|
||||
**2. ממשק חדש: חיבור למאגר טריפלים**
|
||||
|
||||
חולץ PDF צריך לפלוט קצוות הורה-ילד לגרף הידע.
|
||||
<<<<<<< HEAD
|
||||
הוספת לקוח/מפרסם של מאגר טריפלים.
|
||||
עבור כל עמוד: פליטת קצה המקשר עמוד מסמך למסמך הורה.
|
||||
|
||||
**3. שינוי פורמט פלט**
|
||||
פלט חוזה (יש לעקוב בדיוק אחר הפורמט הבא).
|
||||
=======
|
||||
הוסף לקוח/מפרסם של מאגר טריפלים
|
||||
עבור כל עמוד: פלט קצה המקשר את מסמך העמוד למסמך הורה
|
||||
|
||||
**3. שנה פורמט פלט**
|
||||
פלט חוזה (יש לעקוב אחר הפורמט המדויק).
|
||||
>>>>>>> 82edf2d (New md files from RunPod)
|
||||
במקום להעביר ישירות את תוכן העמוד, יש להעביר את מזהה המסמך של העמוד.
|
||||
ה-Chunker ישלוף את התוכן מה-librarian באמצעות המזהה.
|
||||
|
||||
|
|
@ -547,6 +699,7 @@ subgraph:001 tg:sourceText "John Smith has worked at Acme Corp since 2019" .
|
|||
|
||||
**1. שינוי טיפול בקלט**
|
||||
|
||||
<<<<<<< HEAD
|
||||
לקבל מזהה מסמך במקום תוכן, לשלוף מה-librarian.
|
||||
להוסיף לקוח librarian לשירות ה-chunker
|
||||
לשלוף תוכן עמוד באמצעות מזהה מסמך
|
||||
|
|
@ -566,6 +719,27 @@ subgraph:001 tg:sourceText "John Smith has worked at Acme Corp since 2019" .
|
|||
|
||||
להעביר גם את מזהה מסמך החלק וגם את תוכן החלק (אופטימיזציה לאחר ה-chunker).
|
||||
מעבדים downstream מקבלים מזהה לצורך מעקב מקור + תוכן לעבודה איתו
|
||||
=======
|
||||
יש לקבל מזהה מסמך במקום תוכן, ולשלוף אותו מה-librarian.
|
||||
יש להוסיף לקוח librarian לשירות ה-chunker
|
||||
יש לשלוף את תוכן העמוד באמצעות מזהה המסמך
|
||||
|
||||
**2. ממשק חדש: לקוח Librarian (כתיבה)**
|
||||
|
||||
יש לשמור כל חלק כמסמך ילד ב-librarian.
|
||||
עבור כל חלק: יש לקרוא ל-`add-child-document` עם parent = מזהה מסמך העמוד
|
||||
|
||||
**3. ממשק חדש: חיבור ל-Triple store**
|
||||
|
||||
יש לפלוט קשרים הורה-ילד לגרף הידע.
|
||||
יש להוסיף לקוח/מפרסם triple store
|
||||
עבור כל חלק: יש לפלוט קשר המקשר בין מסמך החלק למסמך העמוד
|
||||
|
||||
**4. שינוי פורמט פלט**
|
||||
|
||||
יש להעביר גם את מזהה מסמך החלק וגם את תוכן החלק (אופטימיזציה לאחר חלוקה).
|
||||
מעבדים downstream מקבלים מזהה לצורך מעקב מקור + תוכן לעבודה
|
||||
>>>>>>> 82edf2d (New md files from RunPod)
|
||||
|
||||
#### סיכום שינויים בממשק
|
||||
|
||||
|
|
@ -574,13 +748,21 @@ subgraph:001 tg:sourceText "John Smith has worked at Acme Corp since 2019" .
|
|||
| הודעת קלט | שינוי מתוכן למזהה מסמך |
|
||||
| Librarian | יציאה חדשה (קריאה + כתיבה) - שליפת תוכן, שמירת מסמכים ילדים |
|
||||
| Triple store | יציאה חדשה - פליטת קשרים הורה-ילד |
|
||||
<<<<<<< HEAD
|
||||
| הודעת פלט | שינוי מתוכן בלבד ל-ID + תוכן |
|
||||
=======
|
||||
| הודעת פלט | שינוי מתוכן בלבד ל-מזהה + תוכן |
|
||||
>>>>>>> 82edf2d (New md files from RunPod)
|
||||
|
||||
### שינויים ב-Knowledge Extractor
|
||||
|
||||
#### מצב נוכחי
|
||||
|
||||
<<<<<<< HEAD
|
||||
מקבל תוכן חלק
|
||||
=======
|
||||
מקבל תוכן של חלק
|
||||
>>>>>>> 82edf2d (New md files from RunPod)
|
||||
מחלץ טריפל ו-embeddings
|
||||
פולט ל-triple store ול-embedding store
|
||||
`subjectOf` הקשר מצביע למסמך ברמה העליונה (ולא לחלק)
|
||||
|
|
@ -589,6 +771,7 @@ subgraph:001 tg:sourceText "John Smith has worked at Acme Corp since 2019" .
|
|||
|
||||
**1. שינוי טיפול בקלט**
|
||||
|
||||
<<<<<<< HEAD
|
||||
לקבל מזהה מסמך חלק יחד עם התוכן.
|
||||
להשתמש במזהה החלק לצורך קישור מעקב מקור (תוכן כלול כבר בהתאם לאופטימיזציה)
|
||||
|
||||
|
|
@ -597,20 +780,40 @@ subgraph:001 tg:sourceText "John Smith has worked at Acme Corp since 2019" .
|
|||
לקשר טריפל מחולץ לחלק (ולא למסמך ברמה העליונה).
|
||||
להשתמש ב-reification ליצירת קשר המצביע לקשר
|
||||
`subjectOf` הקשר: טריפל → מזהה מסמך חלק
|
||||
=======
|
||||
יש לקבל מזהה מסמך של חלק יחד עם התוכן.
|
||||
יש להשתמש במזהה החלק לצורך קישור מעקב מקור (תוכן כלול כבר בהתאם לאופטימיזציה)
|
||||
|
||||
**2. עדכון מעקב טריפל**
|
||||
|
||||
יש לקשר טריפל מחולץ לחלק (ולא למסמך ברמה העליונה).
|
||||
יש להשתמש ב-reification ליצירת קשר המצביע לקשר
|
||||
`subjectOf` קשר: טריפל → מזהה מסמך של חלק
|
||||
>>>>>>> 82edf2d (New md files from RunPod)
|
||||
שימוש ראשון בתמיכה קיימת ב-reification
|
||||
|
||||
**3. עדכון מעקב embedding**
|
||||
|
||||
<<<<<<< HEAD
|
||||
לקשר מזהי ישויות embedding לחלק.
|
||||
לפלוט קשר: מזהה ישות embedding → מזהה מסמך חלק
|
||||
=======
|
||||
יש לקשר מזהי ישויות embedding לחלק.
|
||||
יש לפלוט קשר: מזהה ישות embedding → מזהה מסמך של חלק
|
||||
>>>>>>> 82edf2d (New md files from RunPod)
|
||||
|
||||
#### סיכום שינויים בממשק
|
||||
|
||||
| ממשק | שינוי |
|
||||
|-----------|--------|
|
||||
| הודעת קלט | מצפים למזהה חלק + תוכן (ולא רק תוכן) |
|
||||
<<<<<<< HEAD
|
||||
| Triple store | להשתמש ב-reification למעקב טריפל → חלק |
|
||||
| מעקב embedding | לקשר מזהה ישות → מזהה חלק |
|
||||
=======
|
||||
| Triple store | שימוש ב-reification למעקב טריפל → חלק |
|
||||
| מעקב embedding | קישור מזהה ישות → מזהה חלק |
|
||||
>>>>>>> 82edf2d (New md files from RunPod)
|
||||
|
||||
## הפניות
|
||||
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue