mirror of
https://github.com/trustgraph-ai/trustgraph.git
synced 2026-07-13 15:22:12 +02:00
update more languages
Signed-off-by: Alex Jenkins <kjenkins60@gatech.edu>
This commit is contained in:
parent
835acaa70e
commit
16c2f12a54
249 changed files with 117186 additions and 186 deletions
|
|
@ -17,15 +17,25 @@
|
|||
|
||||
### वर्तमान दृष्टिकोण की समस्याएं
|
||||
|
||||
<<<<<<< HEAD
|
||||
1. **दोहरा मेटाडेटा लोडिंग:** दस्तावेज़ मेटाडेटा को प्रत्येक दस्तावेज़ से निकाले गए ट्रिपल बैच के साथ बार-बार बंडल किया जाता है और लोड किया जाता है। यह अनावश्यक और दोहराव वाला है - समान मेटाडेटा प्रत्येक निष्कर्षण आउटपुट के साथ पेलोड के रूप में यात्रा करता है।
|
||||
|
||||
2. **उथला प्रमाण:** वर्तमान `subjectOf` संबंध केवल तथ्यों को सीधे शीर्ष-स्तरीय दस्तावेज़ से जोड़ता है। परिवर्तन श्रृंखला में कोई दृश्यता नहीं है - तथ्य किस पृष्ठ से आया, किस भाग से, किस निष्कर्षण विधि का उपयोग किया गया था।
|
||||
=======
|
||||
1. **दोहरा मेटाडेटा लोडिंग:** दस्तावेज़ मेटाडेटा को प्रत्येक दस्तावेज़ से निकाले गए ट्रिपल के प्रत्येक बैच के साथ बार-बार बंडल किया जाता है और लोड किया जाता है। यह अनावश्यक और दोहराव वाला है - समान मेटाडेटा प्रत्येक निष्कर्षण आउटपुट के साथ पेलोड के रूप में यात्रा करता है।
|
||||
|
||||
2. **उथला प्रमाण:** वर्तमान `subjectOf` संबंध केवल तथ्यों को सीधे शीर्ष-स्तरीय दस्तावेज़ से जोड़ता है। परिवर्तन श्रृंखला में कोई दृश्यता नहीं है - तथ्य किस पृष्ठ से आया, किस खंड से, किस निष्कर्षण विधि का उपयोग किया गया था।
|
||||
>>>>>>> 82edf2d (New md files from RunPod)
|
||||
|
||||
### वांछित स्थिति
|
||||
|
||||
1. **मेटाडेटा को एक बार लोड करें:** दस्तावेज़ मेटाडेटा को एक बार लोड किया जाना चाहिए और शीर्ष-स्तरीय दस्तावेज़ नोड से जोड़ा जाना चाहिए, न कि प्रत्येक ट्रिपल बैच के साथ दोहराया जाना चाहिए।
|
||||
|
||||
<<<<<<< HEAD
|
||||
2. **समृद्ध प्रमाण DAG:** स्रोत दस्तावेज़ से सभी मध्यवर्ती कलाकृतियों से लेकर निकाले गए तथ्यों तक, संपूर्ण परिवर्तन श्रृंखला को कैप्चर करें। उदाहरण के लिए, एक PDF दस्तावेज़ रूपांतरण:
|
||||
=======
|
||||
2. **समृद्ध प्रमाण DAG:** स्रोत दस्तावेज़ से सभी मध्यवर्ती कलाकृतियों से लेकर निकाले गए तथ्यों तक, पूर्ण परिवर्तन श्रृंखला को कैप्चर करें। उदाहरण के लिए, एक PDF दस्तावेज़ रूपांतरण:
|
||||
>>>>>>> 82edf2d (New md files from RunPod)
|
||||
|
||||
```
|
||||
PDF file (source document with metadata)
|
||||
|
|
@ -40,11 +50,19 @@
|
|||
→ ...
|
||||
```
|
||||
|
||||
<<<<<<< HEAD
|
||||
3. **एकीकृत भंडारण:** उत्पत्ति (provenance) DAG को उसी ज्ञान ग्राफ में संग्रहीत किया जाता है जैसे कि निकाले गए ज्ञान को। यह उत्पत्ति को ज्ञान की तरह ही क्वेरी करने की अनुमति देता है - किसी भी तथ्य से लेकर उसके सटीक स्रोत स्थान तक, श्रृंखला में किनारों का पालन करके।
|
||||
|
||||
4. **स्थिर आईडी:** प्रत्येक मध्यवर्ती कलाकृति (पेज, चंक) का ग्राफ में एक नोड के रूप में एक स्थिर आईडी होता है।
|
||||
|
||||
5. **पैरेंट-चाइल्ड लिंकिंग:** व्युत्पन्न दस्तावेज़ों को सुसंगत संबंध प्रकारों का उपयोग करके शीर्ष-स्तरीय स्रोत दस्तावेज़ तक उनके माता-पिता से जोड़ा जाता है।
|
||||
=======
|
||||
3. **एकीकृत भंडारण:** उत्पत्ति (provenance) DAG को उसी ज्ञान ग्राफ में संग्रहीत किया जाता है जैसे कि निकाले गए ज्ञान को। यह उत्पत्ति को ज्ञान की तरह ही क्वेरी करने की अनुमति देता है - किसी भी तथ्य से लेकर उसके सटीक स्रोत स्थान तक, श्रृंखला में वापस किनारों का पालन करना।
|
||||
|
||||
4. **स्थिर आईडी:** प्रत्येक मध्यवर्ती कलाकृति (पेज, चंक) का ग्राफ में एक नोड के रूप में एक स्थिर आईडी होता है।
|
||||
|
||||
5. **माता-पिता-बच्चे संबंध:** व्युत्पन्न दस्तावेज़ों को सुसंगत संबंध प्रकारों का उपयोग करके शीर्ष-स्तरीय स्रोत दस्तावेज़ तक उनके माता-पिता से जोड़ा जाता है।
|
||||
>>>>>>> 82edf2d (New md files from RunPod)
|
||||
|
||||
6. **सटीक तथ्यattribution:** निकाले गए किनारों पर `subjectOf` संबंध तत्काल माता-पिता (चंक) की ओर इशारा करता है, न कि शीर्ष-स्तरीय दस्तावेज़ की ओर। पूर्ण उत्पत्ति को DAG के माध्यम से ऊपर की ओर ट्रैवर्स करके पुनर्प्राप्त किया जाता है।
|
||||
|
||||
|
|
@ -52,6 +70,7 @@
|
|||
|
||||
### UC1: GraphRAG प्रतिक्रियाओं में स्रोत attribution
|
||||
|
||||
<<<<<<< HEAD
|
||||
**परिदृश्य:** एक उपयोगकर्ता GraphRAG क्वेरी चलाता है और एजेंट से एक प्रतिक्रिया प्राप्त करता है।
|
||||
|
||||
**प्रवाह:**
|
||||
|
|
@ -66,6 +85,22 @@
|
|||
तथ्यों → चंक → पृष्ठ → दस्तावेज़ से ड्रिल डाउन कर सकते हैं
|
||||
दावों को सत्यापित करने के लिए मूल स्रोत दस्तावेज़ों की समीक्षा कर सकते हैं
|
||||
यह समझ सकते हैं कि एक तथ्य दस्तावेज़ में कहाँ से (किस पृष्ठ, किस अनुभाग से) उत्पन्न हुआ था
|
||||
=======
|
||||
**परिदृश्य:** एक उपयोगकर्ता GraphRAG क्वेरी चलाता है और एजेंट से प्रतिक्रिया प्राप्त करता है।
|
||||
|
||||
**प्रक्रिया:**
|
||||
1. उपयोगकर्ता GraphRAG एजेंट को एक क्वेरी सबमिट करता है।
|
||||
2. एजेंट प्रतिक्रिया तैयार करने के लिए ज्ञान ग्राफ से प्रासंगिक तथ्यों को पुनः प्राप्त करता है।
|
||||
3. क्वेरी-समय provenance विनिर्देश के अनुसार, एजेंट उन तथ्यों की रिपोर्ट करता है जिन्होंने प्रतिक्रिया में योगदान दिया।
|
||||
4. प्रत्येक तथ्य अपने स्रोत चंक से provenance DAG के माध्यम से जुड़ा होता है।
|
||||
5. चंक पृष्ठों से जुड़े होते हैं, पृष्ठ स्रोत दस्तावेज़ों से जुड़े होते हैं।
|
||||
|
||||
**उपयोगकर्ता अनुभव परिणाम:** इंटरफ़ेस LLM प्रतिक्रिया के साथ स्रोत attribution प्रदर्शित करता है। उपयोगकर्ता निम्न कार्य कर सकते हैं:
|
||||
प्रतिक्रिया का समर्थन करने वाले तथ्यों को देखें।
|
||||
तथ्यों → चंक → पृष्ठ → दस्तावेज़ से नीचे ड्रिल करें।
|
||||
दावों को सत्यापित करने के लिए मूल स्रोत दस्तावेज़ों की समीक्षा करें।
|
||||
समझें कि एक तथ्य दस्तावेज़ में (किस पृष्ठ पर, किस अनुभाग में) से उत्पन्न हुआ था।
|
||||
>>>>>>> 82edf2d (New md files from RunPod)
|
||||
|
||||
**मूल्य:** उपयोगकर्ता AI-जनित प्रतिक्रियाओं को प्राथमिक स्रोतों के विरुद्ध सत्यापित कर सकते हैं, जिससे विश्वास बढ़ता है और तथ्य-जांच सक्षम होती है।
|
||||
|
||||
|
|
@ -75,7 +110,11 @@
|
|||
|
||||
### UC3: वृद्धिशील पुन: निष्कर्षण
|
||||
|
||||
<<<<<<< HEAD
|
||||
स्रोत दस्तावेज़ अपडेट किया गया है। किन चंक/तथ्यों को इससे व्युत्पन्न किया गया था? केवल उन चंक/तथ्यों को अमान्य करें और पुन: उत्पन्न करें, न कि सब कुछ को पुन: संसाधित करें।
|
||||
=======
|
||||
स्रोत दस्तावेज़ अपडेट किया गया है। किन चंक/तथ्यों को इससे व्युत्पन्न किया गया था? केवल उन चंक को अमान्य करें और पुन: उत्पन्न करें, न कि सब कुछ को फिर से संसाधित करें।
|
||||
>>>>>>> 82edf2d (New md files from RunPod)
|
||||
|
||||
### UC4: डेटा हटाना / भुलाए जाने का अधिकार
|
||||
|
||||
|
|
@ -91,7 +130,11 @@
|
|||
|
||||
### UC7: निष्कर्षण पाइपलाइन तुलना
|
||||
|
||||
<<<<<<< HEAD
|
||||
विभिन्न निष्कर्षण विधियों/संस्करणों से आउटपुट की तुलना करें। किस निष्कर्षण ने समान स्रोत से बेहतर तथ्य उत्पन्न किए?
|
||||
=======
|
||||
विभिन्न निष्कर्षण विधियों/संस्करणों से प्राप्त परिणामों की तुलना करें। किस निष्कर्षण ने समान स्रोत से बेहतर तथ्य उत्पन्न किए?
|
||||
>>>>>>> 82edf2d (New md files from RunPod)
|
||||
|
||||
## एकीकरण बिंदु
|
||||
|
||||
|
|
@ -106,7 +149,11 @@
|
|||
`document_type` फ़ील्ड - मान: `"source"` (मूल) या `"extracted"` (व्युत्पन्न)
|
||||
`add-child-document` एपीआई - स्वचालित `document_type = "extracted"` के साथ चाइल्ड दस्तावेज़ बनाता है
|
||||
`list-children` एपीआई - एक पैरेंट दस्तावेज़ के सभी चाइल्ड को पुनः प्राप्त करता है
|
||||
<<<<<<< HEAD
|
||||
कैस्केड डिलीशन - एक पैरेंट को हटाने से स्वचालित रूप से सभी चाइल्ड दस्तावेज़ हटा दिए जाते हैं
|
||||
=======
|
||||
कैस्केड डिलीशन - एक पैरेंट को हटाने से स्वचालित रूप से सभी चाइल्ड दस्तावेज़ हट जाते हैं
|
||||
>>>>>>> 82edf2d (New md files from RunPod)
|
||||
|
||||
**दस्तावेज़ पहचान:**
|
||||
दस्तावेज़ आईडी क्लाइंट द्वारा निर्दिष्ट हैं (स्वचालित रूप से उत्पन्न नहीं)
|
||||
|
|
@ -121,7 +168,11 @@
|
|||
**भंडारण आर्किटेक्चर:**
|
||||
मेटाडेटा कैसेंड्रा में संग्रहीत है (`librarian` कीस्पेस, `document` टेबल)
|
||||
सामग्री MinIO/S3 ब्लब स्टोरेज में संग्रहीत है (`library` बकेट)
|
||||
<<<<<<< HEAD
|
||||
स्मार्ट सामग्री वितरण: 2MB से कम दस्तावेज़ एम्बेडेड हैं, बड़े दस्तावेज़ स्ट्रीम किए जाते हैं
|
||||
=======
|
||||
स्मार्ट सामग्री वितरण: 2MB से छोटे दस्तावेज़ एम्बेडेड होते हैं, बड़े दस्तावेज़ स्ट्रीम किए जाते हैं
|
||||
>>>>>>> 82edf2d (New md files from RunPod)
|
||||
|
||||
#### मुख्य फाइलें
|
||||
|
||||
|
|
@ -232,7 +283,11 @@
|
|||
└─────────────────────────────────────────────────────────────────────────┘
|
||||
```
|
||||
|
||||
<<<<<<< HEAD
|
||||
परिणामी निर्देशित एसाइक्लिक ग्राफ (DAG) एक स्तर छोटा होता है:
|
||||
=======
|
||||
परिणामी DAG एक स्तर छोटा होता है:
|
||||
>>>>>>> 82edf2d (New md files from RunPod)
|
||||
|
||||
```
|
||||
PDF: Document → Pages → Chunks → Triples/Embeddings
|
||||
|
|
@ -257,10 +312,17 @@ Text: Document → Chunks → Triples/Embeddings
|
|||
|
||||
| विधेय | अर्थ | उदाहरण |
|
||||
|-----------|---------|---------|
|
||||
<<<<<<< HEAD
|
||||
| `prov:wasDerivedFrom` | एक इकाई से व्युत्पन्न अन्य इकाई | पृष्ठ दस्तावेज़ से व्युत्पन्न था |
|
||||
| `prov:wasGeneratedBy` | एक गतिविधि द्वारा उत्पन्न इकाई | पृष्ठ पीडीएफ निष्कर्षण गतिविधि द्वारा उत्पन्न किया गया था |
|
||||
| `prov:used` | गतिविधि ने एक इकाई को इनपुट के रूप में उपयोग किया | पीडीएफ निष्कर्षण गतिविधि ने दस्तावेज़ का उपयोग किया |
|
||||
| `prov:wasAssociatedWith` | एक एजेंट द्वारा की गई गतिविधि | पीडीएफ निष्कर्षण गतिविधि tg:पीडीएफएक्सट्रैक्टर से जुड़ी थी |
|
||||
=======
|
||||
| `prov:wasDerivedFrom` | एक इकाई किसी अन्य इकाई से प्राप्त हुई | पृष्ठ दस्तावेज़ से प्राप्त हुआ |
|
||||
| `prov:wasGeneratedBy` | एक इकाई एक गतिविधि द्वारा उत्पन्न हुई | पृष्ठ पीडीएफ निष्कर्षण गतिविधि द्वारा उत्पन्न हुआ |
|
||||
| `prov:used` | एक गतिविधि ने एक इकाई को इनपुट के रूप में उपयोग किया | पीडीएफ निष्कर्षण गतिविधि ने दस्तावेज़ का उपयोग किया |
|
||||
| `prov:wasAssociatedWith` | एक गतिविधि एक एजेंट द्वारा की गई | पीडीएफ निष्कर्षण गतिविधि tg:पीडीएफएक्सट्रैक्टर से जुड़ी थी |
|
||||
>>>>>>> 82edf2d (New md files from RunPod)
|
||||
|
||||
#### प्रत्येक स्तर पर मेटाडेटा
|
||||
|
||||
|
|
@ -275,7 +337,11 @@ doc:123 tg:pageCount 42 .
|
|||
doc:123 tg:mimeType "application/pdf" .
|
||||
```
|
||||
|
||||
<<<<<<< HEAD
|
||||
**पृष्ठ (पीडीएफ एक्सट्रैक्टर द्वारा उत्सर्जित):**
|
||||
=======
|
||||
**पृष्ठ (पीडीएफ एक्सट्रैक्टर द्वारा उत्पन्न):**
|
||||
>>>>>>> 82edf2d (New md files from RunPod)
|
||||
```
|
||||
page:123-1 a prov:Entity .
|
||||
page:123-1 prov:wasDerivedFrom doc:123 .
|
||||
|
|
@ -340,7 +406,11 @@ activity:extract-999 tg:ontology <http://example.org/ontologies/business-v1> .
|
|||
|
||||
#### ट्रस्टग्राफ नेमस्पेस एक्सटेंशन
|
||||
|
||||
<<<<<<< HEAD
|
||||
निष्कर्षण-विशिष्ट मेटाडेटा के लिए `tg:` नेमस्पेस के अंतर्गत कस्टम प्रेडिकेट:
|
||||
=======
|
||||
निष्कर्षण-विशिष्ट मेटाडेटा के लिए `tg:` नेमस्पेस के तहत कस्टम प्रेडिकेट:
|
||||
>>>>>>> 82edf2d (New md files from RunPod)
|
||||
|
||||
| प्रेडिकेट | डोमेन | विवरण |
|
||||
|-----------|--------|-------------|
|
||||
|
|
@ -352,10 +422,17 @@ activity:extract-999 tg:ontology <http://example.org/ontologies/business-v1> .
|
|||
| `tg:charOffset` | चंक | मूल पाठ में कैरेक्टर ऑफसेट |
|
||||
| `tg:charLength` | चंक | कैरेक्टर में चंक की लंबाई |
|
||||
| `tg:chunkSize` | गतिविधि | कॉन्फ़िगर किया गया चंक आकार |
|
||||
<<<<<<< HEAD
|
||||
| `tg:chunkOverlap` | गतिविधि | चंक के बीच कॉन्फ़िगर किया गया ओवरलैप |
|
||||
| `tg:componentVersion` | गतिविधि | टीजी घटक का संस्करण |
|
||||
| `tg:llmModel` | गतिविधि | निष्कर्षण के लिए उपयोग किया गया एलएलएम (LLM) |
|
||||
| `tg:ontology` | गतिविधि | निष्कर्षण का मार्गदर्शन करने के लिए उपयोग किया गया ऑन्टोलॉजी यूआरआई |
|
||||
=======
|
||||
| `tg:chunkOverlap` | गतिविधि | चंक्स के बीच कॉन्फ़िगर किया गया ओवरलैप |
|
||||
| `tg:componentVersion` | गतिविधि | टीजी घटक का संस्करण |
|
||||
| `tg:llmModel` | गतिविधि | निष्कर्षण के लिए उपयोग किया गया एलएलएम (LLM) |
|
||||
| `tg:ontology` | गतिविधि | निष्कर्षण को निर्देशित करने के लिए उपयोग किया गया ऑन्टोलॉजी यूआरआई |
|
||||
>>>>>>> 82edf2d (New md files from RunPod)
|
||||
| `tg:embeddingModel` | गतिविधि | एम्बेडिंग के लिए उपयोग किया गया मॉडल |
|
||||
| `tg:sourceText` | स्टेटमेंट | ट्रिपल से निकाले गए सटीक पाठ |
|
||||
| `tg:sourceCharOffset` | स्टेटमेंट | चंक के भीतर स्रोत पाठ की शुरुआत का कैरेक्टर ऑफसेट |
|
||||
|
|
@ -401,11 +478,19 @@ tg:sourceCharOffset rdfs:label "source character offset" .
|
|||
tg:sourceCharLength rdfs:label "source character length" .
|
||||
```
|
||||
|
||||
<<<<<<< HEAD
|
||||
**कार्यान्वयन नोट:** यह शब्दावली बूटस्ट्रैप आइडेंम्पोटेंट होना चाहिए - बिना डुप्लिकेट बनाए कई बार चलाने के लिए सुरक्षित। इसे किसी संग्रह में पहली बार दस्तावेज़ प्रसंस्करण के दौरान या एक अलग संग्रह आरंभीकरण चरण के रूप में ट्रिगर किया जा सकता है।
|
||||
|
||||
#### उप-खंड उत्पत्ति (आदर्श)
|
||||
|
||||
अधिक बारीक उत्पत्ति के लिए, यह महत्वपूर्ण होगा कि एक त्रिक को एक खंड के भीतर से ठीक कहाँ से निकाला गया था, इसका रिकॉर्ड रखा जाए। यह निम्नलिखित को सक्षम करता है:
|
||||
=======
|
||||
**कार्यान्वयन नोट:** यह शब्दावली बूटस्ट्रैप आइडेंम्पोटेंट होना चाहिए - डुप्लिकेट बनाए बिना कई बार चलाने के लिए सुरक्षित। इसे किसी संग्रह में पहली बार दस्तावेज़ प्रसंस्करण के दौरान या एक अलग संग्रह आरंभीकरण चरण के रूप में ट्रिगर किया जा सकता है।
|
||||
|
||||
#### उप-खंड उत्पत्ति (आकांक्षी)
|
||||
|
||||
अधिक बारीक उत्पत्ति के लिए, यह महत्वपूर्ण होगा कि एक त्रिक को एक खंड के भीतर से कहाँ से निकाला गया था, यह सटीक रूप से रिकॉर्ड किया जाए। यह निम्नलिखित को सक्षम करता है:
|
||||
>>>>>>> 82edf2d (New md files from RunPod)
|
||||
|
||||
यूआई में सटीक स्रोत पाठ को हाइलाइट करना
|
||||
स्रोत के विरुद्ध निष्कर्षण सटीकता को सत्यापित करना
|
||||
|
|
@ -444,11 +529,16 @@ subgraph:001 tg:sourceText "John Smith has worked at Acme Corp since 2019" .
|
|||
|
||||
### दोहरी भंडारण मॉडल
|
||||
|
||||
<<<<<<< HEAD
|
||||
उत्पत्ति डीएजी (DAG) को क्रमिक रूप से बनाया जाता है क्योंकि दस्तावेज़ पाइपलाइन के माध्यम से प्रवाहित होते हैं:
|
||||
=======
|
||||
उत्पत्ति DAG (डायरेक्टेड एसाइक्लिक ग्राफ) को क्रमिक रूप से बनाया जाता है क्योंकि दस्तावेज़ पाइपलाइन के माध्यम से प्रवाहित होते हैं:
|
||||
>>>>>>> 82edf2d (New md files from RunPod)
|
||||
|
||||
| स्टोर | क्या संग्रहीत है | उद्देश्य |
|
||||
|-------|---------------|---------|
|
||||
| लाइब्रेरियन | दस्तावेज़ सामग्री + माता-पिता-बच्चे लिंक | सामग्री पुनर्प्राप्ति, कैस्केड विलोपन |
|
||||
<<<<<<< HEAD
|
||||
| ज्ञान ग्राफ | माता-पिता-बच्चे किनारे + मेटाडेटा | उत्पत्ति प्रश्न, तथ्य का श्रेय |
|
||||
|
||||
दोनों स्टोर समान डीएजी संरचना बनाए रखते हैं। लाइब्रेरियन सामग्री रखता है; ग्राफ संबंधों को रखता है और ट्रैवर्सल प्रश्नों को सक्षम करता है।
|
||||
|
|
@ -456,14 +546,29 @@ subgraph:001 tg:sourceText "John Smith has worked at Acme Corp since 2019" .
|
|||
### प्रमुख डिज़ाइन सिद्धांत
|
||||
|
||||
1. **दस्तावेज़ आईडी प्रवाह की इकाई के रूप में** - प्रोसेसर आईडी, सामग्री नहीं, पास करते हैं। जब आवश्यक हो तो सामग्री लाइब्रेरियन से प्राप्त की जाती है।
|
||||
=======
|
||||
| नॉलेज ग्राफ | माता-पिता-बच्चे किनारे + मेटाडेटा | उत्पत्ति प्रश्न, तथ्य का श्रेय |
|
||||
|
||||
दोनों स्टोर समान DAG संरचना बनाए रखते हैं। लाइब्रेरियन सामग्री रखता है; ग्राफ संबंधों को रखता है और ट्रैवर्सल प्रश्नों को सक्षम बनाता है।
|
||||
|
||||
### प्रमुख डिज़ाइन सिद्धांत
|
||||
|
||||
1. **दस्तावेज़ आईडी प्रवाह की इकाई के रूप में** - प्रोसेसर आईडी, सामग्री नहीं, पास करते हैं। जब आवश्यक हो तो सामग्री को लाइब्रेरियन से प्राप्त किया जाता है।
|
||||
>>>>>>> 82edf2d (New md files from RunPod)
|
||||
|
||||
2. **स्रोत पर एक बार उत्सर्जित करें** - प्रसंस्करण शुरू होने पर मेटाडेटा को ग्राफ में एक बार लिखा जाता है, न कि बाद में दोहराया जाता है।
|
||||
|
||||
3. **संगत प्रोसेसर पैटर्न** - प्रत्येक प्रोसेसर एक ही प्राप्त/प्राप्त/उत्पादित/सहेजें/उत्सर्जित/फॉरवर्ड पैटर्न का पालन करता है।
|
||||
|
||||
<<<<<<< HEAD
|
||||
4. **प्रगतिशील डीएजी निर्माण** - प्रत्येक प्रोसेसर अपने स्तर को डीएजी में जोड़ता है। पूर्ण उत्पत्ति श्रृंखला क्रमिक रूप से बनाई जाती है।
|
||||
|
||||
5. **चंक-प्रोसेसर के बाद अनुकूलन** - चंकिंग के बाद, संदेशों में आईडी और सामग्री दोनों होते हैं। चंक छोटे होते हैं (2-4KB), इसलिए सामग्री को शामिल करने से अनावश्यक लाइब्रेरियन राउंड-ट्रिप से बचा जा सकता है, जबकि आईडी के माध्यम से उत्पत्ति को संरक्षित किया जा सकता है।
|
||||
=======
|
||||
4. **प्रगतिशील DAG निर्माण** - प्रत्येक प्रोसेसर अपने स्तर को DAG में जोड़ता है। पूर्ण उत्पत्ति श्रृंखला क्रमिक रूप से बनाई जाती है।
|
||||
|
||||
5. **चंक-प्रोसेसर के बाद अनुकूलन** - चंकिंग के बाद, संदेशों में आईडी और सामग्री दोनों होते हैं। चंक छोटे होते हैं (2-4KB), इसलिए सामग्री को शामिल करने से अनावश्यक लाइब्रेरियन राउंड-ट्रिप से बचा जाता है, जबकि आईडी के माध्यम से उत्पत्ति को संरक्षित किया जाता है।
|
||||
>>>>>>> 82edf2d (New md files from RunPod)
|
||||
|
||||
## कार्यान्वयन कार्य
|
||||
|
||||
|
|
@ -480,7 +585,11 @@ subgraph:001 tg:sourceText "John Smith has worked at Acme Corp since 2019" .
|
|||
|
||||
**1. नया इंटरफ़ेस: ट्रिपल स्टोर कनेक्शन**
|
||||
|
||||
<<<<<<< HEAD
|
||||
लाइब्रेरियन को प्रसंस्करण शुरू करते समय दस्तावेज़ मेटाडेटा किनारों को सीधे ज्ञान ग्राफ में उत्सर्जित करने की आवश्यकता है।
|
||||
=======
|
||||
लाइब्रेरियन को प्रसंस्करण शुरू करते समय दस्तावेज़ मेटाडेटा किनारों को सीधे नॉलेज ग्राफ में उत्सर्जित करने की आवश्यकता है।
|
||||
>>>>>>> 82edf2d (New md files from RunPod)
|
||||
लाइब्रेरियन सेवा में ट्रिपल स्टोर क्लाइंट/प्रकाशक जोड़ें।
|
||||
प्रसंस्करण शुरू होने पर: रूट दस्तावेज़ मेटाडेटा को ग्राफ किनारों के रूप में उत्सर्जित करें (एक बार)।
|
||||
|
||||
|
|
@ -488,7 +597,11 @@ subgraph:001 tg:sourceText "John Smith has worked at Acme Corp since 2019" .
|
|||
|
||||
चाइल्ड दस्तावेज़ों के लिए `document_type` मानों का मानकीकरण करें:
|
||||
`source` - मूल अपलोड किया गया दस्तावेज़।
|
||||
<<<<<<< HEAD
|
||||
`page` - स्रोत से निकाला गया पृष्ठ (पीडीएफ, आदि)।
|
||||
=======
|
||||
`page` - स्रोत (पीडीएफ, आदि) से निकाला गया पृष्ठ।
|
||||
>>>>>>> 82edf2d (New md files from RunPod)
|
||||
`chunk` - पृष्ठ या स्रोत से प्राप्त पाठ चंक।
|
||||
|
||||
#### इंटरफ़ेस परिवर्तन सारांश
|
||||
|
|
@ -511,20 +624,32 @@ subgraph:001 tg:sourceText "John Smith has worked at Acme Corp since 2019" .
|
|||
|
||||
**1. नया इंटरफ़ेस: लाइब्रेरियन क्लाइंट**
|
||||
|
||||
<<<<<<< HEAD
|
||||
पीडीएफ एक्सट्रैक्टर को प्रत्येक पृष्ठ को लाइब्रेरियन में एक चाइल्ड दस्तावेज़ के रूप में सहेजना होगा।
|
||||
=======
|
||||
पीडीएफ एक्सट्रैक्टर को प्रत्येक पृष्ठ को लाइब्रेरियन में एक चाइल्ड दस्तावेज़ के रूप में सहेजने की आवश्यकता है।
|
||||
>>>>>>> 82edf2d (New md files from RunPod)
|
||||
पीडीएफ एक्सट्रैक्टर सेवा में लाइब्रेरियन क्लाइंट जोड़ें।
|
||||
प्रत्येक पृष्ठ के लिए: `add-child-document` को रूट दस्तावेज़ आईडी के साथ कॉल करें।
|
||||
|
||||
**2. नया इंटरफ़ेस: ट्रिपल स्टोर कनेक्शन**
|
||||
|
||||
<<<<<<< HEAD
|
||||
पीडीएफ एक्सट्रैक्टर को ज्ञान ग्राफ में माता-पिता-बच्चे किनारे उत्सर्जित करने की आवश्यकता है।
|
||||
=======
|
||||
पीडीएफ एक्सट्रैक्टर को नॉलेज ग्राफ में माता-पिता-बच्चे किनारों को उत्सर्जित करने की आवश्यकता है।
|
||||
>>>>>>> 82edf2d (New md files from RunPod)
|
||||
ट्रिपल स्टोर क्लाइंट/प्रकाशक जोड़ें।
|
||||
प्रत्येक पृष्ठ के लिए: पृष्ठ दस्तावेज़ को माता-पिता दस्तावेज़ से जोड़ने वाले किनारे को उत्सर्जित करें।
|
||||
|
||||
**3. आउटपुट प्रारूप बदलें**
|
||||
|
||||
सीधे पृष्ठ सामग्री अग्रेषित करने के बजाय, पृष्ठ दस्तावेज़ आईडी अग्रेषित करें।
|
||||
<<<<<<< HEAD
|
||||
चंकर लाइब्रेरियन का उपयोग करके आईडी के साथ सामग्री प्राप्त करेगा
|
||||
=======
|
||||
चंकर लाइब्रेरियन का उपयोग करके आईडी के साथ सामग्री प्राप्त करेगा।
|
||||
>>>>>>> 82edf2d (New md files from RunPod)
|
||||
|
||||
#### इंटरफ़ेस परिवर्तनों का सारांश
|
||||
|
||||
|
|
@ -589,7 +714,11 @@ subgraph:001 tg:sourceText "John Smith has worked at Acme Corp since 2019" .
|
|||
|
||||
**1. इनपुट हैंडलिंग बदलें**
|
||||
|
||||
<<<<<<< HEAD
|
||||
टुकड़े दस्तावेज़ आईडी के साथ-साथ सामग्री प्राप्त करें।
|
||||
=======
|
||||
सामग्री के साथ-साथ टुकड़े दस्तावेज़ आईडी प्राप्त करें।
|
||||
>>>>>>> 82edf2d (New md files from RunPod)
|
||||
उत्पत्ति लिंकिंग के लिए टुकड़े आईडी का उपयोग करें (सामग्री पहले से ही अनुकूलन के अनुसार शामिल है)
|
||||
|
||||
**2. ट्रिपल उत्पत्ति को अपडेट करें**
|
||||
|
|
@ -601,16 +730,27 @@ subgraph:001 tg:sourceText "John Smith has worked at Acme Corp since 2019" .
|
|||
|
||||
**3. एम्बेडिंग उत्पत्ति को अपडेट करें**
|
||||
|
||||
<<<<<<< HEAD
|
||||
एम्बेडिंग इकाई आईडी को टुकड़े से लिंक करें।
|
||||
किनारा उत्सर्जित करें: एम्बेडिंग इकाई आईडी → टुकड़े दस्तावेज़ आईडी
|
||||
=======
|
||||
एम्बेडिंग एंटिटी आईडी को टुकड़े से लिंक करें।
|
||||
किनारा उत्सर्जित करें: एम्बेडिंग एंटिटी आईडी → टुकड़े दस्तावेज़ आईडी
|
||||
>>>>>>> 82edf2d (New md files from RunPod)
|
||||
|
||||
#### इंटरफ़ेस परिवर्तनों का सारांश
|
||||
|
||||
| इंटरफ़ेस | परिवर्तन |
|
||||
|-----------|--------|
|
||||
<<<<<<< HEAD
|
||||
| इनपुट संदेश | टुकड़े आईडी + सामग्री की अपेक्षा करें (केवल सामग्री नहीं) |
|
||||
| ट्रिपल स्टोर | ट्रिपल → टुकड़े उत्पत्ति के लिए पुन: उपयोग का उपयोग करें |
|
||||
| एम्बेडिंग उत्पत्ति | इकाई आईडी → टुकड़े आईडी से लिंक करें |
|
||||
=======
|
||||
| इनपुट संदेश | सामग्री के साथ टुकड़े आईडी + सामग्री की अपेक्षा करें (केवल सामग्री नहीं) |
|
||||
| ट्रिपल स्टोर | ट्रिपल → टुकड़े उत्पत्ति के लिए पुन: उपयोग का उपयोग करें |
|
||||
| एम्बेडिंग उत्पत्ति | एंटिटी आईडी → टुकड़े आईडी से लिंक करें |
|
||||
>>>>>>> 82edf2d (New md files from RunPod)
|
||||
|
||||
## संदर्भ
|
||||
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue