17 KiB
ग्राफआरएजी प्रदर्शन अनुकूलन तकनीकी विनिर्देश
अवलोकन
यह विनिर्देश ट्रस्टग्राफ में ग्राफआरएजी (ग्राफ रिट्रीवल-ऑगमेंटेड जनरेशन) एल्गोरिथ्म के लिए व्यापक प्रदर्शन अनुकूलन का वर्णन करता है। वर्तमान कार्यान्वयन महत्वपूर्ण प्रदर्शन बाधाओं से ग्रस्त है जो स्केलेबिलिटी और प्रतिक्रिया समय को सीमित करते हैं। यह विनिर्देश चार प्राथमिक अनुकूलन क्षेत्रों को संबोधित करता है:
- ग्राफ ट्रैवर्सल अनुकूलन: अक्षम पुनरावर्ती डेटाबेस प्रश्नों को समाप्त करें और बैच किए गए ग्राफ अन्वेषण को लागू करें।
- लेबल रिज़ॉल्यूशन अनुकूलन: अनुक्रमिक लेबल पुनर्प्राप्ति को समानांतर/बैच संचालन से बदलें।
- कैशिंग रणनीति में सुधार: एलआरयू निष्कासन और पूर्व-भार के साथ बुद्धिमान कैशिंग लागू करें।
- क्वेरी अनुकूलन: बेहतर प्रतिक्रिया समय के लिए परिणाम मेमोइजेशन और एम्बेडिंग कैशिंग जोड़ें।
लक्ष्य
- डेटाबेस क्वेरी की मात्रा को कम करें: बैचिंग और कैशिंग के माध्यम से कुल डेटाबेस क्वेरी में 50-80% की कमी प्राप्त करें।
- प्रतिक्रिया समय में सुधार: उपग्राफ निर्माण में 3-5 गुना तेजी और लेबल रिज़ॉल्यूशन में 2-3 गुना तेजी लाने का लक्ष्य रखें।
- स्केलेबिलिटी में वृद्धि: बेहतर मेमोरी प्रबंधन के साथ बड़े नॉलेज ग्राफ का समर्थन करें।
- सटीकता बनाए रखें: मौजूदा ग्राफआरएजी कार्यक्षमता और परिणाम गुणवत्ता को संरक्षित करें।
- समवर्ती को सक्षम करें: एकाधिक समवर्ती अनुरोधों के लिए समानांतर प्रसंस्करण क्षमताओं में सुधार करें।
- मेमोरी पदचिह्न को कम करें: कुशल डेटा संरचनाओं और मेमोरी प्रबंधन को लागू करें।
- अवलोकनशीलता जोड़ें: प्रदर्शन मेट्रिक्स और निगरानी क्षमताओं को शामिल करें।
- विश्वसनीयता सुनिश्चित करें: उचित त्रुटि प्रबंधन और टाइमआउट तंत्र जोड़ें।
पृष्ठभूमि
trustgraph-flow/trustgraph/retrieval/graph_rag/graph_rag.py में वर्तमान ग्राफआरएजी कार्यान्वयन में कई महत्वपूर्ण प्रदर्शन संबंधी समस्याएं हैं जो सिस्टम स्केलेबिलिटी को गंभीर रूप से प्रभावित करती हैं:
वर्तमान प्रदर्शन समस्याएं
1. अक्षम ग्राफ ट्रैवर्सल (follow_edges फ़ंक्शन, लाइनें 79-127)
- प्रति इकाई प्रति गहराई स्तर पर 3 अलग डेटाबेस क्वेरी करता है।
- क्वेरी पैटर्न: प्रत्येक इकाई के लिए विषय-आधारित, विधेय-आधारित और वस्तु-आधारित क्वेरी।
- कोई बैचिंग नहीं: प्रत्येक क्वेरी एक बार में केवल एक इकाई को संसाधित करती है।
- कोई चक्र का पता नहीं: एक ही नोड्स को कई बार पुनः देख सकता है।
- मेमोइजेशन के बिना पुनरावर्ती कार्यान्वयन घातीय जटिलता की ओर ले जाता है।
- समय जटिलता: O(entities × max_path_length × triple_limit³)
2. अनुक्रमिक लेबल रिज़ॉल्यूशन (get_labelgraph फ़ंक्शन, लाइनें 144-171)
- प्रत्येक ट्रिपल घटक (विषय, विधेय, वस्तु) को क्रमिक रूप से संसाधित करता है।
- प्रत्येक
maybe_labelकॉल संभावित रूप से एक डेटाबेस क्वेरी को ट्रिगर करता है। - लेबल क्वेरी का कोई समानांतर निष्पादन या बैचिंग नहीं।
- प्रति उपग्राफ आकार में 3 अलग डेटाबेस कॉल होते हैं।
3. आदिम कैशिंग रणनीति (maybe_label फ़ंक्शन, लाइनें 62-77)
- बिना आकार सीमा या टीटीएल के सरल शब्दकोश कैश।
- कोई कैश निष्कासन नीति नहीं है, जिससे असीमित मेमोरी वृद्धि होती है।
- कैश मिस व्यक्तिगत डेटाबेस क्वेरी को ट्रिगर करते हैं।
- कोई पूर्व-भार या बुद्धिमान कैश वार्मिंग नहीं है।
4. उप-इष्टतम क्वेरी पैटर्न
- समान अनुरोधों के बीच इकाई वेक्टर समानता क्वेरी का कैश नहीं किया जाता है।
- दोहराए गए क्वेरी पैटर्न के लिए कोई परिणाम मेमोइजेशन नहीं है।
- सामान्य एक्सेस पैटर्न के लिए क्वेरी अनुकूलन गायब है।
5. महत्वपूर्ण ऑब्जेक्ट लाइफटाइम मुद्दे (rag.py:96-102)
- प्रत्येक अनुरोध के लिए GraphRag ऑब्जेक्ट फिर से बनाया गया: प्रत्येक क्वेरी के लिए एक नया उदाहरण बनाया जाता है, जिससे सभी कैश लाभ खो जाते हैं।
- क्वेरी ऑब्जेक्ट बहुत कम समय तक जीवित रहता है: एक ही क्वेरी निष्पादन के भीतर बनाया और नष्ट किया जाता है (लाइनें 201-207)।
- प्रत्येक अनुरोध के लिए लेबल कैश रीसेट किया जाता है: कैश वार्मिंग और संचित ज्ञान अनुरोधों के बीच खो जाता है।
- क्लाइंट पुनर्निर्माण ओवरहेड: प्रत्येक अनुरोध के लिए डेटाबेस क्लाइंट संभावित रूप से फिर से स्थापित किए जाते हैं।
- कोई क्रॉस-अनुरोध अनुकूलन नहीं: क्वेरी पैटर्न या परिणाम साझाकरण से लाभ नहीं हो सकता है।
प्रदर्शन प्रभाव विश्लेषण
एक विशिष्ट क्वेरी के लिए वर्तमान सबसे खराब स्थिति परिदृश्य:
- इकाई पुनर्प्राप्ति: 1 वेक्टर समानता क्वेरी
- ग्राफ ट्रैवर्सल: entities × max_path_length × 3 × triple_limit क्वेरी
- लेबल रिज़ॉल्यूशन: subgraph_size × 3 व्यक्तिगत लेबल क्वेरी
डिफ़ॉल्ट मापदंडों के लिए (50 इकाइयां, पथ लंबाई 2, 30 ट्रिपल सीमा, 150 उपग्राफ आकार):
- न्यूनतम क्वेरी: 1 + (50 × 2 × 3 × 30) + (150 × 3) = 9,451 डेटाबेस क्वेरी
- प्रतिक्रिया समय: मध्यम आकार के ग्राफ के लिए 15-30 सेकंड
- मेमोरी उपयोग: समय के साथ असीमित कैश वृद्धि
- कैश प्रभावशीलता: 0% - प्रत्येक अनुरोध पर कैश रीसेट होते हैं
- ऑब्जेक्ट निर्माण ओवरहेड: GraphRag + Query ऑब्जेक्ट प्रति अनुरोध बनाए जाते हैं/नष्ट किए जाते हैं
यह विनिर्देश बैच किए गए प्रश्नों, बुद्धिमान कैशिंग और समानांतर प्रसंस्करण को लागू करके इन कमियों को संबोधित करता है। क्वेरी पैटर्न और डेटा एक्सेस को अनुकूलित करके, ट्रस्टग्राफ:
- लाखों इकाइयों के साथ उद्यम-स्तरीय नॉलेज ग्राफ का समर्थन कर सकता है।
- विशिष्ट क्वेरी के लिए उप-सेकंड प्रतिक्रिया समय प्रदान कर सकता है।
- सैकड़ों समवर्ती GraphRAG अनुरोधों को संभाल सकता है।
- ग्राफ आकार और जटिलता के साथ कुशलतापूर्वक स्केल कर सकता है।
तकनीकी डिजाइन
आर्किटेक्चर
ग्राफआरएजी प्रदर्शन अनुकूलन के लिए निम्नलिखित तकनीकी घटकों की आवश्यकता होती है:
1. ऑब्जेक्ट लाइफटाइम आर्किटेक्चरल रीफैक्टर
- GraphRag को लंबे समय तक चलने वाला बनाएं: GraphRag उदाहरण को प्रोसेसर स्तर पर लगातार रहने के लिए स्थानांतरित करें।
- कैश को संरक्षित करें: अनुरोधों के बीच लेबल कैश, एम्बेडिंग कैश और क्वेरी परिणाम कैश बनाए रखें।
- क्वेरी ऑब्जेक्ट को अनुकूलित करें: क्वेरी को एक हल्के निष्पादन संदर्भ, डेटा कंटेनर के रूप में रीफैक्टर करें।
- कनेक्शन दृढ़ता: अनुरोधों में डेटाबेस क्लाइंट कनेक्शन बनाए रखें।
मॉड्यूल: trustgraph-flow/trustgraph/retrieval/graph_rag/rag.py (संशोधित)
2. अनुकूलित ग्राफ ट्रैवर्सल इंजन
- पुनरावर्ती
follow_edgesको पुनरावृत्त चौड़ाई-पहली खोज से बदलें। - प्रत्येक ट्रैवर्सल स्तर पर बैच किए गए इकाई प्रसंस्करण को लागू करें।
- देखे गए नोड ट्रैकिंग का उपयोग करके चक्र का पता लगाएं।
- सीमाओं तक पहुंचने पर प्रारंभिक समाप्ति शामिल करें।
मॉड्यूल: trustgraph-flow/trustgraph/retrieval/graph_rag/optimized_traversal.py
3. समानांतर लेबल रिज़ॉल्यूशन सिस्टम
- एक साथ कई इकाइयों के लिए लेबल क्वेरी को बैच करें।
- समवर्ती डेटाबेस एक्सेस के लिए एसिंक्रोनस/अवेट पैटर्न लागू करें।
- सामान्य लेबल पैटर्न के लिए बुद्धिमान पूर्व-भार जोड़ें।
- लेबल कैश वार्मिंग रणनीतियों को शामिल करें।
मॉड्यूल: trustgraph-flow/trustgraph/retrieval/graph_rag/label_resolver.py
4. रूढ़िवादी लेबल कैशिंग परत
- प्रदर्शन बनाम स्थिरता को संतुलित करने के लिए केवल लेबल के लिए एलआरयू कैश (5 मिनट) के साथ छोटा टीटीएल।
- कैश मेट्रिक्स और हिट अनुपात निगरानी।
- कोई एम्बेडिंग कैशिंग नहीं: पहले से ही प्रति-क्वेरी कैश किया गया, कोई क्रॉस-क्वेरी लाभ नहीं।
- कोई क्वेरी परिणाम कैशिंग नहीं: ग्राफ परिवर्तन स्थिरता संबंधी चिंताओं के कारण।
मॉड्यूल: trustgraph-flow/trustgraph/retrieval/graph_rag/cache_manager.py
5. क्वेरी अनुकूलन ढांचा
- क्वेरी पैटर्न विश्लेषण और अनुकूलन सुझाव।
- डेटाबेस एक्सेस के लिए बैच क्वेरी समन्वयक।
- कनेक्शन पूलिंग और क्वेरी टाइमआउट प्रबंधन।
- प्रदर्शन निगरानी और मेट्रिक्स संग्रह।
मॉड्यूल: trustgraph-flow/trustgraph/retrieval/graph_rag/query_optimizer.py
डेटा मॉडल
अनुकूलित ग्राफ ट्रैवर्सल स्थिति
ट्रैवर्सल इंजन अनावश्यक संचालन से बचने के लिए स्थिति बनाए रखता है:
@dataclass
class TraversalState:
visited_entities: Set[str]
current_level_entities: Set[str]
next_level_entities: Set[str]
subgraph: Set[Tuple[str, str, str]]
depth: int
query_batch: List[TripleQuery]