trustgraph/docs/tech-specs/graphrag-performance-optimization.he.md

מפרט טכני לאופטימיזציה של ביצועים של GraphRAG

סקירה כללית

מפרט זה מתאר אופטימיזציות מקיפות לביצועים של האלגוריתם GraphRAG (Graph Retrieval-Augmented Generation) ב-TrustGraph. יישום הנוכחי סובל מחסמי ביצועים משמעותיים המגבילים את יכולת ההרחבה וזמני התגובה. מפרט זה מתייחס לארבעה תחומים עיקריים של אופטימיזציה:

1. אופטימיזציה של מעבר גרפים: הסרת שאילתות מסד נתונים רקורסיביות לא יעילות ויישום חקר גרפים בטעינה.
2. אופטימיזציה של פתרון תגים: החלפת שליפת תגים רציפה בפעולות מקבילות/בטעינה.
3. שיפור אסטרטגיית אחסון במטמון: יישום אחסון במטמון חכם עם פינוי LRU ואחזור מראש.
4. אופטימיזציה של שאילתות: הוספת שמירת תוצאות ואחסון במטמון של הטבעות לשיפור זמני התגובה.

מטרות

• הפחתת נפח שאילתות מסד נתונים: השגת הפחתה של 50-80% בסך כל שאילתות מסד הנתונים באמצעות טעינה ואחסון במטמון.
• שיפור זמני תגובה: כוונון ל-3-5 פעמים מהירות יותר בבניית תת-גרף ו-2-3 פעמים מהירות יותר בפתרון תגים.
• שיפור יכולת הרחבה: תמיכה בגרפי ידע גדולים יותר עם ניהול זיכרון טוב יותר.
• שימור דיוק: שמירה על הפונקציונליות ואיכות התוצאות של GraphRAG הקיימים.
• אפשרות לריבוי משימות: שיפור יכולות עיבוד מקבילי עבור בקשות מקבילות מרובות.
• הפחתת טביעת רגל של זיכרון: יישום מבני נתונים וניהול זיכרון יעילים.
• הוספת יכולת ניטור: הכללת מדדי ביצועים ויכולות ניטור.
• הבטחת אמינות: הוספת טיפול שגיאות ומנגנוני זמן קצובים מתאימים.

רקע

יישום ה-GraphRAG הנוכחי ב-trustgraph-flow/trustgraph/retrieval/graph_rag/graph_rag.py מציג מספר בעיות ביצועים קריטיות המשפיעות באופן משמעותי על יכולת ההרחבה של המערכת:

בעיות ביצועים נוכחיות

1. מעבר גרפים לא יעיל (פונקציה follow_edges, שורות 79-127)

• מבצע 3 שאילתות נפרדות למסד הנתונים עבור כל ישות בכל רמת עומק.
• תבנית שאילתה: שאילתות מבוססות נושא, שאילתות מבוססות פרידיקט ושאילתות מבוססות אובייקט עבור כל ישות.
• ללא טעינה: כל שאילתה מעבדת רק ישות אחת בכל פעם.
• ללא זיהוי מעגלים: ניתן לחזור על צמתים זהים מספר פעמים.
• יישום רקורסיבי ללא שמירה במטמון מוביל למורכבות אקספוננציאלית.
• מורכבות זמן: O(entities × max_path_length × triple_limit³)

2. פתרון תגים רציף (פונקציה get_labelgraph, שורות 144-171)

• מעבד כל מרכיב משולש (נושא, פרידיקט, אובייקט) באופן רציף.
• כל קריאה ל-maybe_label עלולה לגרום לשאילתת מסד נתונים.
• ללא ביצוע מקבילי או טעינה של שאילתות תגים.
• גורם עד ל-3 × קריאות מסד נתונים בודדות עבור גודל תת-גרף.

3. אסטרטגיית אחסון במטמון בסיסית (פונקציה maybe_label, שורות 62-77)

• מטמון מילון פשוט ללא מגבלות גודל או TTL.
• מדיניות פינוי מטמון חסרה גורמת לצמיחה בלתי מוגבלת של הזיכרון.
• אי-הצלחה במטמון גורמת לשאילתות מסד נתונים בודדות.
• ללא אחזור מראש או חימום מטמון חכם.

4. תבניות שאילתות לא אופטימליות

• שאילתות דמיון וקטורי של ישויות אינן מאוחסנות במטמון בין בקשות דומות.
• ללא שמירת תוצאות לשאילתות דומות.
• אופטימיזציה חסרה של שאילתות לתבניות גישה נפוצות.

5. בעיות קריטיות בתוחלת החיים של אובייקטים (rag.py:96-102)

• אובייקט GraphRag נוצר מחדש עבור כל בקשה: מופעל מופע חדש עבור כל שאילתה, תוך אובדן כל היתרונות של המטמון.
• אובייקט שאילתה קצר מועד במיוחד: נוצר ונהרס במהלך ביצוע שאילתה בודד (שורות 201-207).
• מטמון תגים מאופס עבור כל בקשה: חימום מטמון וידע שנצבר אובדים בין בקשות.
• תקורה של יצירת לקוח: לקוחות מסד נתונים מוקמים מחדש באופן פוטנציאלי עבור כל בקשה.
• ללא אופטימיזציה חוצת בקשות: לא ניתן להפיק תועלת מתבניות שאילתה או שיתוף תוצאות.

ניתוח השפעה על ביצועים

תרחיש גרוע ביותר נוכחי עבור שאילתה טיפוסית:

• אחזור ישות: שאילתת דמיון וקטורית אחת.
• מעבר גרפים: entities × max_path_length × 3 × triple_limit שאילתות.
• פתרון תגים: subgraph_size × 3 שאילתות תגים בודדות.

עבור פרמטרים ברירת מחדל (50 ישויות, אורך נתיב 2, מגבלת משולש 30, גודל תת-גרף 150):

• מספר מינימלי של שאילתות: 1 + (50 × 2 × 3 × 30) + (150 × 3) = 9,451 שאילתות למסד נתונים
• זמן תגובה: 15-30 שניות עבור גרפים בגודל בינוני.
• שימוש בזיכרון: צמיחה בלתי מוגבלת של המטמון לאורך זמן.
• יעילות מטמון: 0% - מטמון מאופס בכל בקשה.
• תקורה של יצירת אובייקטים: אובייקטי GraphRag + Query נוצרים/נהרסים עבור כל בקשה.

מפרט זה מתייחס לפערים אלה על ידי יישום שאילתות בטעינה, אחסון במטמון חכם ועיבוד מקבילי. על ידי אופטימיזציה של תבניות שאילתות וגישה לנתונים, TrustGraph יכולה:

• לתמוך בגרפי ידע בקנה מידה ארגוני עם מיליוני ישויות.
• לספק זמני תגובה של פחות משנייה עבור שאילתות טיפוסיות.
• לטפל במאות בקשות GraphRAG מקבילות.
• להתרחב ביעילות עם גודל ומורכבות הגרף.

עיצוב טכני

ארכיטקטורה

אופטימיזציה של ביצועי GraphRAG דורשת את הרכיבים הטכניים הבאים:

1. שינוי ארכיטקטורת תוחלת החיים של אובייקטים

• הפיכת GraphRag למוחזקת לאורך זמן: העברת מופע GraphRag לרמת Processor לקבלת עמידות בין בקשות.
• שמירה על מטמונים: שמירה על מטמון תגים, מטמון הטבעות ומטמון תוצאות שאילתות בין בקשות.
• אופטימיזציה של אובייקט שאילתה: שינוי Query להקשר ביצוע קל משקל, לא מיכל נתונים.
• שמירת חיבור: שמירה על חיבורי מסד נתונים לשימוש חוזר.

2. טעינה ובקשה

• שאילתות יבוצעו בטעינה, המפחיתות את מספר השאילתות הכולל.

3. אחסון במטמון

• מטמון תגים ישמור תוצאות כדי לשפר את יעילות השאילתה.

4. מדיניות

• מדיניות שאילתה תאפשר גבולות כדי לשפר את הביצועים.