apunkt/trustgraph
1
0
Fork 0
mirror of https://github.com/trustgraph-ai/trustgraph.git synced 2026-07-11 22:32:12 +02:00
Code Issues Projects Releases Packages Wiki Activity Actions

update more languages

Browse source 
Signed-off-by: Alex Jenkins <kjenkins60@gatech.edu>
This commit is contained in:
Alex Jenkins 2026-04-11 01:08:44 +00:00
parent 835acaa70e
commit 16c2f12a54
249 changed files with 117186 additions and 186 deletions
Download patch file Download diff file Expand all files Collapse all files

55
docs/tech-specs/extraction-provenance-subgraph.ru.md
View file

@ -2,6 +2,7 @@
## Проблема
<<<<<<< HEAD
В настоящее время механизм отслеживания происхождения, работающий во время извлечения, создает полную реификацию для каждого
извлеченного тройства: уникальный `stmt_uri`, `activity_uri` и связанные
метаданные PROV-O для каждого отдельного факта знаний. Обработка одного блока
@ -23,6 +24,29 @@ kg-extract-agent) вообще не имеют информации об отс
Заменить реификацию на уровне тройств на **модель подграфа**: одна запись отслеживания происхождения для каждого блока извлечения,
используемая для всех тройств, созданных из этого блока.
=======
В настоящее время механизм отслеживания происхождения, действующий во время извлечения, создает полную реификацию для каждого
извлеченного тройного набора: уникальный `stmt_uri`, `activity_uri` и связанные
метаданные PROV-O для каждого отдельного факта знаний. Обработка одного блока,
который дает 20 отношений, приводит к появлению примерно 220 тройных наборов отслеживания происхождения, помимо
примерно 20 тройных наборов знаний — это примерно 10:1 избыточности.
Это дорого (хранение, индексация, передача) и семантически
неточно. Каждый блок обрабатывается одним вызовом LLM, который создает
все свои тройные наборы за одну транзакцию. Текущая модель для каждого тройного набора
создает иллюзию 20 независимых событий извлечения.
Кроме того, два из четырех процессоров извлечения (kg-extract-ontology,
kg-extract-agent) вообще не имеют информации об отслеживании происхождения, что создает пробелы в
журнале аудита.
## Решение
Заменить реификацию для каждого тройного набора на **модель подграфа**: один
набор отслеживания происхождения для каждого извлеченного блока, который используется
для всех тройных наборов, созданных из этого блока.
>>>>>>> 82edf2d (New md files from RunPod)
### Изменение терминологии
@ -34,7 +58,11 @@ kg-extract-agent) вообще не имеют информации об отс
### Целевая структура
<<<<<<< HEAD
Все тройства отслеживания происхождения должны быть помещены в именованный граф `urn:graph:source`.
=======
Все тройные наборы отслеживания происхождения должны быть помещены в именованный граф `urn:graph:source`.
>>>>>>> 82edf2d (New md files from RunPod)
```
# Subgraph contains each extracted triple (RDF-star quoted triples)
@ -71,12 +99,20 @@ kg-extract-agent) вообще не имеют информации об отс
| Тройки активности | ~9 x N | ~9 |
| Тройки агентов | 2 x N | 2 |
| Метаданные утверждения/подграфа | 2 x N | 2 |
<<<<<<< HEAD
| **Всего троек происхождения** | **~13N** | **N + 13** |
=======
| **Общее количество троек происхождения** | **~13N** | **N + 13** |
>>>>>>> 82edf2d (New md files from RunPod)
| **Пример (N=20)** | **~260** | **33** |
## Область применения
<<<<<<< HEAD
### Модули для обновления (существующее происхождение, на тройку)
=======
### Процессоры для обновления (существующее происхождение, на тройку)
>>>>>>> 82edf2d (New md files from RunPod)
**kg-extract-definitions**
(`trustgraph-flow/trustgraph/extract/kg/definitions/extract.py`)
@ -94,19 +130,33 @@ kg-extract-agent) вообще не имеют информации об отс
Та же схема, что и для сущностей. Те же изменения.
<<<<<<< HEAD
### Модули для добавления информации о происхождении (в настоящее время отсутствуют)
=======
### Процессоры для добавления происхождения (в настоящее время отсутствуют)
>>>>>>> 82edf2d (New md files from RunPod)
**kg-extract-ontology**
(`trustgraph-flow/trustgraph/extract/kg/ontology/extract.py`)
<<<<<<< HEAD
В настоящее время генерируются тройки без указания источника. Добавить информацию об источнике подграфа,
используя ту же схему: один подграф для каждого фрагмента, `tg:contains` для каждой
извлеченной тройки.
=======
В настоящее время генерируются тройки данных без указания источника. Добавить информацию об источнике подграфа,
используя ту же схему: один подграф для каждого блока, `tg:contains` для каждой
извлеченной тройки данных.
>>>>>>> 82edf2d (New md files from RunPod)
**kg-extract-agent**
(`trustgraph-flow/trustgraph/extract/kg/agent/extract.py`)
<<<<<<< HEAD
В настоящее время генерируются тройки без указания источника. Добавить информацию об источнике подграфа,
=======
В настоящее время генерируются тройки данных без указания источника. Добавить информацию об источнике подграфа,
>>>>>>> 82edf2d (New md files from RunPod)
используя ту же схему.
### Изменения в общей библиотеке отслеживания происхождения данных
@ -114,8 +164,13 @@ kg-extract-agent) вообще не имеют информации об отс
**`trustgraph-base/trustgraph/provenance/triples.py`**
Заменить `triple_provenance_triples()` на `subgraph_provenance_triples()`
<<<<<<< HEAD
Новая функция принимает список извлеченных троек вместо одной
Генерирует один `tg:contains` для каждой тройки, общий блок активности/агента
=======
Новая функция принимает список извлеченных троек данных вместо одной
Генерирует один `tg:contains` для каждой тройки данных, общий блок активности/агента
>>>>>>> 82edf2d (New md files from RunPod)
Удалить старый `triple_provenance_triples()`
**`trustgraph-base/trustgraph/provenance/uris.py`**