mirror of
https://github.com/trustgraph-ai/trustgraph.git
synced 2026-07-11 22:32:12 +02:00
update more languages
Signed-off-by: Alex Jenkins <kjenkins60@gatech.edu>
This commit is contained in:
Alex Jenkins
parent
835acaa70e
commit
16c2f12a54
249 changed files with 117186 additions and 186 deletions
|
|
@ -5,6 +5,7 @@
|
|||
Çıkarma zamanı köken bilgisi şu anda her
|
||||
çıkarılan üçlü için tam bir somutlaştırma oluşturur: benzersiz bir `stmt_uri`, `activity_uri` ve ilgili
|
||||
PROV-O meta verileri, her bir bilgi parçası için. Bir parça işlenirken
|
||||
<<<<<<< HEAD
|
||||
ve bu parça 20 ilişki üretiyorsa, yaklaşık 220 köken bilgisi üçlüsü, bunun üzerine
|
||||
yaklaşık 20 bilgi üçlüsü bulunur; bu da yaklaşık 10:1'lik bir ek yük demektir.
|
||||
|
||||
|
|
@ -12,6 +13,15 @@ Bu hem pahalıdır (depolama, indeksleme, iletim) hem de anlamsal olarak
|
|||
yanlıştır. Her bir parça, tek bir LLM çağrısı ile işlenir ve bu çağrı,
|
||||
tüm üçlemelerini tek bir işlemde üretir. Mevcut üçleme bazlı model,
|
||||
20 bağımsız çıkarma olayının yanılsamasını yaratarak bunu gizler.
|
||||
=======
|
||||
ve bu parça 20 ilişki üretiyorsa, yaklaşık 220 köken bilgisi üçlüsü,
|
||||
yaklaşık 20 bilgi üçlüsünün üzerine eklenir; bu da yaklaşık 10:1'lik bir ek yük demektir.
|
||||
|
||||
Bu hem pahalıdır (depolama, indeksleme, iletim) hem de anlamsal olarak
|
||||
yanlıştır. Her bir parça, tek bir LLM çağrısı ile işlenir ve bu çağrı,
|
||||
tüm üçlülerini tek bir işlemde üretir. Mevcut üçlü bazlı model,
|
||||
bu durumu 20 bağımsız çıkarma olayının yanılsamasını yaratarak gizler.
|
||||
>>>>>>> 82edf2d (New md files from RunPod)
|
||||
|
||||
|
||||
Ayrıca, dört çıkarma işlemcisinden ikisi (kg-extract-ontology,
|
||||
|
|
@ -20,8 +30,13 @@ izinde boşluklara neden olmaktadır.
|
|||
|
||||
## Çözüm
|
||||
|
||||
<<<<<<< HEAD
|
||||
Her üçlü için yapılan somutlaştırmayı, **bir alt grafik modeli** ile değiştirin: her bir parça çıkarımı için bir köken kaydı, bu parçadan üretilen tüm üçlüler arasında paylaşılan.
|
||||
|
||||
=======
|
||||
Her üçlü için yapılan somutlaştırmayı, **alt grafik modeli** ile değiştirin: bir veri kaynağı
|
||||
kaydı, o parçadan üretilen tüm üçlüler için ortak kullanılan bir parça çıkarımı için.
|
||||
>>>>>>> 82edf2d (New md files from RunPod)
|
||||
|
||||
|
||||
### Terminoloji Değişikliği
|
||||
|
|
@ -30,11 +45,19 @@ Her üçlü için yapılan somutlaştırmayı, **bir alt grafik modeli** ile de
|
|||
|-----|-----|
|
||||
| `stmt_uri` (`https://trustgraph.ai/stmt/{uuid}`) | `subgraph_uri` (`https://trustgraph.ai/subgraph/{uuid}`) |
|
||||
| `statement_uri()` | `subgraph_uri()` |
|
||||
<<<<<<< HEAD
|
||||
| `tg:reifies` (1:1, eşlik) | `tg:contains` (1:çok, içerik) |
|
||||
|
||||
### Hedef Yapı
|
||||
|
||||
Tüm köken bilgisi üçlüleri, `urn:graph:source` adlı grafikte yer alır.
|
||||
=======
|
||||
| `tg:reifies` (1:1, özdeşlik) | `tg:contains` (1:çok, içerik) |
|
||||
|
||||
### Hedef Yapı
|
||||
|
||||
Tüm veri kaynağı üçlüleri, `urn:graph:source` adlı grafiğe yerleştirilir.
|
||||
>>>>>>> 82edf2d (New md files from RunPod)
|
||||
|
||||
```
|
||||
# Subgraph contains each extracted triple (RDF-star quoted triples)
|
||||
|
|
@ -71,12 +94,20 @@ N sayıda çıkarılan üçlü üreten bir parça için:
|
|||
| Aktivite üçlüleri | ~9 x N | ~9 |
|
||||
| Ajan üçlüleri | 2 x N | 2 |
|
||||
| İfade/alt grafik meta verileri | 2 x N | 2 |
|
||||
<<<<<<< HEAD
|
||||
| **Toplam kaynak üçlüleri** | **~13N** | **N + 13** |
|
||||
=======
|
||||
| **Toplam köken üçlüleri** | **~13N** | **N + 13** |
|
||||
>>>>>>> 82edf2d (New md files from RunPod)
|
||||
| **Örnek (N=20)** | **~260** | **33** |
|
||||
|
||||
## Kapsam
|
||||
|
||||
<<<<<<< HEAD
|
||||
### Güncellenecek İşlemciler (mevcut kaynak, üçlü başına)
|
||||
=======
|
||||
### Güncellenecek İşlemciler (mevcut köken, üçlü başına)
|
||||
>>>>>>> 82edf2d (New md files from RunPod)
|
||||
|
||||
**kg-extract-definitions**
|
||||
(`trustgraph-flow/trustgraph/extract/kg/definitions/extract.py`)
|
||||
|
|
@ -94,28 +125,47 @@ Paylaşılan aktivite/ajan/türetme bloğunu döngüden sonra bir kez yayınlay
|
|||
|
||||
Tanımlarla aynı desen. Aynı değişiklikler.
|
||||
|
||||
<<<<<<< HEAD
|
||||
### Kaynak Eklenmesi Gereken İşlemciler (şu anda eksik)
|
||||
=======
|
||||
### Köken Eklenmesi Gereken İşlemciler (şu anda eksik)
|
||||
>>>>>>> 82edf2d (New md files from RunPod)
|
||||
|
||||
**kg-extract-ontology**
|
||||
(`trustgraph-flow/trustgraph/extract/kg/ontology/extract.py`)
|
||||
|
||||
<<<<<<< HEAD
|
||||
Şu anda, herhangi bir kaynak bilgisi olmadan üçlüler oluşturuluyor. Alt grafik kaynak bilgisini ekleyin.
|
||||
=======
|
||||
Şu anda, herhangi bir köken bilgisi olmadan üçlüler oluşturuluyor. Alt grafik köken bilgisini ekleyin.
|
||||
>>>>>>> 82edf2d (New md files from RunPod)
|
||||
Aynı kalıbı kullanarak: her parça için bir alt grafik, her çıkarılan üçlü için `tg:contains`.
|
||||
|
||||
|
||||
**kg-extract-agent**
|
||||
(`trustgraph-flow/trustgraph/extract/kg/agent/extract.py`)
|
||||
|
||||
<<<<<<< HEAD
|
||||
Şu anda, herhangi bir kaynak bilgisi olmadan üçlüler oluşturuluyor. Alt grafik kaynak bilgisini aynı kalıbı kullanarak ekleyin.
|
||||
|
||||
|
||||
### Paylaşılan Kaynak Bilgisi Kütüphanesi Değişiklikleri
|
||||
=======
|
||||
Şu anda, herhangi bir köken bilgisi olmadan üçlüler oluşturuluyor. Alt grafik köken bilgisini aynı kalıbı kullanarak ekleyin.
|
||||
|
||||
|
||||
### Paylaşılan Köken Bilgisi Kütüphanesi Değişiklikleri
|
||||
>>>>>>> 82edf2d (New md files from RunPod)
|
||||
|
||||
**`trustgraph-base/trustgraph/provenance/triples.py`**
|
||||
|
||||
`triple_provenance_triples()`'ı `subgraph_provenance_triples()` ile değiştirin.
|
||||
Yeni fonksiyon, tek bir üçlü yerine çıkarılan üçlülerin bir listesini kabul ediyor.
|
||||
<<<<<<< HEAD
|
||||
Her üçlü için bir `tg:contains` oluşturuyor, paylaşılan etkinlik/ajan bloğu.
|
||||
=======
|
||||
Her üçlü için bir `tg:contains` oluşturuyor, paylaşılan aktivite/ajan bloğu.
|
||||
>>>>>>> 82edf2d (New md files from RunPod)
|
||||
Eski `triple_provenance_triples()`'ı kaldırın.
|
||||
|
||||
**`trustgraph-base/trustgraph/provenance/uris.py`**
|
||||
|
|
@ -126,17 +176,29 @@ Eski `triple_provenance_triples()`'ı kaldırın.
|
|||
|
||||
`TG_REIFIES`'ı `TG_CONTAINS` ile değiştirin.
|
||||
|
||||
<<<<<<< HEAD
|
||||
### Kapsam Dışında
|
||||
=======
|
||||
### Kapsam Dışı
|
||||
>>>>>>> 82edf2d (New md files from RunPod)
|
||||
|
||||
**kg-extract-topics**: eski tip işlemci, şu anda standart akışlarda kullanılmıyor.
|
||||
**kg-extract-rows**: satırlar üretiyor, üçlüler değil, farklı bir köken modeline sahip.
|
||||
**Çalışma zamanı köken bilgisi** (⟦CODE_0⟧): ayrı bir konu.
|
||||
model
|
||||
<<<<<<< HEAD
|
||||
**Çalışma zamanı veri kaynağı bilgisi** (`urn:graph:retrieval`): ayrı bir konu,
|
||||
zaten farklı bir kalıp kullanıyor (soru/keşif/odaklanma/sentez).
|
||||
**Belge/sayfa/parça kaynağı** (PDF çözücü, parçalayıcı): zaten kullanılıyor.
|
||||
`derived_entity_triples()` ki bu, her bir varlık için, her bir üçlü için değil; yani bir sorun yok.
|
||||
gereksiz veri sorunu yok.
|
||||
=======
|
||||
**Çalışma zamanı köken bilgisi** (`urn:graph:retrieval`): ayrı bir konu,
|
||||
zaten farklı bir kalıp kullanıyor (soru/keşif/odaklanma/sentez).
|
||||
**Belge/sayfa/parça kaynağı** (PDF çözücü, parçalayıcı): zaten kullanılıyor.
|
||||
`derived_entity_triples()` ki bu, her bir varlık için, her bir üçlü için değil; yani hayır.
|
||||
tekrar sorun yok.
|
||||
>>>>>>> 82edf2d (New md files from RunPod)
|
||||
|
||||
## Uygulama Notları
|
||||
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue