update more languages

Signed-off-by: Alex Jenkins <kjenkins60@gatech.edu>

docs/tech-specs/extraction-time-provenance.sw.md

@@ -1,3 +1,4 @@
+<<<<<<< HEAD
 # Asili ya Data Wakati wa Utoaji: Safu ya Chanzo
 
 ## Muhtasari
@@ -26,6 +27,36 @@ Wakati uhusiano (maelezo/ukweli) unachukuliwa kutoka kwa hati, uhusiano wa `subj
 1. **Pakia meta-data mara moja:** Meta-data ya hati inapaswa kupakiwa mara moja na kuunganishwa na node ya juu ya hati, sio kurudiwa na kila kundi la triple.
 
 2. **Grafu ya asili ya data iliyo na maelezo:** Rekodi mnyororo kamili wa mabadiliko kutoka kwa hati ya chanzo hadi kwa vitu vyote vya kati hadi kwa ukweli uliopatikana. Kwa mfano, mabadiliko ya hati ya PDF:
+=======
+# Asili ya Data Wakati wa Uvunaji: Safu ya Chanzo
+
+## Muhtasari
+
+Hati hii ina rekodi za maelezo kuhusu asili ya data wakati wa uvunaji kwa ajili ya kazi zijazo za kubuni. Asili ya data wakati wa uvunaji inarejelea "safu ya chanzo" - ambako data ilitoka awali, jinsi ilivyovunwa na kubadilishwa.
+
+Hii ni tofauti na asili ya data wakati wa utafutaji (angalia `query-time-provenance.md`) ambayo inarejelea hoja za msimuizi.
+
+## Tatizo
+
+### Utendaji Sasa
+
+Hivi sasa, asili ya data inafanya kazi kama ifuatavyo:
+Meta-data ya hati inahifadhiwa kama triple za RDF katika grafu ya maarifa.
+Kitambulisho cha hati (document ID) huunganisha meta-data na hati, hivyo hati inaonekana kama nodi katika grafu.
+Wakati uhusiano (relationships/facts) unavyovunwa kutoka kwa hati, uhusiano wa `subjectOf` huunganisha uhusiano uliovunwa na hati ya asili.
+
+### Matatizo ya Mbinu Hali
+
+1. **Upakiaji wa meta-data unaorudia-rudia:** Meta-data ya hati huunganishwa na kupakiwa mara kwa mara na kila kundi la triple zinazovunwa kutoka kwa hati hiyo. Hii ni matumizi ya rasilimali na kurudia - meta-data sawa husafiri kama mizigo na kila matokeo ya uvunaji.
+
+2. **Asili ya data ya kawaida:** Uhusiano wa `subjectOf` unaoonekana sasa huunganisha tu ukweli moja kwa moja na hati ya juu. Hakuna uwazi kuhusu mnyororo wa mabadiliko - ukurasa gani ukweli ulikuja, kipande gani, njia gani ya uvunaji iliyotumika.
+
+### Hali Inayotakikana
+
+1. **Pakia meta-data mara moja:** Meta-data ya hati inapaswa kupakiwa mara moja na kuunganishwa na nodi ya hati ya juu, sio kurudiwa na kila kundi la triple.
+
+2. **Grafu ya asili ya data yenye maelezo:** Rekodi mnyororo kamili wa mabadiliko kutoka kwa hati ya asili kupitia kwa vitu vyote vya kati hadi kwa ukweli uliovunwa. Kwa mfano, mabadiliko ya hati ya PDF:
+>>>>>>> 82edf2d (New md files from RunPod)
 
    ```
    PDF file (source document with metadata)
@@ -44,9 +75,15 @@ Wakati uhusiano (maelezo/ukweli) unachukuliwa kutoka kwa hati, uhusiano wa `subj
 
 4. **Kitambulisho cha kudumu:** Kila kitu (artifact) cha kati (ukurasa, sehemu) kina kitambulisho cha kudumu kama node katika mfumo.
 
+<<<<<<< HEAD
 5. **Uunganisho wa mzazi-mtoto:** Hati zilizoundwa zinaunganishwa na wazazi wao hadi kwenye hati ya asili ya juu kwa kutumia aina za uhusiano sawa.
 
 6. **Uhusiano sahihi wa ukweli:** Uhusiano wa `subjectOf` kwenye miundo iliyopatikana unaelekeza kwenye mzazi wa karibu (sehemu), sio kwenye hati ya juu. Uhusiano wa asili kamili hupatikana kwa kutembea juu ya DAG.
+=======
+5. **Uunganisho wa mzazi-mtoto:** Hati zilizoundwa zinaunganishwa na wazazi wao hadi hati ya asili ya juu zaidi kwa kutumia aina za uhusiano sawa.
+
+6. **Uhusiano sahihi wa ukweli:** Uhusiano wa `subjectOf` kwenye miundo iliyopatikana unaelekeza kwa mzazi wa karibu (sehemu), sio hati ya juu. Uhusiano wa asili kamili hupatikana kwa kutembea juu ya DAG.
+>>>>>>> 82edf2d (New md files from RunPod)
 
 ## Matumizi
 
@@ -71,6 +108,7 @@ Kuelewa hasa wapi katika hati (ukurasa gani, sehemu gani) ukweli ulitoka.
 
 ### UC2: Kurekebisha Ubora wa Upatikanaji
 
+<<<<<<< HEAD
 Ukweli unaonekana kuwa mbaya. Tembelea kurudi nyuma kupitia sehemu → ukurasa → hati ili kuona maandishi ya asili. Je, ilikuwa upatikanaji mbaya, au chanzo kilikuwa kibaya?
 
 ### UC3: Upatikanaji wa Kurekebishwa
@@ -88,6 +126,25 @@ Ushawishi mbili unapingana. Tembelea zote kurudi kwenye vyanzo vyao ili kuelewa
 ### UC6: Uzito wa Uamuzi wa Chanzo
 
 Vyanzo vingine ni vya mamlaka kuliko vingine. Ushawishi unaweza kupimwa au kuchujwa kulingana na uamuzi/ubora wa hati zao za asili.
+=======
+Ukweli unaonekana kuwa mbaya. Rudi nyuma kupitia sehemu → ukurasa → hati ili kuona maandishi ya asili. Je, ilikuwa upatikanaji mbaya, au chanzo kilikuwa kibaya?
+
+### UC3: Upatikanaji wa Kurekebishwa
+
+Hati ya asili inasasishwa. Ni sehemu/ukweli zipi zilizotokana nayo? Ghairi na uundue tena zile tu, badala ya kuchakata kila kitu.
+
+### UC4: Ufutilishaji wa Data / Haki ya Kusahau
+
+Hati ya asili lazima iondolewe (GDPR, kisheria, n.k.). Tembea kwenye DAG ili kupata na kuondoa ukweli wote uliotokana.
+
+### UC5: Suluhisho la Mzozo
+
+Ushawishi mbili unapingana. Rudi nyuma kwa vyanzo vyake ili kuelewa kwa nini na uamue ni ipi ya kuamini (chanzo cha mamlaka zaidi, cha hivi karibuni, n.k.).
+
+### UC6: Uzito wa Mamlaka ya Chanzo
+
+Vyanzo vingine ni vya mamlaka kuliko vingine. Ushawishi unaweza kupimwa au kuchujwa kulingana na mamlaka/ubora wa hati zake za asili.
+>>>>>>> 82edf2d (New md files from RunPod)
 
 ### UC7: Ulinganisho wa Mfumo wa Upatikanaji
 
@@ -97,11 +154,19 @@ Linganisha matokeo kutoka kwa mbinu/matoleo tofauti ya upatikanaji. Mfumo wa upa
 
 ### Msimamizi wa Maktaba
 
+<<<<<<< HEAD
 Kifaa cha msimamizi wa maktaba hutoa tayari uhifadhi wa hati na kitambulisho cha kipekee cha hati. Mfumo wa asili unajumuishwa na miundombinu hii iliyopo.
 
 #### Uwezo Ulioopo (tayari umetekelezwa)
 
 **Uunganisho wa Hati ya Mzazi-Mtoto:**
+=======
+Kifaa cha msimamizi wa maktaba tayari hutoa uhifadhi wa hati pamoja na kitambulisho cha kipekee cha hati. Mfumo wa asili unajumuishwa na miundombinu hii iliyopo.
+
+#### Uwezo Ulioopo (tayari umetekelezwa)
+
+**Uunganisho wa Hati za Mzazi na Mtoto:**
+>>>>>>> 82edf2d (New md files from RunPod)
 `parent_id` field katika `DocumentMetadata` - huunganisha hati ya mtoto na hati ya mzazi
 `document_type` field - maadili: `"source"` (asili) au `"extracted"` (iliyotokana)
 `add-child-document` API - huunda hati ya mtoto na `document_type = "extracted"` moja kwa moja
@@ -121,7 +186,11 @@ Kitambulisho cha kitu (UUIDs) huundwa ndani kwa uhifadhi wa blob
 **Muundo wa Uhifadhi:**
 MetaData huhifadhiwa katika Cassandra (`librarian` keyspace, `document` meza)
 Yaliyomo huhifadhiwa katika uhifadhi wa blob wa MinIO/S3 (`library` ndoo)
+<<<<<<< HEAD
 Uwasilishaji mahiri wa yaliyomo: hati < 2MB zimejumuishwa, hati kubwa zaidi hutiririshwa
+=======
+Utoaji wa yaliyomo mahiri: hati < 2MB zimejumuishwa, hati kubwa zaidi hutiririshwa
+>>>>>>> 82edf2d (New md files from RunPod)
 
 #### Faili Muhimu
 
@@ -130,6 +199,7 @@ Uwasilishaji mahiri wa yaliyomo: hati < 2MB zimejumuishwa, hati kubwa zaidi huti
 `trustgraph-flow/trustgraph/tables/library.py` - Duka la meza ya Cassandra
 `trustgraph-base/trustgraph/schema/services/library.py` - Ufafanuzi wa mpango
 
+<<<<<<< HEAD
 #### Mapungufu Yanayohitaji Kusuluhishwa
 
 Msimamizi wa maktaba una vipengele muhimu lakini kwa sasa:
@@ -142,6 +212,20 @@ Msimamizi wa maktaba una vipengele muhimu lakini kwa sasa:
 
 Kila mchakato katika mstari huu unafuata mfumo unaoendana:
 Kupokea kitambulisho cha hati kutoka kwa chanzo
+=======
+#### Mapungufu Yanayohitaji Kushughulikiwa
+
+Msimamizi wa maktaba una vipengele muhimu lakini kwa sasa:
+1. Uunganisho wa mzazi-mtoto ni safu moja tu - hakuna msaada wa uvukaji wa DAG wa ngazi nyingi
+2. Hakuna hesabu ya kawaida ya aina ya uhusiano (e.g., `derivedFrom`, `extractedFrom`)
+3. MetaData ya asili (njia ya uondoaji, uaminifu, nafasi ya kipande) hayajawekwa kikao
+4. Hakuna API ya kuuliza ili kuvuka mnyororo kamili wa asili kutoka kwa ukweli hadi chanzo
+
+## Muundo wa Mtiririko wa Kila Hatua
+
+Kila mchakato katika mstari huu unafuata mfumo unaoendana:
+Kupokea kitambulisho cha hati kutoka kwa mfumo wa juu
+>>>>>>> 82edf2d (New md files from RunPod)
 Kuchukua yaliyomo kutoka kwa msimamizi wa maktaba
 Kutoa vifaa vya watoto
 Kwa kila mtoto: kuhifadhi kwenye msimamizi wa maktaba, kutuma upau kwenye grafu, kusonga kitambulisho mbele
@@ -205,7 +289,11 @@ Kuna mitiririko miwili kulingana na aina ya hati:
 
 #### Mtiririko wa Nyaraka za Nakshata
 
+<<<<<<< HEAD
 Nyaraka za nakshata huenda moja kwa moja kwenye sehemu ya "chunker" na hazitumii programu ya kutenganisha faili za PDF:
+=======
+Nyaraka za nakshata huenda moja kwa moja kwenye sehemu ya "chunker" na hazitumii programu ya kutolea maelezo kutoka kwa faili za PDF:
+>>>>>>> 82edf2d (New md files from RunPod)
 
 ```
 ┌─────────────────────────────────────────────────────────────────────────┐
@@ -232,14 +320,22 @@ Nyaraka za nakshata huenda moja kwa moja kwenye sehemu ya "chunker" na hazitumii
 └─────────────────────────────────────────────────────────────────────────┘
 ```
 
+<<<<<<< HEAD
 DAG iliyotokea ni ya kiwango kimoja chini:
+=======
+Matokeo ya DAG (Grafu ya Kuelekea Mbele) ni ngazi moja chini:
+>>>>>>> 82edf2d (New md files from RunPod)
 
 ```
 PDF:  Document → Pages → Chunks → Triples/Embeddings
 Text: Document → Chunks → Triples/Embeddings
 ```
 
+<<<<<<< HEAD
 Ubunifu unaoendana na matumizi ya aina zote, kwa sababu mfumo wa kugawanya (chunker) hutumia data yake ya pembejeo kwa njia ya jumla - hutumia kitambulisho chochote cha hati kinachopokelewa kama mzazi, bila kujali kama hiyo ni hati ya asili au ukurasa.
+=======
+Ubunifu unaoendana na matumizi ya aina zote, kwa sababu mfumo wa kugawanya (chunker) hutumia data yake ya pembeni kwa njia ya jumla - hutumia kitambulisho chochote cha hati kinachopokelewa kama mzazi, bila kujali kama hiyo ni hati ya asili au ukurasa.
+>>>>>>> 82edf2d (New md files from RunPod)
 
 ### Mpango wa Meta-data (PROV-O)
 
@@ -250,21 +346,36 @@ Meta-data ya asili hutumia ontolojia ya W3C PROV-O. Hii hutoa msamiati wa kawaid
 | Aina ya PROV-O | Matumizi katika TrustGraph |
 |-------------|------------------|
 | `prov:Entity` | Hati, Ukurasa, Sehemu, Triple, Uingizwaji |
+<<<<<<< HEAD
 | `prov:Activity` | Mifano ya operesheni za utoaji |
+=======
+| `prov:Activity` | Mifano ya shughuli za utoaji |
+>>>>>>> 82edf2d (New md files from RunPod)
 | `prov:Agent` | Vipengele vya TG (mfumo wa utoaji wa PDF, mfumo wa kugawanya, n.k.) pamoja na matoleo |
 
 ### Mahusiano ya PROV-O
 
+<<<<<<< HEAD
 | Kifurushi | Maana | Mfano |
 |-----------|---------|---------|
 | `prov:wasDerivedFrom` | Kitu kinachotokana na kitu kingine | Ukurasa ulikuwa umetokana na Hati |
 | `prov:wasGeneratedBy` | Kitu kilichoundwa na shughuli | Ukurasa ulikuwa umelindwa na Shughuli ya Utoaji wa PDF |
+=======
+| Kifurushi | Maana | Kifaa |
+|-----------|---------|---------|
+| `prov:wasDerivedFrom` | Kitu kinachotokana na kitu kingine | Ukurasa ulitokana na Hati |
+| `prov:wasGeneratedBy` | Kitu kilichoanzishwa na shughuli | Ukurasa ulianzishwa na Shughuli ya Utoaji wa PDF |
+>>>>>>> 82edf2d (New md files from RunPod)
 | `prov:used` | Shughuli ilitumia kitu kama pembejeo | Shughuli ya Utoaji wa PDF ilitumia Hati |
 | `prov:wasAssociatedWith` | Shughuli ilifanywa na wakala | Shughuli ya Utoaji wa PDF ilihusishwa na tg:PDFExtractor |
 
 ### Meta-data katika Kila Ngazi
 
+<<<<<<< HEAD
 **Hati ya Asili (inatoolewa na Librarian):**
+=======
+**Hati ya Asili (inatoa Librarian):**
+>>>>>>> 82edf2d (New md files from RunPod)
 ```
 doc:123 a prov:Entity .
 doc:123 dc:title "Research Paper" .
@@ -289,7 +400,11 @@ activity:pdf-extract-456 tg:componentVersion "1.2.3" .
 activity:pdf-extract-456 prov:startedAtTime "2024-01-15T10:30:00Z" .
 ```
 
+<<<<<<< HEAD
 **Sehemu (imetolewa na Chunker):**
+=======
+**Sehemu (inatoolewa na Chunker):**
+>>>>>>> 82edf2d (New md files from RunPod)
 ```
 chunk:123-1-1 a prov:Entity .
 chunk:123-1-1 prov:wasDerivedFrom page:123-1 .
@@ -328,6 +443,7 @@ activity:extract-999 tg:ontology <http://example.org/ontologies/business-v1> .
 
 Uingizwaji huhifadhiwa katika hifadhi ya vekta pamoja na metadata, sio kama triple za RDF. Kila rekodi ya uingizwaji ina:
 
+<<<<<<< HEAD
 | Nguvu | Maelezo | Mfano |
 |-------|-------------|---------|
 | vekta | Vektali ya uingizwaji | [0.123, -0.456, ...] |
@@ -364,6 +480,44 @@ Maneno maalum chini ya nafasi ya `tg:` kwa metadata maalum ya uondoaji:
 #### Uanzishaji wa Dhana (Kwa Mkusanyiko Kila Kila)
 
 Grafu ya maarifa ni ya aina ya ontology na inaanzishwa kuwa tupu. Wakati wa kuandika data ya asili ya PROV-O kwa mkusanyiko kwa mara ya kwanza, dhana lazima ianzishwe na lebo za RDF kwa madarasa na maneno yote. Hii inahakikisha onyesho linalosoma kwa binadamu katika maswali na UI.
+=======
+| Shamba | Maelezo | Mfano |
+|-------|-------------|---------|
+| vekta | Vakta ya uingizwaji | [0.123, -0.456, ...] |
+| kitu | URI ya node ambayo uingizwaji unawakilisha | `entity:JohnSmith` |
+| kitambulisho_cha_sehemu | Sehemu ya asili (asili) | `chunk:123-1-1` |
+| mfumo | Mfumo wa uingizwaji uliotumika | `text-embedding-ada-002` |
+| toleo_la_komponenti | Toleo la mfumo wa uingizwaji wa TG | `1.0.0` |
+
+Shamba la `entity` huunganisha uingizwaji na grafu ya maarifa (URI ya node). Shamba la `chunk_id` hutoa asili kurudi kwa sehemu ya asili, na hivyo kuruhusu ufuatiliaji hadi kwenye hati asili.
+
+#### Miongozo ya Upanuzi wa Nafasi ya TrustGraph
+
+Maneno maalum chini ya nafasi ya `tg:` kwa metadata maalum ya utoaji:
+
+| Dhana | Eneo | Maelezo |
+|-----------|--------|-------------|
+| `tg:contains` | Subgraph | Inaashiria triple iliyo ndani ya subgraph hii. |
+| `tg:pageCount` | Document | Idadi jumla ya kurasa katika hati ya asili. |
+| `tg:mimeType` | Document | Aina ya MIME ya hati ya asili. |
+| `tg:pageNumber` | Page | Namba ya ukurasa katika hati ya asili. |
+| `tg:chunkIndex` | Chunk | Indexi ya chunk ndani ya mzazi. |
+| `tg:charOffset` | Chunk | Marekebisho ya herufi katika maandishi ya mzazi. |
+| `tg:charLength` | Chunk | Urefu wa chunk katika herufi. |
+| `tg:chunkSize` | Activity | Ukubwa wa chunk uliopangwa. |
+| `tg:chunkOverlap` | Activity | Uwianifu uliopangwa kati ya chunks. |
+| `tg:componentVersion` | Activity | Toleo la kipengele cha TG. |
+| `tg:llmModel` | Activity | LLM iliyotumika kwa uondoaji. |
+| `tg:ontology` | Activity | URI ya ontology iliyotumika kuongoza uondoaji. |
+| `tg:embeddingModel` | Activity | Mfumo uliotumika kwa embeddings. |
+| `tg:sourceText` | Statement | Nakala kamili kutoka ambayo triple iliondolewa. |
+| `tg:sourceCharOffset` | Statement | Marekebisho ya herufi ndani ya chunk ambapo nakala ya chanzo huanza. |
+| `tg:sourceCharLength` | Statement | Urefu wa nakala ya chanzo katika herufi. |
+
+#### Uanzishaji wa Dhana (Kwa Kundi Kila Kimoja)
+
+Grafu ya maarifa ni ya kawaida na huanzishwa kuwa tupu. Wakati wa kuandika data ya asili ya PROV-O kwenye mkusanyiko kwa mara ya kwanza, dhana lazima ianzishwe kwa lebo za RDF kwa madarasa na dhana zote. Hii inahakikisha onyesho linalosoma na binadamu katika maswali na UI.
+>>>>>>> 82edf2d (New md files from RunPod)
 
 **Madarasa ya PROV-O:**
 ```
@@ -381,7 +535,11 @@ prov:wasAssociatedWith rdfs:label "was associated with" .
 prov:startedAtTime rdfs:label "started at" .
 ```
 
+<<<<<<< HEAD
 **Predikatendi za TrustGraph:**
+=======
+**Maneno ya TrustGraph:**
+>>>>>>> 82edf2d (New md files from RunPod)
 ```
 tg:contains rdfs:label "contains" .
 tg:pageCount rdfs:label "page count" .
@@ -401,6 +559,7 @@ tg:sourceCharOffset rdfs:label "source character offset" .
 tg:sourceCharLength rdfs:label "source character length" .
 ```
 
+<<<<<<< HEAD
 **Kumbukumbu kuhusu utekelezaji:** Kamusi hii ya kuanzia inapaswa kuwa ya aina ambayo inaweza kuendeshwa mara nyingi bila kuunda nakala. Inaweza kuanzishwa wakati wa usindikaji wa hati ya kwanza katika mkusanyiko, au kama hatua tofauti ya uanzishaji wa mkusanyiko.
 
 #### Asili ya Sehemu Ndogo (Lengo)
@@ -410,6 +569,17 @@ Kwa asili ya kina zaidi, itakuwa muhimu kurekodi hasa katika sehemu gani ya kipa
 Kuonyesha maandishi ya asili hasa katika kiolesura (UI)
 Kuthibitisha usahihi wa uondoaji dhidi ya asili
 Kuchunguza ubora wa uondoaji katika kiwango cha sentensi
+=======
+**Kumbuka kuhusu utekelezaji:** Msamiati huu wa kuanzia inapaswa kuwa sawa - salama kuendeshwa mara nyingi bila kuunda nakala. Inaweza kuanzishwa wakati wa usindikaji wa hati ya kwanza katika mkusanyiko, au kama hatua tofauti ya uanzishaji wa mkusanyiko.
+
+#### Asili ya Sehemu Ndogo (Lengo)
+
+Kwa asili ya kina zaidi, itakuwa muhimu kurekodi haswa katika sehemu gani ndani ya kipande ambapo triple ilitokana. Hii inawezesha:
+
+Kuonyesha maandishi ya asili haswa katika kiolesura (UI)
+Kuangalia usahihi wa utoaji kulingana na asili
+Kuchunguza ubora wa utoaji katika kiwango cha sentensi
+>>>>>>> 82edf2d (New md files from RunPod)
 
 **Mfano na ufuatiliaji wa nafasi:**
 ```
@@ -436,6 +606,7 @@ subgraph:001 tg:sourceText "John Smith has worked at Acme Corp since 2019" .
 
 Utaratibu wa kutolea maelezo unaotegemea modeli ya lugha (LLM) huenda usitoe nafasi za herufi kwa kawaida.
 Inaweza kuwezekana kuomba LLM irudishe sentensi/maneno ya asili pamoja na vitu vilivyotolewa.
+<<<<<<< HEAD
 Badala yake, inaweza kufanywa urekebishaji wa ziada ili kulinganisha vitu vilivyotolewa na maandishi ya asili.
 Kuna mtego kati ya utata wa utoleaji wa maelezo na kiwango cha uhakikisho.
 Inaweza kuwa rahisi kufanikisha kwa kutumia mbinu zilizopangwa kuliko utoleaji wa maelezo wa aina huru unaotegemea LLM.
@@ -468,16 +639,55 @@ Hifadhi zote mbili zinahifadhi muundo sawa wa DAG. Msimamizi huhifadhi yaliyomo;
 ## Majukumu ya Utekelezaji
 
 ### Marekebisho ya Msimamizi
+=======
+Au, inaweza kufanywa urekebishaji wa ziada ili kulinganisha vitu vilivyotolewa na maandishi ya asili.
+Kuna mtego kati ya utata wa utoleaji wa maelezo na uwazi wa asili.
+Inaweza kuwa rahisi kufanikisha kwa kutumia mbinu zilizopangwa kuliko utoleaji wa maelezo wa bure unaotegemea LLM.
+
+Hii imewekwa kama lengo la baadaye - utaratibu wa msingi wa utoleaji wa maelezo wa kiwango cha sehemu unapaswa kutekelezwa kwanza, na kufuatilia kwa sehemu ndogo kama uboreshaji wa baadaye ikiwa inawezekana.
+
+### Mfumo wa Uhifadhi Mkubwa
+
+Mfumo wa DAG wa utoleaji wa maelezo huundwa hatua kwa hatua wakati hati zinapopitia katika mchakato:
+
+| Hifadhi | Kitu Kinachohifadhiwa | Lengo |
+|-------|---------------|---------|
+| Mkumbaji | Yaliyomo ya hati + viungo vya mzazi-mtoto | Upatikanaji wa yaliyomo, kufuta kwa mfuatano |
+| Grafu ya Maarifa | Aina za mzazi-mtoto + metadata | Maswali ya utoleaji wa maelezo, uhusishaji wa ukweli |
+
+Hifadhi zote mbili zinahifadhi muundo sawa wa DAG. Mkumbaji huhifadhi yaliyomo; grafu huhifadhi uhusiano na inaruhusu maswali ya utaftaji.
+
+### Kanuni Muhimu za Ubunifu
+
+1. **Kitambulisho cha hati kama kitengo cha mtiririko** - Wasindikaji hutuma kitambulisho, sio yaliyomo. Yaliyomo hupatikana kutoka kwa mkumbaji wakati inahitajika.
+
+2. **Tolea mara moja katika chanzo** - Metadata imeandikwa kwenye grafu mara moja wakati wa mchakato unaanza, sio kurudiwa baadaye.
+
+3. **Muundo sawa wa wasindikaji** - Kila wasindikaji hufuata muundo sawa wa kupokea/kupata/kutoa/kuokoa/kutoa/kusonga.
+
+4. **Uundaji wa hatua kwa hatua wa DAG** - Kila wasindikaji huongeza kiwango chake kwenye DAG. Mnyororo kamili wa utoleaji wa maelezo huundwa hatua kwa hatua.
+
+5. **Uboreshaji baada ya kugawanyika** - Baada ya kugawanyika, ujumbe unaambatana na kitambulisho na yaliyomo. Sehemu ndogo (2-4KB), kwa hivyo kujumuisha yaliyomo inazuia safari zisizo za lazima za mkumbaji wakati inahifadhi utoleaji wa maelezo kupitia kitambulisho.
+
+## Majukumu ya Utendaji
+
+### Marekebisho ya Mkumbaji
+>>>>>>> 82edf2d (New md files from RunPod)
 
 #### Hali ya Sasa
 
 Inaanzisha mchakato wa hati kwa kutuma kitambulisho cha hati kwa wasindikaji wa kwanza.
+<<<<<<< HEAD
 Hakuna muunganisho na duka la vitriple - metadata huunganishwa na matokeo ya utoleaji.
+=======
+Hakuna muunganisho na duka la vitri - metadata huunganishwa na matokeo ya utoleaji.
+>>>>>>> 82edf2d (New md files from RunPod)
 `add-child-document` huunda viungo vya mzazi-mtoto vya kiwango kimoja.
 `list-children` hurudisha watoto wa karibu tu.
 
 #### Marekebisho Yanayohitajika
 
+<<<<<<< HEAD
 **1. Kiolesura kipya: Muunganisho wa duka la vitriple**
 
 Msimamizi anahitaji kutoa kingo za metadata ya hati moja kwa moja kwenye grafu ya maarifa wakati wa kuanzisha mchakato.
@@ -485,6 +695,15 @@ Ongeza mteja/mpublisher wa duka la vitriple kwenye huduma ya msimamizi.
 Wakati wa kuanzisha mchakato: toa metadata ya hati ya mizizi kama kingo za grafu (mara moja).
 
 **2. Hesabu ya aina ya hati**
+=======
+**1. Kiolesura kipya: Muunganisho wa duka la vitri**
+
+Mkumbaji anahitaji kutoa kingo za metadata ya hati moja kwa moja kwenye grafu ya maarifa wakati wa kuanzisha mchakato.
+Ongeza mteja/mpublisher wa duka la vitri kwenye huduma ya mkumbaji.
+Wakati wa kuanzisha mchakato: toa metadata ya hati ya mizizi kama kingo za grafu (mara moja).
+
+**2. Msamiati wa aina ya hati**
+>>>>>>> 82edf2d (New md files from RunPod)
 
 Sanidi maadili ya `document_type` kwa watoto wa hati:
 `source` - hati iliyopakiwa asili.
@@ -493,9 +712,15 @@ Sanidi maadili ya `document_type` kwa watoto wa hati:
 
 #### Muhtasari wa Marekebisho ya Kiolesura
 
+<<<<<<< HEAD
 | Kiolesura | Marekebisho |
 |-----------|--------|
 | Duka la vitriple | Muunganisho mpya wa kutoka nje - toa kingo za metadata ya hati |
+=======
+| Kiolesura | Mabadiliko |
+|-----------|--------|
+| Duka la vitri | Muunganisho mpya wa kutoka nje - toa kingo za metadata ya hati |
+>>>>>>> 82edf2d (New md files from RunPod)
 | Kuanzisha mchakato | Toa metadata kwenye grafu kabla ya kusonga kitambulisho cha hati |
 
 ### Marekebisho ya Mtoa Hati ya PDF
@@ -505,6 +730,7 @@ Sanidi maadili ya `document_type` kwa watoto wa hati:
 Hupokea yaliyomo ya hati (au mitiririko ya hati kubwa).
 Hutolea maandishi kutoka kwa kurasa za PDF.
 Hupeleka yaliyomo ya ukurasa kwa mtoa sehemu.
+<<<<<<< HEAD
 Hakuna mwingiliano na msimamizi au duka la vitriple.
 
 #### Marekebisho Yanayohitajika
@@ -520,18 +746,43 @@ Kwa kila ukurasa: piga `add-child-document` na mzazi = kitambulisho cha hati ya
 Mtoa hati ya PDF anahitaji kutoa kingo za mzazi-mtoto kwenye grafu ya maarifa.
 Ongeza mteja/mpublisher wa duka la vitriple.
 Kwa kila ukurasa: toa kingo inayounganisha hati ya ukurasa na hati ya mzazi.
+=======
+Hakuna mwingiliano na mkumbaji au duka la vitri.
+
+#### Marekebisho Yanayohitajika
+
+**1. Kiolesura kipya: Mteja wa mkumbaji**
+
+Mtoa hati ya PDF anahitaji kuhifadhi kila ukurasa kama hati ya mtoto katika mkumbaji.
+Ongeza mteja wa mkumbaji kwenye huduma ya mtoa hati ya PDF.
+Kwa kila ukurasa: piga `add-child-document` na mzazi = kitambulisho cha hati ya mizizi.
+
+**2. Kiolesura kipya: Muunganisho wa duka la vitri**
+
+Mtoa hati ya PDF anahitaji kutoa aina za mzazi-mtoto kwenye grafu ya maarifa.
+Ongeza mteja/mpublisher wa duka la vitri.
+Kwa kila ukurasa: toa aina inayounganisha ukurasa wa hati na hati ya mzazi.
+>>>>>>> 82edf2d (New md files from RunPod)
 
 **3. Badilisha muundo wa matokeo**
 
 Badala ya kusambaza yaliyomo ya ukurasa moja kwa moja, sambaza kitambulisho cha hati ya ukurasa.
+<<<<<<< HEAD
 Chunker itapata yaliyomo kutoka kwa 'librarian' kwa kutumia kitambulisho.
+=======
+Chunker itapakua yaliyomo kutoka kwa 'librarian' kwa kutumia kitambulisho.
+>>>>>>> 82edf2d (New md files from RunPod)
 
 #### Muhtasari wa Mabadiliko ya Kiolesura
 
 | Kiolesura | Mabadiliko |
 |-----------|--------|
 | Librarian | Mabadiliko mapya ya kutoka - hifadhi hati za watoto |
+<<<<<<< HEAD
 | Hifadhi tatu | Mabadiliko mapya ya kutoka - toka miunganisho ya mzazi-mtoto |
+=======
+| Hifadhi tatu | Mabadiliko mapya ya kutoka - toa miunganisho ya mzazi-mtoto |
+>>>>>>> 82edf2d (New md files from RunPod)
 | Ujumbe wa pato | Mabadiliko kutoka yaliyomo hadi kitambulisho cha hati |
 
 ### Mabadiliko ya Chunker
@@ -539,14 +790,20 @@ Chunker itapata yaliyomo kutoka kwa 'librarian' kwa kutumia kitambulisho.
 #### Hali ya Sasa
 
 Yanapokea yaliyomo ya ukurasa/maandishi
+<<<<<<< HEAD
 Yanagawanyika katika sehemu ndogo
 Yanatuma yaliyomo ya sehemu ndogo kwa wasindikaji wa baadaye
+=======
+Yanagawanywa katika sehemu
+Yanatuma yaliyomo ya sehemu kwa wasindikaji wa baadaye
+>>>>>>> 82edf2d (New md files from RunPod)
 Hakuna mwingiliano na 'librarian' au hifadhi tatu
 
 #### Mabadiliko Yanayohitajika
 
 **1. Badilisha utunzaji wa ingizo**
 
+<<<<<<< HEAD
 Pokea kitambulisho cha hati badala ya yaliyomo, pata kutoka kwa 'librarian'.
 Ongeza mteja wa 'librarian' kwenye huduma ya chunker
 Pata yaliyomo ya ukurasa kwa kutumia kitambulisho cha hati
@@ -555,16 +812,34 @@ Pata yaliyomo ya ukurasa kwa kutumia kitambulisho cha hati
 
 Hifadhi kila sehemu ndogo kama hati ya mtoto katika 'librarian'.
 Kwa kila sehemu ndogo: piga simu `add-child-document` na mzazi = kitambulisho cha hati ya ukurasa
+=======
+Pokea kitambulisho cha hati badala ya yaliyomo, upakue kutoka kwa 'librarian'.
+Ongeza mteja wa 'librarian' kwenye huduma ya chunker
+Pakua yaliyomo ya ukurasa kwa kutumia kitambulisho cha hati
+
+**2. Kiolesura kipya: Mteja wa 'Librarian' (kuandika)**
+
+Hifadhi kila sehemu kama hati ya mtoto katika 'librarian'.
+Kwa kila sehemu: piga simu `add-child-document` na mzazi = kitambulisho cha hati ya ukurasa
+>>>>>>> 82edf2d (New md files from RunPod)
 
 **3. Kiolesura kipya: Muunganisho wa hifadhi tatu**
 
 Toa miunganisho ya mzazi-mtoto kwa grafu ya maarifa.
 Ongeza mteja/mpublisher wa hifadhi tatu
+<<<<<<< HEAD
 Kwa kila sehemu ndogo: toa muunganiko unaounganisha hati ya sehemu ndogo na hati ya ukurasa
 
 **4. Badilisha muundo wa pato**
 
 Sambaza kitambulisho cha hati ya sehemu ndogo na yaliyomo ya sehemu ndogo (uboreshaji wa baada ya chunker).
+=======
+Kwa kila sehemu: toa muunganisho unaounganisha hati ya sehemu na hati ya ukurasa
+
+**4. Badilisha muundo wa pato**
+
+Sambaza kitambulisho cha hati ya sehemu na yaliyomo ya sehemu (uboreshaji wa baada ya chunker).
+>>>>>>> 82edf2d (New md files from RunPod)
 Wasindikaji wa baadaye hupokea kitambulisho kwa ajili ya asili + yaliyomo ili kufanya kazi nayo
 
 #### Muhtasari wa Mabadiliko ya Kiolesura
@@ -572,7 +847,11 @@ Wasindikaji wa baadaye hupokea kitambulisho kwa ajili ya asili + yaliyomo ili ku
 | Kiolesura | Mabadiliko |
 |-----------|--------|
 | Ujumbe wa ingizo | Mabadiliko kutoka yaliyomo hadi kitambulisho cha hati |
+<<<<<<< HEAD
 | Librarian | Mabadiliko mapya ya kutoka (kusoma + kuandika) - pata yaliyomo, hifadhi hati za watoto |
+=======
+| Librarian | Mabadiliko mapya ya kutoka (kusoma + kuandika) - pakua yaliyomo, hifadhi hati za watoto |
+>>>>>>> 82edf2d (New md files from RunPod)
 | Hifadhi tatu | Mabadiliko mapya ya kutoka - toa miunganisho ya mzazi-mtoto |
 | Ujumbe wa pato | Mabadiliko kutoka yaliyomo-tu hadi kitambulisho + yaliyomo |
 
@@ -580,15 +859,23 @@ Wasindikaji wa baadaye hupokea kitambulisho kwa ajili ya asili + yaliyomo ili ku
 
 #### Hali ya Sasa
 
+<<<<<<< HEAD
 Yanapokea yaliyomo ya sehemu ndogo
 Yanatoa triples na embeddings
 Yanatoa kwa hifadhi ya triples na hifadhi ya embeddings
 `subjectOf` uhusiano unaelekeza kwenye hati ya juu (si sehemu ndogo)
+=======
+Yanapokea yaliyomo ya sehemu
+Yanatoa triples na embeddings
+Yanatuma kwa hifadhi ya triples na hifadhi ya embeddings
+`subjectOf` uhusiano unaelekeza kwenye hati ya juu (si sehemu)
+>>>>>>> 82edf2d (New md files from RunPod)
 
 #### Mabadiliko Yanayohitajika
 
 **1. Badilisha utunzaji wa ingizo**
 
+<<<<<<< HEAD
 Pokea kitambulisho cha hati ya sehemu ndogo pamoja na yaliyomo.
 Tumia kitambulisho cha sehemu ndogo kwa ulinganisho (yaliyomo tayari yamejumuishwa kwa uboreshaji)
 
@@ -597,20 +884,41 @@ Tumia kitambulisho cha sehemu ndogo kwa ulinganisho (yaliyomo tayari yamejumuish
 Unganisha triples zilizotolewa na sehemu ndogo (si hati ya juu).
 Tumia reification ili kuunda muunganiko unaoelekeza kwenye muunganiko
 `subjectOf` uhusiano: triple → kitambulisho cha hati ya sehemu ndogo
+=======
+Pokea kitambulisho cha hati ya sehemu pamoja na yaliyomo.
+Tumia kitambulisho cha sehemu kwa ulinganisho (yaliyomo tayari yamejumuishwa kwa uboreshaji)
+
+**2. Sasisha asili ya triples**
+
+Unganisha triples zilizotolewa na sehemu (si hati ya juu).
+Tumia reification ili kuunda muunganisho unaoelekeza kwenye muunganisho
+`subjectOf` uhusiano: triple → kitambulisho cha hati ya sehemu
+>>>>>>> 82edf2d (New md files from RunPod)
 Matumizi ya kwanza ya msaada uliopo wa reification
 
 **3. Sasisha asili ya embeddings**
 
+<<<<<<< HEAD
 Unganisha kitambulisho cha entiti ya embedding na sehemu ndogo.
 Toa muunganiko: kitambulisho cha entiti ya embedding → kitambulisho cha hati ya sehemu ndogo
+=======
+Unganisha kitambulisho cha entiti ya embedding na sehemu.
+Toa muunganisho: kitambulisho cha entiti ya embedding → kitambulisho cha hati ya sehemu
+>>>>>>> 82edf2d (New md files from RunPod)
 
 #### Muhtasari wa Mabadiliko ya Kiolesura
 
 | Kiolesura | Mabadiliko |
 |-----------|--------|
+<<<<<<< HEAD
 | Ujumbe wa ingizo | Inatarajia kitambulisho cha sehemu ndogo + yaliyomo (si yaliyomo tu) |
 | Hifadhi tatu | Tumia reification kwa asili ya triple → sehemu |
 | Asili ya embedding | Unganisha kitambulisho cha entiti → kitambulisho cha sehemu |
+=======
+| Ujumbe wa ingizo | Inatarajia kitambulisho cha sehemu + yaliyomo (si yaliyomo tu) |
+| Hifadhi ya triples | Tumia reification kwa asili ya triple → sehemu |
+| Asili ya embeddings | Unganisha kitambulisho cha entiti → kitambulisho cha sehemu |
+>>>>>>> 82edf2d (New md files from RunPod)
 
 ## Marejeleo