diff --git a/trustgraph/schema.py b/trustgraph/schema.py index fac85fff..2b590e6c 100644 --- a/trustgraph/schema.py +++ b/trustgraph/schema.py @@ -15,23 +15,39 @@ class Source(Record): id = String() title = String() +############################################################################ + +# PDF docs etc. class Document(Record): source = Source() data = Bytes() document_ingest_queue = 'document-load' -text_ingest_queue = 'text-document-load' + +############################################################################ + +# Text documents / text from PDF class TextDocument(Record): source = Source() text = Bytes() -chunk_ingest_queue = 'chunk-load' +text_ingest_queue = 'text-document-load' + +############################################################################ + +# Chunks of text class Chunk(Record): source = Source() chunk = Bytes() +chunk_ingest_queue = 'chunk-load' + +############################################################################ + +# Chunk embeddings are an embeddings associated with a text chunk + class ChunkEmbeddings(Record): source = Source() vectors = Array(Array(Double())) @@ -39,11 +55,21 @@ class ChunkEmbeddings(Record): chunk_embeddings_ingest_queue = 'chunk-embeddings-load' +############################################################################ + +# Graph embeddings are embeddings associated with a graph entity + class GraphEmbeddings(Record): source = Source() vectors = Array(Array(Double())) entity = Value() +graph_embeddings_store_queue = 'graph-embeddings-store' + +############################################################################ + +# Graph triples + class Triple(Record): source = Source() s = Value() @@ -52,11 +78,13 @@ class Triple(Record): triples_store_queue = 'triples-store' -# chunk_embeddings_store_queue = 'chunk-embeddings-store' -graph_embeddings_store_queue = 'graph-embeddings-store' +############################################################################ -text_completion_request_queue = 'text-completion' -text_completion_response_queue = 'text-completion-response' +# chunk_embeddings_store_queue = 'chunk-embeddings-store' + +############################################################################ + +# LLM text completion class TextCompletionRequest(Record): prompt = String() @@ -64,12 +92,26 @@ class TextCompletionRequest(Record): class TextCompletionResponse(Record): response = String() +text_completion_request_queue = 'text-completion' +text_completion_response_queue = 'text-completion-response' + +############################################################################ + +# Embeddings + class EmbeddingsRequest(Record): text = String() class EmbeddingsResponse(Record): vectors = Array(Array(Double())) +embeddings_request_queue = 'embeddings' +embeddings_response_queue = 'embeddings-response' + +############################################################################ + +# Graph RAG text retrieval + class GraphRagQuery(Record): query = String() @@ -79,6 +121,5 @@ class GraphRagResponse(Record): graph_rag_request_queue = 'graph-rag' graph_rag_response_queue = 'graph-rag-response' -embeddings_request_queue = 'embeddings' -embeddings_response_queue = 'embeddings-response' +############################################################################