Comments in schema

trustgraph/schema.py

@@ -15,23 +15,39 @@ class Source(Record):
     id = String()
     title = String()
 
+############################################################################
+
+# PDF docs etc.
 class Document(Record):
     source = Source()
     data = Bytes()
 
 document_ingest_queue = 'document-load'
-text_ingest_queue = 'text-document-load'
+
+############################################################################
+
+# Text documents / text from PDF
 
 class TextDocument(Record):
     source = Source()
     text = Bytes()
 
-chunk_ingest_queue = 'chunk-load'
+text_ingest_queue = 'text-document-load'
+
+############################################################################
+
+# Chunks of text
 
 class Chunk(Record):
     source = Source()
     chunk = Bytes()
 
+chunk_ingest_queue = 'chunk-load'
+
+############################################################################
+
+# Chunk embeddings are an embeddings associated with a text chunk
+
 class ChunkEmbeddings(Record):
     source = Source()
     vectors = Array(Array(Double()))
@@ -39,11 +55,21 @@ class ChunkEmbeddings(Record):
 
 chunk_embeddings_ingest_queue = 'chunk-embeddings-load'
 
+############################################################################
+
+# Graph embeddings are embeddings associated with a graph entity
+
 class GraphEmbeddings(Record):
     source = Source()
     vectors = Array(Array(Double()))
     entity = Value()
 
+graph_embeddings_store_queue = 'graph-embeddings-store'
+
+############################################################################
+
+# Graph triples
+
 class Triple(Record):
     source = Source()
     s = Value()
@@ -52,11 +78,13 @@ class Triple(Record):
 
 triples_store_queue = 'triples-store'
 
-# chunk_embeddings_store_queue = 'chunk-embeddings-store'
+############################################################################
-graph_embeddings_store_queue = 'graph-embeddings-store'
 
-text_completion_request_queue = 'text-completion'
+# chunk_embeddings_store_queue = 'chunk-embeddings-store'
-text_completion_response_queue = 'text-completion-response'
+
+############################################################################
+
+# LLM text completion
 
 class TextCompletionRequest(Record):
     prompt = String()
@@ -64,12 +92,26 @@ class TextCompletionRequest(Record):
 class TextCompletionResponse(Record):
     response = String()
 
+text_completion_request_queue = 'text-completion'
+text_completion_response_queue = 'text-completion-response'
+
+############################################################################
+
+# Embeddings
+
 class EmbeddingsRequest(Record):
     text = String()
 
 class EmbeddingsResponse(Record):
     vectors = Array(Array(Double()))
 
+embeddings_request_queue = 'embeddings'
+embeddings_response_queue = 'embeddings-response'
+
+############################################################################
+
+# Graph RAG text retrieval
+
 class GraphRagQuery(Record):
     query = String()
 
@@ -79,6 +121,5 @@ class GraphRagResponse(Record):
 graph_rag_request_queue = 'graph-rag'
 graph_rag_response_queue = 'graph-rag-response'
 
-embeddings_request_queue = 'embeddings'
+############################################################################
-embeddings_response_queue = 'embeddings-response'