2026-04-10 23:20:41 -04:00
---
layout: default
title: "Akı ı ı ı
parent: "Turkish (Beta)"
---
2026-04-11 01:08:44 +00:00
# Akı ı ı ı
2026-04-10 23:20:41 -04:00
> **Beta Translation:** This document was translated via Machine Learning and as such may not be 100% accurate. All non-English languages are currently classified as Beta.
2026-04-11 01:08:44 +00:00
## Genel Bakı
Bu özellik, TrustGraph'ta LLM yanı ı ı ı ı ı ı ı ı ı ı ı ı ı ı
Bu uygulama aşağı ı ı ı
1. **Gerçek Zamanlı ı ı : Token'ları ı ı ı ı ı ı
2. **İlk Token'a Ulaşma Süresinin Azaltı ı : Kullanı ı ı ı ı
3. **Uzun Yanı ı : Aksi takdirde zaman aşı ı ı ı ı ı ı ı ı
4. **Etkileşimli Uygulamalar** : Duyarlı
## Hedefler
**Geriye Dönük Uyumluluk**: Mevcut, akı ı ı
**Tutarlı ı ı : Akı ı ı ı ı ı ı ı ı ı ı ı
**Sağlayı ı : Akı ı ı
**Aşamalı ı ı : Riski azaltmak için kademeli uygulama.
**Uçtan Uca Destek**: LLM sağlayı ı ı ı ı ı ı ı
## Arka Plan
### Mevcut Mimari
Mevcut LLM metin tamamlama akı ı ı ı ı
1. İstemci, `TextCompletionRequest` ile `system` ve `prompt` alanları ı
2. LLM hizmeti, isteği işler ve tamamlanmı ı
3. Tamamlanmı `response` dizesiyle tek bir `TextCompletionResponse` döndürülür.
Mevcut şema (`trustgraph-base/trustgraph/schema/services/llm.py` ):
```python
class TextCompletionRequest(Record):
system = String()
prompt = String()
class TextCompletionResponse(Record):
error = Error()
response = String()
in_token = Integer()
out_token = Integer()
model = String()
```
### Mevcut Sı ı
**Gecikme**: Kullanı ı ı ı ı
**Zaman Aşı ı ı ı
**Kötü Kullanı ı ı ı ı ı ı ı ı
**Kaynak Kullanı ı ı ı ı
Bu özellik, art arda yanı ı ı ı
## Teknik Tasarı
### Aşama 1: Altyapı
Aşama 1, şemaları ı ı ı ı ı ı ı
#### Şema Değişiklikleri
##### LLM Şeması
**İstek Değişiklikleri:**
```python
class TextCompletionRequest(Record):
system = String()
prompt = String()
streaming = Boolean() # NEW: Default false for backward compatibility
```
`streaming` : `true` olduğunda, akı ı ı
Varsayı `false` (mevcut davranı
**Yanı
```python
class TextCompletionResponse(Record):
error = Error()
response = String()
in_token = Integer()
out_token = Integer()
model = String()
end_of_stream = Boolean() # NEW: Indicates final message
```
`end_of_stream` : `true` olduğunda, bunun son (veya tek) yanı
Akı `end_of_stream=true` ile tek bir yanı
Akı `end_of_stream=false` ile birden fazla yanı ı
hariç.
##### İstek Şeması
İstek hizmeti, metin tamamlama işlemini kapsar, bu nedenle aynı ı ı ı ı
**İstek Değişiklikleri:**
```python
class PromptRequest(Record):
id = String()
terms = Map(String())
streaming = Boolean() # NEW: Default false
```
**Değişiklikler:**
```python
class PromptResponse(Record):
error = Error()
text = String()
object = String()
end_of_stream = Boolean() # NEW: Indicates final message
```
#### Ağ Geçidi API Değişiklikleri
Ağ Geçidi API'sinin, HTTP/WebSocket istemcilerine akı ı
**REST API Güncellemeleri:**
`POST /api/v1/text-completion` : İstek gövdesinde `streaming` parametresini kabul et
Yanı ı ı ı ı ı ı
`streaming=false` : Tek JSON yanı ı ı
`streaming=true` : Sunucu Tarafı ı ı ı
**Yanı ı ı
Her akı ı ı ı ı ı
```json
{
"response": "partial text...",
"end_of_stream": false,
"model": "model-name"
}
```
Son bölüm:
```json
{
"response": "final text chunk",
"end_of_stream": true,
"in_token": 150,
"out_token": 500,
"model": "model-name"
}
```
#### Python API Değişiklikleri
Python istemci API'si, geriye dönük uyumluluğu korurken hem akı ı ı ı ı
**LlmClient Güncellemeleri** (`trustgraph-base/trustgraph/clients/llm_client.py` ):
```python
class LlmClient(BaseClient):
def request(self, system, prompt, timeout=300, streaming=False):
"""
Non-streaming request (backward compatible).
Returns complete response string.
"""
# Existing behavior when streaming=False
async def request_stream(self, system, prompt, timeout=300):
"""
Streaming request.
Yields response chunks as they arrive.
"""
# New async generator method
```
**PromptClient Güncellemeleri** (`trustgraph-base/trustgraph/base/prompt_client.py` ):
`streaming` parametresi ve asenkron üreteç varyantı ı
#### CLI Aracı
**tg-invoke-llm** (`trustgraph-cli/trustgraph/cli/invoke_llm.py` ):
```
tg-invoke-llm [system] [prompt] [--no-streaming] [-u URL] [-f flow-id]
```
Daha iyi etkileşimli kullanı ı ı ı
`--no-streaming` bayrağı ı ı ı ı ı ı
Akı ı ı ı ı ı ı
Akı ı ı ı ı ı ı
**tg-invoke-prompt** (`trustgraph-cli/trustgraph/cli/invoke_prompt.py` ):
```
tg-invoke-prompt [template-id] [var=value...] [--no-streaming] [-u URL] [-f flow-id]
```
`tg-invoke-llm` ile aynı ı
#### LLM Hizmeti Temel Sı ı ı
**LlmService** (`trustgraph-base/trustgraph/base/llm_service.py` ):
```python
class LlmService(FlowProcessor):
async def on_request(self, msg, consumer, flow):
request = msg.value()
streaming = getattr(request, 'streaming', False)
if streaming and self.supports_streaming():
async for chunk in self.generate_content_stream(...):
await self.send_response(chunk, end_of_stream=False)
await self.send_response(final_chunk, end_of_stream=True)
else:
response = await self.generate_content(...)
await self.send_response(response, end_of_stream=True)
def supports_streaming(self):
"""Override in subclass to indicate streaming support."""
return False
async def generate_content_stream(self, system, prompt, model, temperature):
"""Override in subclass to implement streaming."""
raise NotImplementedError()
```
--
### 2. Aşama: VertexAI Prova Çalı ı
2. Aşama, altyapı ı ı ı ı ı ı
#### VertexAI Uygulaması
**Modül:** `trustgraph-vertexai/trustgraph/model/text_completion/vertexai/llm.py`
**Değişiklikler:**
1. `supports_streaming()` 'ı `True` değerini döndürecek şekilde geçersiz kı ı
2. `generate_content_stream()` asenkron oluşturucusunu uygulayı
3. Hem Gemini hem de Claude modellerini (VertexAI Anthropic API aracı ı ı
**Gemini Akı ı
```python
async def generate_content_stream(self, system, prompt, model, temperature):
model_instance = self.get_model(model, temperature)
response = model_instance.generate_content(
[system, prompt],
stream=True # Enable streaming
)
for chunk in response:
yield LlmChunk(
text=chunk.text,
in_token=None, # Available only in final chunk
out_token=None,
)
# Final chunk includes token counts from response.usage_metadata
```
**Claude (VertexAI Anthropic) Akı ı
```python
async def generate_content_stream(self, system, prompt, model, temperature):
with self.anthropic_client.messages.stream(...) as stream:
for text in stream.text_stream:
yield LlmChunk(text=text)
# Token counts from stream.get_final_message()
```
#### Test Etme
Akı ı ı
VertexAI (Gemini ve Claude) ile entegrasyon testleri
Uçtan uca testler: CLI -> Ağ Geçidi -> Pulsar -> VertexAI -> geri
Geriye dönük uyumluluk testleri: Akı ı ı
--
### 3. Aşama: Tüm LLM Sağlayı ı ı
3. Aşama, akı ı ı ı
#### Sağlayı ı
Her sağlayı ı ı ı ı
1. **Tam Akı : `generate_content_stream()` 'ı ı
2. **Uyumluluk Modu** : `end_of_stream` bayrağı ı
(tek bir yanı `end_of_stream=true` ile birlikte)
| Sağlayı ı ı
|----------|---------|-------------------|
| OpenAI | trustgraph-flow | Tam (yerel akı
| Claude/Anthropic | trustgraph-flow | Tam (yerel akı
| Ollama | trustgraph-flow | Tam (yerel akı
| Cohere | trustgraph-flow | Tam (yerel akı
| Mistral | trustgraph-flow | Tam (yerel akı
| Azure OpenAI | trustgraph-flow | Tam (yerel akı
| Google AI Studio | trustgraph-flow | Tam (yerel akı
| VertexAI | trustgraph-vertexai | Tam (2. Aşama) |
| Bedrock | trustgraph-bedrock | Tam (yerel akı
| LM Studio | trustgraph-flow | Tam (OpenAI ile uyumlu) |
| LlamaFile | trustgraph-flow | Tam (OpenAI ile uyumlu) |
| vLLM | trustgraph-flow | Tam (OpenAI ile uyumlu) |
| TGI | trustgraph-flow | Belirlenecek |
| Azure | trustgraph-flow | Belirlenecek |
#### Uygulama Modeli
OpenAI ile uyumlu sağlayı ı
```python
async def generate_content_stream(self, system, prompt, model, temperature):
response = await self.client.chat.completions.create(
model=model,
messages=[
{"role": "system", "content": system},
{"role": "user", "content": prompt}
],
temperature=temperature,
stream=True
)
async for chunk in response:
if chunk.choices[0].delta.content:
yield LlmChunk(text=chunk.choices[0].delta.content)
```
--
### 4. Aşama: Ajan API'si
4. Aşama, akı ı ı ı ı ı ı
→ tekrar → son yanı
#### Mevcut Ajan Şeması
```python
class AgentStep(Record):
thought = String()
action = String()
arguments = Map(String())
observation = String()
user = String()
class AgentRequest(Record):
question = String()
state = String()
group = Array(String())
history = Array(AgentStep())
user = String()
class AgentResponse(Record):
answer = String()
error = Error()
thought = String()
observation = String()
```
#### Önerilen Ajan Şema Değişiklikleri
**Değişiklik İstekleri:**
```python
class AgentRequest(Record):
question = String()
state = String()
group = Array(String())
history = Array(AgentStep())
user = String()
streaming = Boolean() # NEW: Default false
```
**Cevap Değişiklikleri:**
Ajan, akı ı ı ı ı
Düşünceler (akı
Eylemler (araç çağrı ı
Gözlemler (araç sonuçları
Cevap (sonuç yanı ı
Hatalar
`chunk_type` , gönderilen içeriğin türünü tanı ı ı ı
`answer` , `error` , `thought` ve `observation` alanları
Tek bir `content` alanı
```python
class AgentResponse(Record):
chunk_type = String() # "thought", "action", "observation", "answer", "error"
content = String() # The actual content (interpretation depends on chunk_type)
end_of_message = Boolean() # Current thought/action/observation/answer is complete
end_of_dialog = Boolean() # Entire agent dialog is complete
```
**Alan Anlamı
`chunk_type` : `content` alanı
`"thought"` : Aracı
`"action"` : Çağrı
`"observation"` : Araç çalı ı ı
`"answer"` : Kullanı ı ı
`"error"` : Hata mesajı
`content` : `chunk_type` 'e göre yorumlanan, gerçek akı
`end_of_message` : `true` olduğunda, mevcut parça türü tamamlanmı ı
Örnek: Mevcut düşünce için tüm belirteçler gönderilmiştir.
İstemcilerin bir sonraki aşamaya ne zaman geçmeleri gerektiğini bilmesini sağlar.
`end_of_dialog` : `true` olduğunda, tüm aracı ı ı
Bu, akı ı
#### Aracı ı ı ı
`streaming=true` olduğunda:
1. **Düşünce akı ı
`chunk_type="thought"` ve `end_of_message=false` ile birden fazla parça.
Son düşünce parçası `end_of_message=true` 'a sahiptir.
2. **Eylem bildirimi:**
`chunk_type="action"` ve `end_of_message=true` ile tek bir parça.
3. **Gözlem:**
`chunk_type="observation"` ile parçalar, son parça `end_of_message=true` 'e sahiptir.
4. Aracı ı ı ı ı
5. **Son cevap:**
`content` içindeki son yanı `chunk_type="answer"` .
Son parça `end_of_message=true` ve `end_of_dialog=true` 'e sahiptir.
**Örnek Akı ı ı
```
{chunk_type: "thought", content: "I need to", end_of_message: false, end_of_dialog: false}
{chunk_type: "thought", content: " search for...", end_of_message: true, end_of_dialog: false}
{chunk_type: "action", content: "search", end_of_message: true, end_of_dialog: false}
{chunk_type: "observation", content: "Found: ...", end_of_message: true, end_of_dialog: false}
{chunk_type: "thought", content: "Based on this", end_of_message: false, end_of_dialog: false}
{chunk_type: "thought", content: " I can answer...", end_of_message: true, end_of_dialog: false}
{chunk_type: "answer", content: "The answer is...", end_of_message: true, end_of_dialog: true}
```
`streaming=false` olduğunda:
Mevcut davranı
Tam bir cevap içeren tek bir yanı
`end_of_message=true` , `end_of_dialog=true`
#### Ağ Geçidi ve Python API'si
Ağ Geçidi: Ajan akı ı ı
Python API'si: Yeni `agent_stream()` asenkron oluşturucu metodu
--
## Güvenlik Hususları
**Yeni bir saldı ı ı ı ı ı ı
**Hı ı ı ı ı ı ı ı ı
**Bağlantı ı ı ı ı ı ı ı
**Zaman aşı ı ı ı ı
## Performans Hususları
**Bellek**: Akı ı ı ı ı ı
**Gecikme**: İlk jetona ulaşma süresi önemli ölçüde azaltı ı ı
**Bağlantı ı ı ı ı ı ı
**Pulsar verim**: Tek büyük mesaj yerine çok sayı
dengesi
## Test Stratejisi
### Birim Testleri
Yeni alanlarla şema serileştirme/deserileştirme
Geriye dönük uyumluluk (eksik alanlar için varsayı ı ı
Parça birleştirme mantı ı
### Entegrasyon Testleri
Her LLM sağlayı ı ı ı ı ı
Ağ Geçidi API akı ı
Python istemci akı ı
### Uçtan Uca Testler
CLI aracı ı ı ı ı ı
Tam akı
Karı ı ı ı ı ı
### Geriye Dönük Uyumluluk Testleri
Mevcut istemciler değişiklik yapı ı ı
Akı ı ı ı ı
## Geçiş Planı
### 1. Aşama: Altyapı
Şema değişikliklerini dağı ı
Ağ Geçidi API güncellemelerini dağı ı
Python API güncellemelerini dağı ı
CLI aracı ı ı
### 2. Aşama: VertexAI
VertexAI akı ı ı ı ı
Test iş yükleriyle doğrulayı
### 3. Aşama: Tüm Sağlayı ı
Sağlayı ı ı ı ı
Sorunlar için izleyin
### 4. Aşama: Ajan API'si
Ajan şema değişikliklerini dağı ı
Ajan akı ı ı ı ı
Belgeleri güncelleyin
## Zaman Çizelgesi
| Aşama | Açı ı ı ı
|-------|-------------|--------------|
| 1. Aşama | Altyapı
| 2. Aşama | VertexAI PoC | 1. Aşama |
| 3. Aşama | Tüm Sağlayı ı
| 4. Aşama | Ajan API'si | 3. Aşama |
## Tasarı ı
Aşağı ı ı
1. **Akı ı ı : Jeton sayı ı ı ı
Tüketiciler, gerekirse bunları ı ı ı ı
raporlama şekliyle eşleşir ve uygulamayı
2. **Akı : Bir hata oluşursa, `error` alanı
doldurulur ve diğer alanlara ihtiyaç duyulmaz. Bir hata her zaman son
iletişimdir; hata sonrası
LLM/İstem akı ı `end_of_stream=true` . Ajan akı ı
`chunk_type="error"` ile `end_of_dialog=true` .
3. **Kı ı : Mesajlaşma protokolü (Pulsar) dayanı ı ı
bu nedenle mesaj düzeyinde yeniden deneme gerekli değildir. Bir istem, akı ı
takip edemezse veya bağlantı ı
4. **İstem Hizmeti Akı ı : Akı ı `text` ) yanı ı
desteklenir, yapı ı ı ı `object` ) yanı
çı ı ı ı ı ı ı
önceden bilir. Bir akı ı ı ı ı ı
hizmet şunlardan birini yapmalı ı
Tam JSON'ı ı `end_of_stream=true` ile döndürün veya
Akı
## Açı
Şu anda yok.
## Referanslar
Mevcut LLM şeması `trustgraph-base/trustgraph/schema/services/llm.py`
Mevcut istem şeması `trustgraph-base/trustgraph/schema/services/prompt.py`
Mevcut ajan şeması `trustgraph-base/trustgraph/schema/services/agent.py`
LLM hizmeti tabanı `trustgraph-base/trustgraph/base/llm_service.py`
VertexAI sağlayı ı ı `trustgraph-vertexai/trustgraph/model/text_completion/vertexai/llm.py`
Ağ Geçidi API'si: `trustgraph-base/trustgraph/api/`
CLI araçları `trustgraph-cli/trustgraph/cli/`
