Null values when using Haystack integration

#!/usr/bin/env python3
import os
from datasets import load_dataset

from haystack import Pipeline
from haystack_integrations.components.generators.llama_cpp import LlamaCppChatGenerator

from haystack.components.builders import ChatPromptBuilder
from haystack.components.builders.answer_builder import AnswerBuilder

from haystack.dataclasses import ChatMessage

os.environ["LANGFUSE_HOST"] = "http://LOCAL_NETWORK_IP:3000"
os.environ["LANGFUSE_SECRET_KEY"] = "sk-lf-..."
os.environ["LANGFUSE_PUBLIC_KEY"] = "pk-lf-..."

# Note: You must setup this variable before importing the LangfuseConnector

os.environ["HAYSTACK_CONTENT_TRACING_ENABLED"] = "true"

from haystack_integrations.components.connectors.langfuse import LangfuseConnector

system_message = ChatMessage.from_system(
    """
    Answer the question as briefly as possible. If the answer is a number, provide the number only.
    """
)

user_message = ChatMessage.from_user("Question: {{question}}")
assistent_message = ChatMessage.from_assistant("Answer: ")

chat_template = [system_message, user_message, assistent_message]

batch_qa_pipeline = Pipeline()

generator = LlamaCppChatGenerator(
    model="./models/llama-3-neural-chat-v1-8b-Q5_K_M.gguf",
    n_ctx=512,
    n_batch=128,
    model_kwargs={"n_gpu_layers": -1},
)

generator.warm_up()

batch_qa_pipeline.add_component("tracer", LangfuseConnector("Batch QA"))
batch_qa_pipeline.add_component(instance=ChatPromptBuilder(template=chat_template), name="prompt_builder")
batch_qa_pipeline.add_component(instance=generator, name="llm")
batch_qa_pipeline.add_component(instance=AnswerBuilder(), name="answer_builder")

batch_qa_pipeline.connect("prompt_builder", "llm")
batch_qa_pipeline.connect("llm", "answer_builder")

#!/usr/bin/env python3
import os
from datasets import load_dataset

from haystack import Pipeline
from haystack_integrations.components.generators.llama_cpp import LlamaCppChatGenerator

from haystack.components.builders import ChatPromptBuilder
from haystack.components.builders.answer_builder import AnswerBuilder

from haystack.dataclasses import ChatMessage

os.environ["LANGFUSE_HOST"] = "http://LOCAL_NETWORK_IP:3000"
os.environ["LANGFUSE_SECRET_KEY"] = "sk-lf-..."
os.environ["LANGFUSE_PUBLIC_KEY"] = "pk-lf-..."

# Note: You must setup this variable before importing the LangfuseConnector

os.environ["HAYSTACK_CONTENT_TRACING_ENABLED"] = "true"

from haystack_integrations.components.connectors.langfuse import LangfuseConnector

system_message = ChatMessage.from_system(
    """
    Answer the question as briefly as possible. If the answer is a number, provide the number only.
    """
)

user_message = ChatMessage.from_user("Question: {{question}}")
assistent_message = ChatMessage.from_assistant("Answer: ")

chat_template = [system_message, user_message, assistent_message]

batch_qa_pipeline = Pipeline()

generator = LlamaCppChatGenerator(
    model="./models/llama-3-neural-chat-v1-8b-Q5_K_M.gguf",
    n_ctx=512,
    n_batch=128,
    model_kwargs={"n_gpu_layers": -1},
)

generator.warm_up()

batch_qa_pipeline.add_component("tracer", LangfuseConnector("Batch QA"))
batch_qa_pipeline.add_component(instance=ChatPromptBuilder(template=chat_template), name="prompt_builder")
batch_qa_pipeline.add_component(instance=generator, name="llm")
batch_qa_pipeline.add_component(instance=AnswerBuilder(), name="answer_builder")

batch_qa_pipeline.connect("prompt_builder", "llm")
batch_qa_pipeline.connect("llm", "answer_builder")

questions = ["What is the value in Ohms of a resistor with the following color codes: red, red, orange?",
            "How many musketeers were there?",]

for question in questions:
    result = batch_qa_pipeline.run(
        {
            "prompt_builder": {"question": question},
            "llm": {"generation_kwargs": {"max_tokens": 128, "temperature": 0.1}},
            "answer_builder": {"query": question},
        }
    )

    generated_answer = result["answer_builder"]["answers"][0]
    print(generated_answer.data)

questions = ["What is the value in Ohms of a resistor with the following color codes: red, red, orange?",
            "How many musketeers were there?",]

for question in questions:
    result = batch_qa_pipeline.run(
        {
            "prompt_builder": {"question": question},
            "llm": {"generation_kwargs": {"max_tokens": 128, "temperature": 0.1}},
            "answer_builder": {"query": question},
        }
    )

    generated_answer = result["answer_builder"]["answers"][0]
    print(generated_answer.data)

# import low level SDK
from langfuse import Langfuse

# start the client
langfuse = Langfuse()

# your code goes here

# At the end of your program add langfuse.shutdown() or...
langfuse.flush()

# Additional info at: https://langfuse.com/docs/tracing#manual-flushing

# import low level SDK
from langfuse import Langfuse

# start the client
langfuse = Langfuse()

# your code goes here

# At the end of your program add langfuse.shutdown() or...
langfuse.flush()

# Additional info at: https://langfuse.com/docs/tracing#manual-flushing

pip install haystack-ai langfuse-haystack langfuse sentence-transformers datasets mwparserfromhell torch==2.3.1 

pip install haystack-ai langfuse-haystack langfuse sentence-transformers datasets mwparserfromhell torch==2.3.1 

import os

os.environ["LANGFUSE_HOST"] = "https://cloud.langfuse.com"
os.environ["TOKENIZERS_PARALLELISM"] = "false"
os.environ["HAYSTACK_CONTENT_TRACING_ENABLED"] = "true"
os.environ["LANGFUSE_SECRET_KEY"] = "sk-lf-4..."
os.environ["LANGFUSE_PUBLIC_KEY"] = "pk-lf-3..."
os.environ["OPENAI_API_KEY"] = "sk-proj-N..."

from haystack.components.builders import DynamicChatPromptBuilder
from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack import Pipeline

from haystack_integrations.components.connectors.langfuse import LangfuseConnector

if __name__ == "__main__":
    pipe = Pipeline()
    pipe.add_component("tracer", LangfuseConnector("Chat example"))
    pipe.add_component("prompt_builder", DynamicChatPromptBuilder())
    pipe.add_component("llm", OpenAIChatGenerator(model="gpt-4o-mini"))

    pipe.connect("prompt_builder.prompt", "llm.messages")

    messages = [
        ChatMessage.from_system("Always respond in German even if some input data is in other languages."),
        ChatMessage.from_user("Tell me about {{location}}"),
    ]

    response = pipe.run(
        data={"prompt_builder": {"template_variables": {"location": "Berlin"}, "prompt_source": messages}}
    )
    print(response["llm"]["replies"][0])
    print(response["tracer"]["trace_url"])

import os

os.environ["LANGFUSE_HOST"] = "https://cloud.langfuse.com"
os.environ["TOKENIZERS_PARALLELISM"] = "false"
os.environ["HAYSTACK_CONTENT_TRACING_ENABLED"] = "true"
os.environ["LANGFUSE_SECRET_KEY"] = "sk-lf-4..."
os.environ["LANGFUSE_PUBLIC_KEY"] = "pk-lf-3..."
os.environ["OPENAI_API_KEY"] = "sk-proj-N..."

from haystack.components.builders import DynamicChatPromptBuilder
from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack import Pipeline

from haystack_integrations.components.connectors.langfuse import LangfuseConnector

if __name__ == "__main__":
    pipe = Pipeline()
    pipe.add_component("tracer", LangfuseConnector("Chat example"))
    pipe.add_component("prompt_builder", DynamicChatPromptBuilder())
    pipe.add_component("llm", OpenAIChatGenerator(model="gpt-4o-mini"))

    pipe.connect("prompt_builder.prompt", "llm.messages")

    messages = [
        ChatMessage.from_system("Always respond in German even if some input data is in other languages."),
        ChatMessage.from_user("Tell me about {{location}}"),
    ]

    response = pipe.run(
        data={"prompt_builder": {"template_variables": {"location": "Berlin"}, "prompt_source": messages}}
    )
    print(response["llm"]["replies"][0])
    print(response["tracer"]["trace_url"])

ChatMessage(content='Berlin ist die Hauptstadt Deutschlands und eine der bedeutendsten Metropolen Europas. Die Stadt hat eine reiche Geschichte, die von vielen politischen und kulturellen Veränderungen geprägt wurde. Berlin ist bekannt für seine vielfältige Architektur, von historischen Gebäuden wie dem Brandenburger Tor und dem Reichstag bis hin zu modernen Glasfassaden.\n\nDie Stadt ist auch ein Zentrum für Kunst, Musik und Nachtleben. Es gibt zahlreiche Museen, Galerien und kulturelle Veranstaltungen, die das kreative Flair Berlins widerspiegeln. Die Berliner Mauer, die die Stadt während des Kalten Krieges teilte, ist ein wichtiges Symbol der Geschichte und trägt zur Identität der Stadt bei.\n\nBerlin hat auch eine multikulturelle Bevölkerung und zieht Menschen aus aller Welt an. Die vielfältigen Stadtteile bieten eine breite Palette an gastronomischen und kulturellen Erlebnissen. Die Stadt ist gut erreichbar und bietet ein umfangreiches Verkehrsnetz, das es leicht macht, die verschiedenen Regionen zu erkunden.', role=<ChatRole.ASSISTANT: 'assistant'>, name=None, meta={'model': 'gpt-4o-mini-2024-07-18', 'index': 0, 'finish_reason': 'stop', 'usage': {'completion_tokens': 200, 'prompt_tokens': 29, 'total_tokens': 229}})

ChatMessage(content='Berlin ist die Hauptstadt Deutschlands und eine der bedeutendsten Metropolen Europas. Die Stadt hat eine reiche Geschichte, die von vielen politischen und kulturellen Veränderungen geprägt wurde. Berlin ist bekannt für seine vielfältige Architektur, von historischen Gebäuden wie dem Brandenburger Tor und dem Reichstag bis hin zu modernen Glasfassaden.\n\nDie Stadt ist auch ein Zentrum für Kunst, Musik und Nachtleben. Es gibt zahlreiche Museen, Galerien und kulturelle Veranstaltungen, die das kreative Flair Berlins widerspiegeln. Die Berliner Mauer, die die Stadt während des Kalten Krieges teilte, ist ein wichtiges Symbol der Geschichte und trägt zur Identität der Stadt bei.\n\nBerlin hat auch eine multikulturelle Bevölkerung und zieht Menschen aus aller Welt an. Die vielfältigen Stadtteile bieten eine breite Palette an gastronomischen und kulturellen Erlebnissen. Die Stadt ist gut erreichbar und bietet ein umfangreiches Verkehrsnetz, das es leicht macht, die verschiedenen Regionen zu erkunden.', role=<ChatRole.ASSISTANT: 'assistant'>, name=None, meta={'model': 'gpt-4o-mini-2024-07-18', 'index': 0, 'finish_reason': 'stop', 'usage': {'completion_tokens': 200, 'prompt_tokens': 29, 'total_tokens': 229}})