LICENSE
MANIFEST.in
README.md
setup.py
example/__init__.py
spelltest/__init__.py
spelltest/cli.py
spelltest/discover_spelltests.py
spelltest/result_processing.py
spelltest/spelltest.py
spelltest/spelltest_execution.py
spelltest/utils.py
spelltest/yaml_tests.py
spelltest.egg-info/PKG-INFO
spelltest.egg-info/SOURCES.txt
spelltest.egg-info/dependency_links.txt
spelltest.egg-info/entry_points.txt
spelltest.egg-info/requires.txt
spelltest.egg-info/top_level.txt
spelltest/ai_managers/__init__.py
spelltest/ai_managers/chat_manager.py
spelltest/ai_managers/evaluation_manager.py
spelltest/ai_managers/evaluation_manager_old.py
spelltest/ai_managers/raw_completion_manager.py
spelltest/ai_managers/base/__init__.py
spelltest/ai_managers/base/chat_manager.py
spelltest/ai_managers/base/evaluation_manager.py
spelltest/ai_managers/base/raw_completion_manager.py
spelltest/ai_managers/tracing/__init__.py
spelltest/ai_managers/tracing/cost_calculation_tracing.py
spelltest/ai_managers/tracing/promtelligence_tracing.py
spelltest/ai_managers/utils/__init__.py
spelltest/ai_managers/utils/chain.py
spelltest/analyze_app/__init__.py
spelltest/analyze_app/streamlit_app.py
spelltest/analyze_app/streamlit_simulations.py
spelltest/entities/__init__.py
spelltest/entities/general.py
spelltest/entities/managers.py
spelltest/entities/metric.py
spelltest/entities/simulation.py
spelltest/entities/simulation_job_result.py
spelltest/entities/synthetic_user.py
spelltest/prompts/chat_manager/system.chat_assistant.txt.jinja2
spelltest/prompts/chat_manager/system.chat_user_agent.txt.jinja2
spelltest/prompts/completion_manager/system.completion_assistant.txt.jinja2
spelltest/prompts/completion_manager/system.completion_user_agent.txt.jinja2
spelltest/prompts/evaluation/accuracy.txt.jinja2
spelltest/prompts/evaluation/perfect_chat_message.txt.jinja2
spelltest/prompts/evaluation/perfect_completion.txt.jinja2
spelltest/prompts/evaluation/rationale.txt.jinja2
tests/test_chat_manager_mock.py
tests/test_completion_manager_mock.py
tests/test_discover_spelltest_test.py
tests/test_evaluation_manager_mock.py
tests/test_spelltest_main_cases.py
tests/test_yaml_tests.py