MetaGPT/expo

Expo

1. Data Preparation

• 下载数据集：https://deepwisdom.feishu.cn/drive/folder/RVyofv9cvlvtxKdddt2cyn3BnTc?from=from_copylink
• 修改data.yaml的datasets_dir为数据集合集根目录存储位置

2. Configs

Data Config

datasets.yaml 提供数据集对应的指标和基础提示词

data.yaml 继承了datasets.yaml以及一些路径信息，需要将datasets_dir指到数据集合集的根目录下

LLM Config

llm:
  api_type: 'openai'
  model: deepseek-coder
  base_url: "https://oneapi.deepwisdom.ai/v1"
  api_key: sk-xxx
  temperature: 0.5

Budget

实验轮次 k = 10, 20

Prompt Usage

• 通过执行dataset.py中的generate_task_requirement函数获取提示词
  • 非DI-based方法设置is_di=False
  • data_config用utils.DATA_CONFIG
• 每一个数据集里有dataset_info.json，里面的内容需要提供给baselines以保证公平（generate_task_requirement已经默认提供）

3. Evaluation

运行各个框架，运行后框架需要提供Dev和Test的dev_predictions.csv和test_predictions.csv，每个csv文件只需要单个名为target的列

• 使用CustomExperimenter

experimenter = CustomExperimenter(task="titanic")
score_dict = experimenter.evaluate_pred_files(dev_pred_path, test_pred_path)

4. Baselines

DS Agent

提供github链接，并说明使用的命令以及参数设置

AIDE

提供github链接，并说明使用的命令以及参数设置

Autogluon

Setup

pip install -U pip
pip install -U setuptools wheel
pip install autogluon

提供github链接，并说明使用的命令以及参数设置

Base DI

For setup, check 5.

• python run_experiment.py --exp_mode base --task titanic --num_experiments 10

DI RandomSearch

For setup, check 5.

• Single insight python run_experiment.py --exp_mode aug --task titanic --aug_mode single

• Set insight python run_experiment.py --exp_mode aug --task titanic --aug_mode set

5. DI MCTS

Run DI MCTS

Setup

In the root directory,

pip install -e .

cd expo

pip install -r requirements.txt

Run

• python run_experiment.py --exp_mode mcts --task titanic --rollout 10

If the dataset has reg metric, remember to use --low_is_better:

• python run_experiment.py --exp_mode mcts --task househouse_prices --rollout 10 --low_is_better