Merge branch 'mgx_ops' into add_swe_agent_ablilities_to_engineer2

tests/data/embedding/2.answer.md

@@ -0,0 +1,2 @@
+检索结果
+法务查询者可根据国际小超人钉钉小程序UI上的滚筒切换业务线  这张图片展示了一个移动应用的界面，界面标题为“法律意见详情”。用户可以根据具体情况切换业务线。界面中有多个字段，包括“国家名称”、“国家情况描述”、“业务线”、“产品法规分析”和“签约主体”。第一张截图显示了详细的法律情报信息，包含区域名称、区域情况描述、业务线和产品法规概述等字段。第二张截图显示了“法律意见详情”界面，其中列出了国家名称、国家情况描述、业务线、产品法规分析和签约主体。第三张截图与第二张相似，但显示了选项的可选择状态。最下方有“取消”和“确定”的按钮。 法务查询者从国家详情中的业务线名列表中选出要查看的业务线。

tests/data/embedding/2.knowledge.md

@@ -0,0 +1,25 @@
+## Textual User Requirements
+
+### 3.2. 首页
+
+首页有两个分区，上面部分是法律意见检索栏。
+
+法务查询者第一次进入国际小超人钉钉小程序展示引导页，以后进入不再展示，点击「我知道了」引导页消失。
+
+#### 首页
+![首页](1.png)
+这是一个名为“法务小超人”的移动应用程序的界面截图。界面顶部显示了应用名称和一个可切换语言的按钮“English”。在界面中间部分，有一个标题“法律意见查询”，以及一个搜索框，提示输入国家名称以查询法律意见。下方显示已收录法律意见8394篇。界面下半部分是“法务 Q&A”部分，列出了一些法律相关的选项，例如“国际法务接入口人”、“国内法务接入口人”、“国际法律协议合同办理指引”和“国内法律协议合同办理指引”。界面底部有三个导航按钮，分别是“首页”、“模板”和“我的”。
+
+#### 按国家名维度搜索
+法务查询者在国际小超人钉钉小程序的搜索框中进行检索时采用typeahead，只能下拉选择法务中台中有的国家名称。
+![按国家名维度搜索](2.png)
+在这张图像中，用户正在一个名为“法律意见查询”的应用中进行国家名称的搜索。用户在搜索框中输入国家名称时，系统会提供下拉建议。这些建议基于 typeahead 功能，从法务中台中筛选出匹配的国家名称供用户选择。目前，搜索结果包含了“中国”和“菲律宾”两个具体的国家名称，其它显示为“国家名”。用户可以通过下拉菜单快速选择所需的国家名称。
+
+#### 检索结果
+法务查询者可根据国际小超人钉钉小程序UI上的滚筒切换业务线
+![检索结果](3.png)
+这张图片展示了一个移动应用的界面，界面标题为“法律意见详情”。用户可以根据具体情况切换业务线。界面中有多个字段，包括“国家名称”、“国家情况描述”、“业务线”、“产品法规分析”和“签约主体”。第一张截图显示了详细的法律情报信息，包含区域名称、区域情况描述、业务线和产品法规概述等字段。第二张截图显示了“法律意见详情”界面，其中列出了国家名称、国家情况描述、业务线、产品法规分析和签约主体。第三张截图与第二张相似，但显示了选项的可选择状态。最下方有“取消”和“确定”的按钮。
+法务查询者从国家详情中的业务线名列表中选出要查看的业务线。
+
+#### 查看法律意见详情
+国际小超人钉钉小程序用国家代码和业务代码做参数，查询法律意见详情，然后将法律意见详情展示给法务查询者。

tests/data/embedding/2.query.md

@@ -0,0 +1 @@
+业务线UI有哪些操作？

tests/data/embedding/3.answer.md

@@ -0,0 +1,7 @@
+国家/区域导游详情 & 法律意见详情 查询
+Description：根据国家code查询国家/区域导游信息详情
+ID: 8
+HTTP METHOD: GET
+Endpoint: /contract/country/navigate.json
+Input Parameters: |名称|描述|类型(长度)|必选|备注| | :- | :- | :-: | :- | :- | |countryCode|国家code|string|√||
+Returns: |名称|描述|类型(长度)|必选|备注| | :- | :- | :-: | :- | :- | |success|业务处理成功true，否则false|boolean|√|只判断这个属性即可| |message|错误信息，可以用来提示|string|√|| |code|返回状态码|string|√|| |data|国家/区域导游详情|object|√|| |-> country||||| |-> -> id|id|integer|√|| |-> -> country|国家code|string|√|| |-> -> countryName|国家中文名称|string|√|| |-> -> countryNameEn|国家英文名称|string|√|| |-> -> content|国家导游中文详情json数组，具体格式见下示例|list of object|√|| |-> -> -> title|标题|object|√|| |-> -> -> -> title|中文标题|string||| |-> -> -> -> titleEn|英文标题|string||| |-> -> -> contentList|标题下面的文字描述列表|list of object|√|| |-> -> -> -> detail|内容中文详情|string|√|| |-> -> -> -> detailEn|内容英文详情|string|√|| |-> -> -> -> url|超链接|string||| |-> legal|法务信息|object||| |-> -> country|国家code|string|√|| |-> -> businessList|业务线列表|list of object||| |-> -> -> id|id|integer||新增时不传，修改时传递| |-> -> -> business|业务线code|string|√|| |-> -> -> businessName|业务线中文名称|string|√|| |-> -> -> businessNameEn|业务线英文名称|string|√|| |-> -> -> content|业务线json，具体如下|object|√|| |-> -> -> -> detailEn|具体的详情英文内容|string|√|| |-> -> -> -> detail|具体的详情内容|string|√||

tests/data/embedding/3.knowledge.md

@@ -0,0 +1,189 @@
+## Interfaces
+- 用户登录
+  - Description: 用户从小程序/微应用发起请求，需要验证用户的合法身份才能正常处理。
+  - ID: 1
+  - HTTP METHOD: GET
+  - Endpoint: `/sup/login.json`
+  - Input Parameters:
+    |名称|描述|类型(长度)|必选|备注|
+    | :- | :- | :-: | :- | :- |
+    |authCode|用户临时免登授权码|String(64)|√||
+    |loginTypeEnum|登录类型|String(20)|√||
+    |authCorpId|用户所在企业/组织id|String(64)||微应用免登时传递|
+    |app|应用标识|String(3)|√||
+  - Returns:
+    |名称|描述|类型(长度)|必选|备注|
+    | :- | :- | :-: | :- | :- |
+    |success|业务处理成功与否，成功true，否则false|boolean|√|只判断这个属性即可|
+    |message|错误信息，可以用来提示|string|√||
+    |code|返回状态码|string|√||
+    |data|用户的sessionId|string|√||
+- 根据sessionId查询用户详细信息
+  - Description: 查询当前用户的详细信息，如 staffId，unionId，name，avatar等信息
+  - ID: 2
+  - HTTP METHOD: GET
+  - Endpoint: `/sup/user.json`
+  - Input Parameters:
+    |名称|描述|类型(长度)|必选|备注|
+    | :- | :- | :-: | :- | :- |
+    |NDA_SESSION|用户sessionId|String(64)|√||
+  - Returns:
+    |名称|描述|类型(长度)|必选|备注|
+    | :- | :- | :-: | :- | :- |
+    |success|业务处理成功与否，成功true，否则false|boolean|√|只判断这个属性即可|
+    |message|错误信息，可以用来提示|string|√||
+    |code|返回状态码|string|√||
+    |data|用户的详细信息|object|√||
+    |-> corpId|当前用户企业 钉钉ID(小程序端会拿不到该信息)|string|√||
+    |-> corpName|当前用户企业名称(小程序端会拿不到该信息)|string|√||
+    |-> staffId|员工在当前企业内的唯一标识，也称staffId(小程序端会拿不到该信息)|string|√||
+    |-> unionId|员工在当前开发者企业账号范围内的唯一标识，系统生成，固定值，不会改变。|string|√||
+    |-> name|当前用户的名称(小程序端会拿不到该信息)|string|√||
+    |-> avatar|头像图片URL|string|√||
+- 查询国家情况描述
+  - Description: 根据国家code查询国家情况描述
+  - ID: 3
+  - HTTP METHOD: GET
+  - Endpoint: `/sup/country/detail.json`
+  - Input Parameters:
+    |名称|描述|类型(长度)|必选|备注|
+    | :- | :- | :-: | :- | :- |
+    |countryCode|国家code|string|√||
+  - Returns:
+    |名称|描述|类型(长度)|必选|备注|
+    | :- | :- | :-: | :- | :- |
+    |success|业务处理成功true，否则false|boolean|√|只判断这个属性即可|
+    |message|错误信息，可以用来提示|string|√||
+    |code|返回状态码|string|√||
+    |data|国家情况描述|object|√||
+    |-> id|id|integer|√||
+    |-> countryName|国家名称|string|√||
+    |-> countryCode|国家code|string|√||
+    |-> detail|产品法规分析|string|√||
+- 查询产品法规分析（法律意见详情）
+  - Description: 根据国家和业务线查询产品法规分析
+  - ID: 4
+  - HTTP METHOD: GET
+  - Endpoint: `/sup/legal/detail.json`
+  - Input Parameters:
+    |名称|描述|类型(长度)|必选|备注|
+    | :- | :- | :-: | :- | :- |
+    |countryCode|国家code|string|√||
+    |businessCode|业务线code|string|√||
+  - Returns:
+    |名称|描述|类型(长度)|必选|备注|
+    | :- | :- | :-: | :- | :- |
+    |success|业务处理成功true，否则false|boolean|√|只判断这个属性即可|
+    |message|错误信息，可以用来提示|string|√||
+    |code|返回状态码|string|√||
+    |data|法律意见详情|object|√||
+    |-> id|id|integer|√||
+    |-> countryName|国家名称|string|√||
+    |-> countryCode|国家code|string|√||
+    |-> businessLine|业务线|string|√||
+    |-> businessCode|业务线code|string|√||
+    |-> detail|产品法规分析|string|√||
+    |-> signEntity|签约主体|string|√||
+- 查询法律意见总数
+  - Description: 法律意见总数查询
+  - ID: 5
+  - HTTP METHOD: GET
+  - Endpoint: `/sup/legal/count.json`
+  - Input Parameters:
+    |名称|描述|类型(长度)|必选|备注|
+    | :- | :- | :-: | :- | :- |
+  - Returns:
+    |名称|描述|类型(长度)|必选|备注|
+    | :- | :- | :-: | :- | :- |
+    |success|业务处理成功true，否则false|boolean|√|只判断这个属性即可|
+    |message|错误信息，可以用来提示|string|√||
+    |code|返回状态码|string|√||
+    |data|总数|integer|√||
+- 查询所有国家和业务线信息列表
+  - Description: 查询所有国家和业务线信息列表
+  - ID: 6
+  - HTTP METHOD: GET
+  - Endpoint: `/sup/legal/country/list.json`
+  - Input Parameters:
+    |名称|描述|类型(长度)|必选|备注|
+    | :- | :- | :-: | :- | :- |
+  - Returns:
+    |名称|描述|类型(长度)|必选|备注|
+    | :- | :- | :-: | :- | :- |
+    |success|业务处理成功true，否则false|boolean|√|只判断这个属性即可|
+    |message|错误信息，可以用来提示|string|√||
+    |code|返回状态码|string|√||
+    |data|所有数据列表|list of object|√||
+    |-> country|国家code|string|√||
+    |-> business|业务线code|string|√||
+    |-> dataType|数据类型|string|√||
+    |-> businessName|业务线名|string|√||
+    |-> countryName|国家名|string|√||
+    |-> businessNameEn|业务线名(英文)|string|√||
+- 调用法务中台antlaw接口
+  - ID: 7
+- 国家/区域导游详情 & 法律意见详情 查询
+  - Description：根据国家code查询国家/区域导游信息详情
+  - ID: 8
+  - HTTP METHOD: GET
+  - Endpoint: `/contract/country/navigate.json`
+  - Input Parameters:
+    |名称|描述|类型(长度)|必选|备注|
+    | :- | :- | :-: | :- | :- |
+    |countryCode|国家code|string|√||
+  - Returns:
+    |名称|描述|类型(长度)|必选|备注|
+    | :- | :- | :-: | :- | :- |
+    |success|业务处理成功true，否则false|boolean|√|只判断这个属性即可|
+    |message|错误信息，可以用来提示|string|√||
+    |code|返回状态码|string|√||
+    |data|国家/区域导游详情|object|√||
+    |-> country|||||
+    |-> -> id|id|integer|√||
+    |-> -> country|国家code|string|√||
+    |-> -> countryName|国家中文名称|string|√||
+    |-> -> countryNameEn|国家英文名称|string|√||
+    |-> -> content|国家导游中文详情json数组，具体格式见下示例|list of object|√||
+    |-> -> -> title|标题|object|√||
+    |-> -> -> -> title|中文标题|string|||
+    |-> -> -> -> titleEn|英文标题|string|||
+    |-> -> -> contentList|标题下面的文字描述列表|list of object|√||
+    |-> -> -> -> detail|内容中文详情|string|√||
+    |-> -> -> -> detailEn|内容英文详情|string|√||
+    |-> -> -> -> url|超链接|string|||
+    |-> legal|法务信息|object|||
+    |-> -> country|国家code|string|√||
+    |-> -> businessList|业务线列表|list of object|||
+    |-> -> -> id|id|integer||新增时不传，修改时传递|
+    |-> -> -> business|业务线code|string|√||
+    |-> -> -> businessName|业务线中文名称|string|√||
+    |-> -> -> businessNameEn|业务线英文名称|string|√||
+    |-> -> -> content|业务线json，具体如下|object|√||
+    |-> -> -> -> detailEn|具体的详情英文内容|string|√||
+    |-> -> -> -> detail|具体的详情内容|string|√||
+- 国家/区域导游列表分页查询
+  - Description: 分页查询国家/区域列表
+  - ID: 9
+  - HTTP METHOD: GET
+  - Endpoint: `/contract/country/list.json`
+  - Input Parameters:
+    |名称|描述|类型(长度)|必选|备注|
+    | :- | :- | :-: | :- | :- |
+    |pageSize|分页大小|integer|√|>=1|
+    |pageNum|分页大小|integer|√|>=1|
+    |country|国家code|string|||
+    |business|业务线code|string|||
+  - Returns:
+    |名称|描述|类型(长度)|必选|备注|
+    | :- | :- | :-: | :- | :- |
+    |success|业务处理成功true，否则false|boolean|√|只判断这个属性即可|
+    |message|错误信息，可以用来提示|string|√||
+    |code|返回状态码|string|√||
+    |data|国家/区域导游详情|list of object|√||
+    |-> id|id|integer|√||
+    |-> country|国家code|string|√||
+    |-> countryName|国家中文名称|string|√||
+    |-> countryNameEn|国家英文名称|string|√||
+    |-> gmtCreate|创建时间|string|√||
+    |-> gmtModified|更新时间|string|√||
+    |total|数据总量|integer|√||

tests/data/embedding/3.query.md

@@ -0,0 +1 @@
+根据国家code查询国家业务线列表

tests/metagpt/rag/test_large_pdf.py

@@ -0,0 +1,55 @@
+import pytest
+
+from metagpt.config2 import Config
+from metagpt.const import TEST_DATA_PATH
+from metagpt.rag.engines import SimpleEngine
+from metagpt.rag.factories.embedding import RAGEmbeddingFactory
+from metagpt.utils.common import aread
+
+
+@pytest.mark.skip
+@pytest.mark.parametrize(
+    ("knowledge_filename", "query_filename", "answer_filename"),
+    [
+        (
+            TEST_DATA_PATH / "embedding/2.knowledge.md",
+            TEST_DATA_PATH / "embedding/2.query.md",
+            TEST_DATA_PATH / "embedding/2.answer.md",
+        ),
+        (
+            TEST_DATA_PATH / "embedding/3.knowledge.md",
+            TEST_DATA_PATH / "embedding/3.query.md",
+            TEST_DATA_PATH / "embedding/3.answer.md",
+        ),
+    ],
+)
+@pytest.mark.asyncio
+async def test_large_pdf(knowledge_filename, query_filename, answer_filename):
+    Config.default(reload=True)  # `config.embedding.model = "text-embedding-ada-002"` changes the cache.
+
+    engine = SimpleEngine.from_docs(
+        input_files=[knowledge_filename],
+    )
+
+    query = await aread(filename=query_filename)
+    rsp = await engine.aretrieve(query)
+    assert rsp
+
+    config = Config.default()
+    config.embedding.model = "text-embedding-ada-002"
+    factory = RAGEmbeddingFactory(config)
+    embedding = factory.get_rag_embedding()
+    answer = await aread(filename=answer_filename)
+    answer_embedding = await embedding.aget_text_embedding(answer)
+    similarity = 0
+    for i in rsp:
+        rsp_embedding = await embedding.aget_query_embedding(i.text)
+        v = embedding.similarity(answer_embedding, rsp_embedding)
+        similarity = max(similarity, v)
+
+    print(similarity)
+    assert similarity > 0.9
+
+
+if __name__ == "__main__":
+    pytest.main([__file__, "-s"])

tests/metagpt/tools/libs/test_index_repo.py

@@ -0,0 +1,32 @@
+import shutil
+
+import pytest
+
+from metagpt.const import DEFAULT_WORKSPACE_ROOT, TEST_DATA_PATH
+from metagpt.tools.libs.index_repo import IndexRepo
+
+
+@pytest.mark.asyncio
+@pytest.mark.parametrize(("path", "query"), [(TEST_DATA_PATH / "requirements", "业务线")])
+async def test_index_repo(path, query):
+    index_path = DEFAULT_WORKSPACE_ROOT / ".index"
+    repo = IndexRepo(persist_path=str(index_path), root_path=str(path), min_token_count=0)
+    await repo.add([path])
+    await repo.add([path])
+    assert index_path.exists()
+
+    rsp = await repo.search(query)
+    assert rsp
+
+    repo2 = IndexRepo(persist_path=str(index_path), root_path=str(path), min_token_count=0)
+    rsp2 = await repo2.search(query)
+    assert rsp2
+
+    merged_rsp = await repo.merge(query=query, indices_list=[rsp, rsp2])
+    assert merged_rsp
+
+    shutil.rmtree(index_path)
+
+
+if __name__ == "__main__":
+    pytest.main([__file__, "-s"])