团队开发与上线
# UnitTest 单测
为了提高代码质量,将 Bug 尽早扼杀,这在大团队的开发实践中是有必要的,就程序 Bug 而言,一般包括
- 产品 PRD 流程上的
- 运营配置活动时候的
- 研发开发时功能实现的
- 测试验证时漏掉流程的
- 上线过程中运维服务相关配置的
通过规范的开发测试流程和研发经验扼杀 Bug,越早越好,单测是开发的最早一次测试
# Junit 单测
Maven 依赖(Junit5)
<dependency>
<groupId>org.junit.jupiter</groupId>
<artifactId>junit-jupiter</artifactId>
<version>5.8.2</version>
</dependency>
2
3
4
5
现在有这样一个需求,我需要对一个 Spring 的 Component 类 EncryptedTree 进行功能和性能测试
- 原则上,每个
@Test函数只测一个功能,所以需要对Junit的生命周期有一定了解(不能把一个完整流程写在一个函数中) - 另外,因为该类由 Spring 管理,初始化可以直接
@Autowired注入,但需要搭配SpringBootTest使用
Maven 依赖(Spring Boot Test)
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-test</artifactId>
</dependency>
2
3
4
新建类EncryptedTreeTest,并进行初始化,命名规范一般为类名 + Test
@SpringBootTest
public class EncryptedTreeTest {
@Autowired
private CsvReaderUtil csvReaderUtil;
@Autowired
private EncryptedTree TREE;
private List<List<String>> data;
@BeforeEach
public void setup(){
int dimension = 2, size = 5000;
TREE.init(dimension);
data = csvReaderUtil.readCsvWithRange("classpath:test_data/hi.csv", 0, dimension-1, size);
System.out.println(data.size());
}
}
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
其中
- CsvReaderUtil 同样是一个 Component,用以读入本地的 csv 文件并将结果存入内存
List<List<String>> data中 @BeforeEach将在当前类的所有@Test注解之前执行,完成加载测试数据的工作
Junit 生命周期
BeforeEach → Before → Test → After → AfterEach
# Golang 单测
单测覆盖率是重要的机检指标,在度子覆盖率必须达到 60% 才有合入的权限
单测命令
- go test 测试覆盖率
- go tool cover 生成覆盖率报告
go test -coverprofile=coverage.out ./... && go tool cover -html=coverage.out -o coverage.html
Comate 神力
@doclist.go L143-432 帮我写一份单测,需要覆盖到 @doclist.go L171-186 @doclist.go L171-186 @doclist.go L171-186 @doclist.go L171-186 @doclist.go L171-186 ,直接写在 doclist_test.go 中,尽量保持mock简单,我需要覆盖我UseSource的判断,其余的都可以mock为nil,覆盖完之后,随便找一个判空退出即可,包括什么redis,mysql连接,尽可能简单的mock,我只需要覆盖我的UseSource的判断即可
单测 service 功能代码,mock 掉想测试方法中使用到的其他函数,然后覆盖到指定行之后想办法 return 掉(比如在某个阶段返回一个 nil 直接 return)
// TestMultiDocList2023Main_PositionMultidocToPPT_MultipleCases 测试文档转PPT的多种场景
func TestMultiDocList2023Main_PositionMultidocToPPT_MultipleCases(t *testing.T) {
ctx := context.Background()
patch := gomonkey.NewPatches()
defer patch.Reset()
// 通用 mock 设置
patch.ApplyFunc(resource.LoggerService, func() logit.Logger {
return logit.NewSimple(os.Stderr)
})
patch.ApplyFunc(resource.Cipher, func() *fcrypt.Fcrypt {
return fcrypt.NewCipher()
})
patch.ApplyMethod(reflect.TypeOf(&fcrypt.Fcrypt{}), "FcryptHstr2Id", func(_ *fcrypt.Fcrypt, hstr string) (uint64, error) {
// 简单的映射:将字符串转为数字
idMap := map[string]uint64{
"doc_1": 1,
"doc_2": 2,
"doc_3": 3,
"doc_4": 4,
"doc_5": 5,
"doc_6": 6,
"doc_7": 7,
"doc_8": 8,
"doc_9": 9,
"doc_10": 10,
}
if id, ok := idMap[hstr]; ok {
return id, nil
}
return 0, errors.New("invalid id")
})
patch.ApplyFunc(multidoc.GetDocList, func(ctx context.Context, docIDs []uint64) (*gdoc.GetDocsByDocIDsResult, *gdoc.CheckMulProDocsResult) {
docs := make(map[uint64]gdoc.GetDocsByDocIDsItem)
proInfos := make(map[uint64]gdoc.CheckMulProDocsResultItem)
for _, docID := range docIDs {
docs[docID] = gdoc.GetDocsByDocIDsItem{
DocID: docID,
UID: 123456789,
Flag: wkconst.DocFlagUserUpload,
Price: 0,
}
proInfos[docID] = gdoc.CheckMulProDocsResultItem{
ProfessionalDoc: 0,
}
}
return &gdoc.GetDocsByDocIDsResult{
Docs: docs,
}, &gdoc.CheckMulProDocsResult{
ProInfos: proInfos,
}
})
patch.ApplyFunc(multidoc.GetSulaData, func(ctx context.Context, sceneID string) (*msgsula.SyncMRecallResult, error) {
return &msgsula.SyncMRecallResult{
Items: map[string]msgsula.MRecallResultItem{
multidoc.WKSulaConfID: {
Result: msgsula.RecallResult{
Items: []msgsula.RecallResultItem{{
Data: []byte(`{"multiDoc2PPT":{"multiDocSwitch":true,"photocopySwitch":false,"multiDocNum":10,"multiDocSize":52428800,"multiDocType":[]}}`),
}},
},
},
},
}, nil
})
// 测试用例
tests := []struct {
name string
buttonType string
indocs []any
checkFunc func(t *testing.T, result []any)
}{
{
name: "PositionMultidocToPPT_允许的文件类型_IsUsed应该为true",
buttonType: foldersearch.PositionFileToPPT,
indocs: []any{
doclist2023.AiForPcHomeItem{ShowDocID: "doc_1", Typ: 1, Size: 10 * 1024 * 1024}, // .doc - 允许
doclist2023.AiForPcHomeItem{ShowDocID: "doc_2", Typ: 4, Size: 10 * 1024 * 1024}, // .docx - 允许
doclist2023.AiForPcHomeItem{ShowDocID: "doc_3", Typ: 8, Size: 5 * 1024 * 1024}, // .txt - 允许
doclist2023.AiForPcHomeItem{ShowDocID: "doc_4", Typ: 20, Size: 5 * 1024 * 1024}, // .xmind - 允许
doclist2023.AiForPcHomeItem{ShowDocID: "doc_5", Typ: 21, Size: 5 * 1024 * 1024}, // .mm - 允许
},
checkFunc: func(t *testing.T, result []any) {
// 所有文档都会被返回,检查 IsUsed 字段
for i, item := range result {
doc := item.(doclist2023.AiForPcHomeItem)
if !doc.MultiDoc.IsUsed {
t.Errorf("case: 允许的文件类型, 第%d个文档 IsUsed 应为 true,实际为 false", i)
}
}
},
},
{
name: "PositionMultidocToPPT_不允许的文件类型_IsUsed应该为false",
buttonType: foldersearch.PositionFileToPPT,
indocs: []any{
doclist2023.AiForPcHomeItem{ShowDocID: "doc_6", Typ: 2, Size: 10 * 1024 * 1024}, // .xls - 不允许
doclist2023.AiForPcHomeItem{ShowDocID: "doc_7", Typ: 3, Size: 10 * 1024 * 1024}, // .ppt - 不允许
},
checkFunc: func(t *testing.T, result []any) {
// 不允许的文档也会被返回,但 IsUsed 为 false
for i, item := range result {
doc := item.(doclist2023.AiForPcHomeItem)
if doc.MultiDoc.IsUsed {
t.Errorf("case: 不允许的文件类型, 第%d个文档 IsUsed 应为 false,实际为 true", i)
}
// 检查是否设置了错误信息
if doc.MultiDoc.Msg == "" {
t.Errorf("case: 不允许的文件类型, 第%d个文档应设置 Msg", i)
}
t.Logf("case: 不允许的文件类型, doc_%d, IsUsed=%v, Msg=%s", i+6, doc.MultiDoc.IsUsed, doc.MultiDoc.Msg)
}
},
},
{
name: "PositionMultidocToPPT_文件大小超限_IsUsed应该为false",
buttonType: foldersearch.PositionFileToPPT,
indocs: []any{
doclist2023.AiForPcHomeItem{ShowDocID: "doc_9", Typ: 4, Size: 100 * 1024 * 1024}, // 超过50MB限制
},
checkFunc: func(t *testing.T, result []any) {
for _, item := range result {
doc := item.(doclist2023.AiForPcHomeItem)
if doc.MultiDoc.IsUsed {
t.Errorf("case: 文件大小超限, IsUsed 应为 false,实际为 true")
}
// 检查错误信息是否是大小超限
if doc.MultiDoc.Msg != multidoc.DocSizeErr {
t.Errorf("case: 文件大小超限, 应提示 DocSizeErr,实际为: %s", doc.MultiDoc.Msg)
}
t.Logf("case: 文件大小超限, IsUsed=%v, Msg=%s", doc.MultiDoc.IsUsed, doc.MultiDoc.Msg)
}
},
},
{
name: "PositionGenflow_支持更多格式_允许的文件类型",
buttonType: foldersearch.PositionGenflow,
indocs: []any{
doclist2023.AiForPcHomeItem{ShowDocID: "doc_1", Typ: 1, Size: 10 * 1024 * 1024}, // .doc - 允许
doclist2023.AiForPcHomeItem{ShowDocID: "doc_2", Typ: 2, Size: 10 * 1024 * 1024}, // .xls - 允许
doclist2023.AiForPcHomeItem{ShowDocID: "doc_3", Typ: 3, Size: 10 * 1024 * 1024}, // .ppt - 允许
doclist2023.AiForPcHomeItem{ShowDocID: "doc_4", Typ: 7, Size: 10 * 1024 * 1024}, // .pdf - 允许
doclist2023.AiForPcHomeItem{ShowDocID: "doc_5", Typ: 25, Size: 5 * 1024 * 1024}, // .png - 允许
doclist2023.AiForPcHomeItem{ShowDocID: "doc_5", Typ: 26, Size: 5 * 1024 * 1024}, // .jpg - 允许
doclist2023.AiForPcHomeItem{ShowDocID: "doc_5", Typ: 27, Size: 5 * 1024 * 1024}, // .jpeg - 允许
},
checkFunc: func(t *testing.T, result []any) {
for i, item := range result {
doc := item.(doclist2023.AiForPcHomeItem)
if !doc.MultiDoc.IsUsed {
t.Errorf("case: PositionGenflow 允许的文件类型, 第%d个文档 IsUsed 应为 true,实际为 false", i)
}
}
},
},
}
for _, tt := range tests {
t.Run(tt.name, func(t *testing.T) {
p := &multidoc.MultiDocNew{
UID: 123456789,
ButtonType: tt.buttonType,
MultiDocType: uint8(multidoc.MultiDocType2PPT),
}
result := p.MultiDocList2023Main(ctx, tt.indocs)
// 调用检查函数验证结果
tt.checkFunc(t, result)
t.Logf("%s: 完成,返回 %d 个文档", tt.name, len(result))
})
}
}
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
# 自测与联调
快速熟悉一个项目流程和审计的思路是一致的
- 配置环境把项目跑起来
- 浏览器直接打开控制台点击按钮监控网络请求,看打的什么接口
- 在对应项目的 route 中找到接口,一层层向下看接口实现逻辑
# Curl 测试
改完 proto 先重新生成 pb 文件(在 proto/web-server 目录下执行)
trpc create --protofile=web_server.proto --rpconly --alias --goversion=1.18
本地部署项目
go build -o main ./cmd/main.go
DEBUG=true ./main --local_config=true --config=cfg
2
启动后先探活,确认服务起来了再打业务接口
curl -i http://localhost:8080/health
没有前端页面时,直接构造 curl 把整条链路走通:先备好环境数据,再按接口约定的 header 与 body 发请求。
查看本机 ip
hostname -I
查询 CMS dnat 状态,确认转发规则是否下发成功
nft list ruleset | grep -A20 port2backend
清理 CVM 中的脏规则
nft delete element inet nat port2backend { 40008 }
从数据库挑一条 env 实例数据:状态 running,且 serverType 不是 vm 和 cvmContainer(这类才走 default 分支,触发目标逻辑)
SELECT
uid,
paasEnvironmentId,
environmentIp,
disableEniIp,
serverType,
status,
username
FROM devEnvironmentInstance
WHERE disableEniIp = 1
AND status = 'running'
AND environmentIp IS NOT NULL
AND environmentIp <> ''
AND serverType NOT IN ('vm', 'cvmContainer') -- 走 default 分支才会触发 ssh proxy 逻辑
LIMIT 10;
2
3
4
5
6
7
8
9
10
11
12
13
14
15
把 header 里的 staffname 换成 paasEnvironmentId 的前缀,body 按接口字段构造
curl -X POST http://21.214.96.51:8080/env/enableSsh \
-H "Content-Type: application/json" \
-H "staffname: weskerwang" \
-d '{
"envId": "evnIns-6kd8zjd4q2fm",
"keyName": "test-key-123",
"ideName": "VSCode",
"ideVersion": "1.0"
}'
curl -X POST http://localhost:8080/env/enableSsh \
-H "Content-Type: application/json" \
-H "staffname: whenleoshi" \
-d '{
"envId": "evnIns-603ic5kwth3o",
"keyName": "test-key-123",
"ideName": "VSCode",
"ideVersion": "1.0"
}'
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
要点
- 先
curl -i探活再打业务接口,能快速区分"服务没起来"和"逻辑不对" - curl 不带 cookie/session,靠
staffname这类自定义头模拟登录态 - 返回不符合预期时,先查转发规则(nft)再看业务日志,最后才怀疑代码
# Postman 测试
下载安装
- Download Postman | Get Started for Free (opens new window)
- Postman 使用教程:从基础到高级 - 测试小萌新一枚 - 博客园 (opens new window)
对常规的 HTTP 接口进行测试,基本流程
- 浏览器控制台,右键复制 cURL,通过 postman 导入请求
- 控制台复制请求 cookie,header 里添加 cookie 字段,打请求测试
我突然意识到,BurpSuite 可以完全取代这一功能,把包直接抓住,然后重放就可以了
一次抓包请求实战,现有功能支持上传 docx 文档而后生成 PPT,这一过程涉及文档的上传解析,存储到 Bos,而后 chat 流式接口请求生成 PPT 的 mcp 工具,mcp 工具根据 queryID 查出涉及的文档 fileID,从 Bos 中读出数据,调用下层策略接口实现 PPT 生成
- 文件上传并存储
- 文件解析并存储
- 生成 PPT
而我现在需要测试一个新的格式文档 .mm 的生成 PPT 的效果,这里请前端提供了一个半成品的接口,仅支持文件上传的功能,于是我们在页面上传本地的 .mm 文件,在控制台中监控网络搜索 file,发现有一个 pccompletefile 请求,返回
{
"status": {
"code": 0,
"msg": null
},
"data": {
"doc_id": "xxx"
}
}
2
3
4
5
6
7
8
9
这个 doc_id 正是我们所需的文件源格式,接口实现了文件的上传存储,并返回 bos 中对应的 doc_id
而后是文件的解析和存储,这里需要用到一个 filecreate 接口,是从正常的 docx 生成 PPT 的流程中抓到的包
将其 copy cURL 到 Postman,替换掉其中的 docID 字段为刚刚上传的 .mm 文件,并且复制浏览器的 cookie 到 header 里,发送请求,成功返回
{
"status": {
"code": 0,
"msg": "success",
"sLogin": "1505377885"
},
"data": {
"files":{
"url": "",
"downloadUrl": "",
"imgUrl": "",
"fileId": "file-18023115633",
"fileName": "安全技能树.mm"
}
}
}
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
好,我们发现了一个关键的返回 fileId,这似乎是 chat 接口的关键入参,但变数来了,我抓了 chat 接口的请求,看他的入参,发现并没有这个字段
{
"channel": "wenku_pc_genflow_v2",
"messages": [
{
"role": "user",
"content": "生成PPT"
}
],
"query_id": "b1754a33292942323968011ca300a6c30c22f1b3",
"extra": {
"disable_h5": true,
"wanpanAuthStatus": 1
},
"chat_id": "75cb06ead52fd15abe23482fb4daa58da2111c7a"
}
2
3
4
5
6
7
8
9
10
11
12
13
14
15
思路有点问题,于是我回头去看 filecreate 的入参
{
"chatId": "75cb06ead52fd15abe23482fb4daa58da2111c7a",
"queryId": "b1754a33292942323968011ca300a6c30c22f1b3",
"files": [
{
"docId": "522f9e4205f69e3143323968011ca300a6c3f60d",
"source": 2,
"title": "安全技能树"
}
],
"channel": "wenku_pc_genflow_v2"
}
2
3
4
5
6
7
8
9
10
11
12
发现二者的共同之处只有 chatId 和 queryId,于是我意识到,后端一定是根据相同的 chatId 或者 queryId(最后证实是 queryId)来找同一个对话里涉及到的文档,那么问题就简单了
我直接令 filecreate 和 chat 入参中的两个 id 一致,然后顺序打 filecreate 和 chat 接口,果然得到了想要的结果,后端正确解析了文档库里的 doc,并将其转化为 bdjson 存在 bos 里
而后,生成 ppt 的 mcp 工具从 bos 里拿到了这份 bdjson 并根据内容生成了 PPT,完美
# Swagger 接口文档
Swagger 是一款由 SmartBear Software 提供的致力于解决接口规范化、标准化、文档化的开源库,可以根据 resutful 风格生成接口开发文档,并且支持做测试的一款中间软件
Swagger 采用全注解方式侵入代码,后端定义好接口后,能够自动生成文档、接口功能和参数,并且提供接口测试的网页 UI
Maven 依赖
<!--引入swagger-->
<dependency>
<groupId>io.springfox</groupId>
<artifactId>springfox-swagger2</artifactId>
<version>2.7.0</version>
</dependency>
<dependency>
<groupId>io.springfox</groupId>
<artifactId>springfox-swagger-ui</artifactId>
<version>2.7.0</version>
</dependency>
2
3
4
5
6
7
8
9
10
11
在 Spring 中,注入 Swaager 的配置依赖
@Configuration
@EnableSwagger2
public class SwaggerConfig {
@Bean
public Docket productApi() {
return new Docket(DocumentationType.SWAGGER_2)
.apiInfo(apiInfo())
.select()
.apis(RequestHandlerSelectors.withMethodAnnotation(ApiOperation.class)) //添加ApiOperiation注解的被扫描
.paths(PathSelectors.any())
.build();
}
private ApiInfo apiInfo() {
return new ApiInfoBuilder().title(”swagger和springBoot整合“).description(”swagger 的 API 文档")
.version("1.0").build();
}
}
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
在 Controller 层代码中使用 Swagger 注解
@RestController
@Api(value = "电影Controller", tags = { "电影访问接口" })
@RequestMapping("/film")
public class FilmController {
@Autowired
private FilmService filmService;
/**
* 根据电影名字获取电影
*
* @param fileName
* @return
*/
@GetMapping("/getFilms")
@ApiOperation(value = "根据名字获取电影")
@ApiResponses(value = { @ApiResponse(code = 1000, message = "成功"), @ApiResponse(code = 1001, message = "失败"),
@ApiResponse(code = 1002, message = "缺少参数") })
public ResultModel getFilmsByName(@ApiParam("电影名称") @RequestParam("fileName") String fileName) {
if (StringUtils.isEmpty(fileName)) {
return CommonConstants.getErrorResultModel();
}
List<Film> films = filmService.getFilmByName(fileName);
if (!CollectionUtils.isEmpty(films)) {
return new ResultModel(films);
}
return CommonConstants.getErrorResultModel();
}
}
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
启动后,直接访问localhost:8080/swagger-ui.html就可以看到清晰的 API 测试界面
一些需要注意的点
- 对于只有一个
HttpServletRequest参数的方法,如果参数小于 5 个,推荐使用@ApiImplicitParams的方式单独封装每一个参数;如果参数大于 5 个,采用定义一个对象去封装所有参数的属性,然后使用@APiParam的方式 - 默认的访问地址:
ip:port/swagger-ui.html#/,但在 shiro 中会拦截所有的请求,必须加上默认访问路径(比如项目中,就是ip:port/context/swagger-ui.html#/),然后登陆后才可以看到 - 在 GET 请求中,参数在 Body 体里面,不能使用
@RequestBody;在 POST 请求,可以使用@RequestBody和@RequestParam,如果使用@RequestBody,对于参数转化的配置必须统一 - controller 必须指定请求类型 GET/POST,否则 swagger 会把所有的类型(6 种)都生成出来
- swagger 在生产环境不能对外暴露,可以使用
@Profile({"dev", "prod", "pre"})指定可用的环境
# Bug 日志排查
度子的古法日志查询
# 追代码链路
查询流程:首先找到对应代码位置
resource.LoggerService().Notice(ctx, "pptegent_outline_req_strategyparams", logit.AutoField("req", req))
通过 queryid 和日志信息 grep 查看日志信息
cat service.log.* | grep '313126566710330' | grep 'pptegent_outline_req_strategyparams'
在 192 行发现构造后的策略请求 req 信息如上,发现 bos_urls 为空,继续往上找(排查为什么为空),首先定位到 84 行的
resource.LoggerService().Notice(ctx, "outline params",
logit.AutoField("type", reqGenStream.OutlineGenType),
logit.AutoField("fileInfo", fileInfo),
logit.AutoField("params", params),
logit.AutoField("req", req),
logit.AutoField("extraReq", extraReq),
)
2
3
4
5
6
7
然后 grep
cat service.log.* | grep '313126566710330' | grep 'outline params'
发现 file_ids 不为空,因为这一步逻辑是根据 file_ids 解析出 bos_urls,所以问题出在 84-192 之间的解析,定位到 170 行
referContentURL := p.PPTPrepareReferContent(ctx, extraReq, params)
//参考资料
extraReferenceData := []pptagent.ExtraReferenceData{}
if len(referContentURL) > 0 {
//参考内容上传
extraReferenceData = append(extraReferenceData, pptagent.ExtraReferenceData{
BosURLs: []string{referContentURL},
//模型总结类的参考内容枚举值占位
FileSource: 10000,
DocType: "json",
})
}
extraParam.ReferenceData = extraReferenceData
extraParamStr, _ := json.Marshal(extraParam)
req.ExtraParams = string(extraParamStr)
2
3
4
5
6
7
8
9
10
11
12
13
14
15
p.PPTPrepareReferContent 实现 file_ids 到 bos_urls 的转换,那么这里只有两种情况
- file_ids 有问题,可能对应的内容为空
- 解析逻辑有问题,没有把对应的 bos_urls 正确返回
进一步排查 file_id 对应的元数据,通过类似的 curl 进行查询
curl --location 'http://pcyigouduty.wenku.baidu-int.com/wenchain/genflow/files/get' \
--header 'Content-Type: application/json' \
--data '{
"uid": 19055117,
"file_ids": [
"file-18112107028"
],
"chat_id_int": 275632796830323,
"channel": "wenku_na_genflow_v2"
}'
2
3
4
5
6
7
8
9
10
发现返回的 data 为 null
{
"status": {
"code": 0,
"msg": "success",
"sLogid": "967378622"
},
"data": null
}
2
3
4
5
6
7
8
应该就是这个问题了
# 追线上日志
先查错误日志,找到 uid
cat service.log.wf* | grep 'Convertparsesubmit'
看这个接口下游打到了哪,根据 uid 定位 ral 日志,找到对应的下游服务 caller_uri=/mindeditor/export 对应接口 10.41.90.91:2413
cd ../ral
grep -ri 2183944491 ral-worker.log
2
查看端口服务,找到对应服务名
hostname -i
10.41.90.91
xstp
1. PassLoginURL Pass登录连接
2. ShowCurrentDomain 展示个性化域名
3. StartEnv 启动容器服务
4. StopEnv 停止容器服务
5. RestartEnv 重启容器服务
6. RecoverEnv 重置容器环境
7. Adddeploy 单服务快速部署or移除
8. SwitchConf 环境配置切换
9. ResetConf 模块配置重置(目前只支持go模块)
10. PipelineQuickDeploy 集成流水线代码快速部署
11. ModuleQuickDeploy 模块代码快速部署
12. ConfBanOperation go配置部署封禁状态操作
13. RestartModule 单模块重启
14. LocalFamaInfoOP 本地fama信息服务
15. AllowNodePushCode 指定node允许临时推代码(部署node代码后会自动关闭)
16. NavipControl NA会员白名单账号添加/删除
17. InsatllTool 安装辅助工具
18. domain_check 检查环境域名状态or查看帮助文档
19. ShowModuleAddr 展示部署模块地址
请输入所要执行的命令index: 19
Api_address: http://10.41.90.91:2413
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
然后去找服务 api 的日志,根据 uid 查找
cd ~/go_modules/api/log/
grep -ri 2183944491 ral/ral-worker.log
# 查 http 日志
grep -ri 2183944491 access_log
# 查业务日志
grep -ri 2183944491 service/service.log
# 查错误日志
grep -ri 2183944491 service/service.log.wf
2
3
4
5
6
7
8
9
10
11
发现 userInfo 的内容为空,为什么为空?在 OnInit 里 userInfo 已经初始化了,在哪拿丢了?还需要继续追
线上日志查询:需要先申请中控机权限,通过中控机查预览机日志
ssh bjhw-sys-rpm1298.bjhw.baidu.com # 连接中控机
cd /home/work/opbin/pdo/
# 调用中控机 pdo 程序查日志
./pdo2 -bns group.gdp-pcapiai-debug.pandora.all -y -q -r 5 -show row "grep -i '2761865352' /home/work/odp/log/service/service.log " | grep -v "need jump" | grep -v "sshMatrix"
2
3
4
5
6
# Git 开发与发布
# Git 新手教程
# 绑定 ssh 密钥
命令行配置 git
git config --global user.name "northboat"
git config --global user.email "northboat@163.com"
2
生成 ssh 密匙
ssh-keygen -t rsa -C "northboat@163.com"
找到对应路径下的 id_rsa.pub,将公钥和对应的 Git 仓库绑定即可
# 常见报错码
报错码 10056:一般是这是因为服务器的 SSL 证书没有经过第三方机构的签署,所以才报错,使用以下命令接触 ssl 验证后再次 git 即可解决
git config --global http.sslVerify "false"
port 443 timed out:卡了
broken pipe:文件过大导致,git 默认文件大小小于等于 100MB,可修改缓存大小为 500MB 强行上传(不建议把 git 仓库当网盘)
git config http.postBuffer 52428800
# 提交描述规范
在提交代码时输入清晰的说明有利于版本管理,建议搭配如下关键字编写提交描述
# 新建(add)
# 删除(rm)
# 更新(update)
# 改动(change)
# 实现(feat)
# 发布(publish)
# 修复(fix)
...
2
3
4
5
6
7
8
当然,企业开发会有自己的一套规范,例如 icafe 卡片 id 加本次需求改动
# 分支冲突与合并
开发分支拉取主分支更新,这里需要解决拉取的主分支和本地分支冲突(如果有的话)
git checkout main
git pull
git checkout NorthBoat
git merge main # 把 main 合并到当前 NorthBoat 分支,main 可省略,默认为主分支
git push # 更新当前分支
2
3
4
5
主分支合并开发分支
git checkout main
git merge NorthBoat # 主分支合并 NorthBoat 分支
git push # 更新主分支
git checkout NorthBoat # 返回原分支
2
3
4
# 版本回退
撤销git add .
git reset .
回退到上一个版本并保存当前版本
git stash
# 查看保存的版本
git stash list
# 恢复到上个版本并删除上个版本保存
git stash pop
# 恢复到某个保存的某个版本
git stash apply stash@{版本id}
2
3
4
5
6
7
8
撤销本地提交:HEAD 一定要大写
# 撤销上次commit,但不撤销add
git reset --soft HEAD~1
git reset --soft HEAD~ # 二者等价
# 撤销上次commit和add
git reset HEAD~
2
3
4
5
6
本地版本回退
# 查看 commit_id
git log
# 回到到前两个版本
git reset --hard head~2
# 回到到指定版本
git reset --hard commit_id
2
3
4
5
6
7
两个人推一个仓库,同时拉取 A 版本,第一个人修改后提交 B 版本并推送到远程仓库,此时第二个人并不知晓这次推送,在修改 A 版本为 C 版本后进行推送时,就会发生冲突,那么此时就需要进行上述的版本回退
- 将本地仓库回退到 A 版本
- git pull 拉取最新的 B 版本
- 在 B 版本的基础上进行修改得到 C 版本
- 提交推送,则远程仓库将完成 A → B → C 的更新
# 添加 patch
一次推送有误,不想新建一次 commit 再次提交,可以使用git commit --amend将本次更新与上一次 commit 合并,即
git add .
git commit --amend
git push
2
3
这样远程仓库只会出现一次 commit,相当于给上一次 commit 打补丁
# 重置仓库
由于一个仅供展示、不需要追踪历史提交的 page 仓库每次 commit 需要大量的删除原有文件,导致 .git 文件膨胀很快,当 >200MB 时需要这样的重置操作
进入仓库目录
cd northboat.github.io
删除 .git
rm -rf .git
重新初始化仓库
git init
git branch -M main
git add .
git commit -m "reset pages repository"
2
3
4
重新关联远程仓库(覆盖式)
git remote add origin https://github.com/northboat/northboat.github.io.git
git push -f origin main
2
这里用 -f 是完全合理的,因为就是要“历史清零”,这是 Pages 仓库的标准重置姿势
- 结果就是:
.git体积变小几十 KB,其次所有历史提交全部清空,只剩下 1 次提交
# 锁定 git 分支
进入 .git 目录,找到 hooks 子目录
cd .git/hooks
创建一个名为 ”pre-commit” 的文件,这是一个Git钩子脚本,用于在每次提交之前执行
touch pre-commit
打开 "pre-commit" 文件,添加以下内容
#!/bin/sh
# 正确获取当前分支名称(原脚本缺少 $ 符号和反引号/括号包裹命令)
current_branch=$(git symbolic-ref HEAD | sed -e 's,.*/\(.*\),\1,')
# 锁定的分支名称(比如 master/main)
LOCKED_BRANCH="main"
if [ "$current_branch" = "$LOCKED_BRANCH" ]; then
echo "错误:禁止直接向 $LOCKED_BRANCH 分支提交代码!"
echo "请切换到功能分支开发,通过 PR/MR 合并。"
exit 1 # 非 0 退出码会阻止 commit 执行
fi
exit 0
2
3
4
5
6
7
8
9
10
11
12
13
14
15
以上脚本将锁定 Main 分支,在每次 add/commit 之前进行检查
为 "pre-commit" 文件添加可执行权限
chmod +x pre-commit
每当有人试图在被锁定的分支上进行提交时,"pre-commit" 钩子脚本将会检查当前分支名称:如果分支名称与你预先定义的名称不匹配,则会显示一条错误消息,并阻止提交
此时 Main 分支只能通过 PR/MR 合并进行更新,无法直接 git commit 更新
# Git 分支开发
一般而言,一次完成的变更流程如下
- 主仓库维护 master 分支和各类
release/版本号分支 - 每个 developer 自己 fork 仓库 checkout 自己的 feature 或 dev 分支,开发完需求后,再 merge 到主仓库的 release 分支
- merge 时,提 MR 请求,由 +1 或 +2 CR,给出评审意见,修改完后,上级 approve,再次解决冲突合入 release
- 真正的发布是 release 合入 master,这一步通常不由我来
# Baidu 分支开发
以百度的一次分支开发推送为例:我现有仓库 function 的分支创建权限,我以需求 ID 为分支名,以 master 为源分支创建我的开发分支 wk-web-61949
以开发分支创建开发环境,并在改分支上进行修改,修改完成后,把改动推送到分支
git add .
git commit -m "wk-web-61949 支持思维导图生成 PPT"
git push origin HEAD:refs/for/wk-web-61949 # 推送评审
2
3
而后会自动触发评审 CR,需要一个上级进行 +2,我才能彻底将改动推到我的开发分支。而后所有的提测都会在这个开发分支上进行,当联调通过后,则合入 master 分支,完成一次上线,也就是说,真正的需求迭代通过 master 合并开发分支实现,这就是所谓的分支发布
当 commit 了一次,还想要修改,但不改变 commit,可以使用 git commit --amend再git push -force强制推上去
- 这样两次修改只显示一次 commit 记录
- 但注意,如果是合了一次别人的代码,不应该隐去这段 commit,必须是全部是自己的提交,才适用这种提交
git commit --amend
自己的库,如果让 master 合并开发分支,可以使用以下命令
git checkout master
git merge feature_print_my_name_on_demo_app
# ... 解决冲突
# 更新主分支
git push origin HEAD:refs/for/master
2
3
4
5
# Tencent 分支开发
腾子的分支开发更加清爽
- 每次上线统一合到 release 分支,由 release 分支合入 master 完成一次变更
- 开发从 release 拉 feature 分支进行开发
- 开发完毕从 release 拉 personal 分支专门解决冲突(merge feature 分支)
- 最后提 personal 到 release 的 MR 完成功能合并
提代码 commit 规范
--sotry=tapd 需求单号 说明
--bug=tapd bug单号 说明
--other=其他说明
2
3
例如
--other=cvm enableSsh 超时时间增加到 8s
--story=134495465 无 ip 环境前端展示 ssh 连接入口
--story=134409094 支持通过 ssh 方式直连到无 IP Agent 容器
--other=写 redis sleep 100ms
2
3
4
打补丁
git add proto/web-server/apidocs.swagger.json proto/web-server/web_server.pb.go proto/web-server/web_server.trpc.go proto/web-server/web_server.pb.validate.go
git commit --amend --no-edit
git push --force-with-lease
2
3
4
5
冲突解决
- 朴素方法:直接 fetch 目标分支如 release/3.3.2,在本地开发分支 dev/saulxiong-ssh-proxy 解决冲突,然后提交到 dev/saulxiong-ssh-proxy 分支,然后合并到 release/3.3.2 分支
- mt 教的办法:不污染开发分支,新建 personal 分支 dev/saulxiong-3.3.2,源分支为 release/3.3.2,拉到本地后,去 merge 开发分支 dev/saulxiong-ssh-proxy,然后提交这个 persion 分支,再去请求合并到 release/3.3.2,这样开发分支是纯净的,所有的 merge 和 mr 都在这个新的 personal 分支上进行
常见评论
- LGTM: Looks Good To Me
- SGTM: Sounds Good To Me
- AFAIK: As Far As I Know
- WIP: Work In Progress
stash 和 stash pop 技巧
- 隐去 AI 注释:用 AI 生成所有函数的注释,看懂了之后直接
git stash,就可以隐去所有的 AI 注释,然后开始开发 - 保存开发状态:当发现问题了,可以先 stash 保存一版修改,从前一版本重新开始 coding
# 蓝绿发布
需求开发、测试、上线流程
- 需求分析与规划阶段(PM 主导):需求评审 → 需求冻结 → 技术评审 → 排期发布
- 开发阶段(RD 主导):开发 → 自测 → 联调
- 测试阶段:提测(RD 主导) → 测试 + Bug 解决(QA 主导)
- 上线阶段:上线(RD 主导) → 测试及回归(QA 主导)
度子的蓝绿机发布
- 预览机
- 华北单台
- 华北全流量
- 华东华南单台
- 华东全流量
- 华南全流量
- 后置任务
推全
- 推全之后,一定要狠狠观察流量监控 10-15 分钟,重点看是否存在激增的 panic 50X 报错,确认没问题后才能往后推,如果出现问题,第一时间撤销或回滚
- 上线完成之后由产品验收回归效果,度子的回归表现有的是用 xleaarn 模型去预测的,很有意思
腾子的发布不太一样,服务跑在四个集群上,逐步发布
- 服务 A 集群
- 服务 B 集群
- 灰度集群
- 熔灾集群
# Git Agent 仓库
是这样,我想做一个由 Agent 维护和使用的 Git 仓库,用于加速我的开发(替代我的简单需求开发),内容如下
- 一份开发 Skill
- 评审开发联调上线的方法论
- CodeGraph 的使用方法
- 一份仓库的 CodeGraph
这里涉及到 codegraph.db 的存储,这是一个大文件,使用 git lfs 大文件推送
# 1. 装 LFS(Mac,一次性)
brew install git-lfs
git lfs install
# 2. 跟踪根目录的 db
git lfs track ".codegraph/codegraph.db"
git add .gitattributes
# 3. 提交 + 推送
git add .codegraph/codegraph.db
git commit -m "feat: add codegraph index for AI agent"
git push origin maste
2
3
4
5
6
7
8
9
10
11
12
这里 codegraph 的默认查找位置就是 .codegraph/codegraph.db,所以放在这里面方便直接使用,这是节省 Token 的手段,用于代替全文 Grep