杭州程序员转行大模型应用开发，这份入门路线收好

城西科技园一家做工业软件的团队，去年把后端工程师小吴调去搞大模型应用。他原来写Java，对模型一窍不通。头一个月没碰模型，先花两周把公司客服日志、产品文档、工单库整理成干净文本——脏数据不洗干净，后面全白搭。

先选模型还是先想场景

别被忽悠了，很多人一上来就纠结用哪个大模型。小吴他们到头来按“贵精活本地跑、糙活上云”分了层：客户问答用云端大模型保质量，内部日志分类用开源小模型省成本。光这一条，每月推理账单从3.8万降到1.1万。准确率没掉，因为糙活本来也不需要多聪明。

提示词不是写诗。未来科技城一场内训里，讲师让学员把“帮我写个摘要”改成“用三句话总结下面工单的问题、已做动作、待办”，输出可用率从41%跳到88%。说白了，给模型边界，它才不瞎编。

评测比训练更费劲

滨江一家电商公司上线前建了二百条“考题”集，覆盖退货、物流、发票三类。每改一版提示词就跑一遍，分数低于90不让发。他们头版只拿72分，主要栽在“薅羊毛话术”识别上，补了十四条规则后到93。测试同学林楠说，没评测就上线，等于闭眼开车。

工程上得接住三件事：限流防刷、留痕可查、兜底转人工。余杭一家SaaS把每次调用都存了输入输出，出事能回放。系统稳定运行四个月，转人工率压在7%以内，平均首响0.9秒。小吴现在带两个新人，他给的第一条忠告是：先把“答不上来怎么办”想明白，再想“怎么答得漂亮”。

入门不用从头训模型。杭州这波开发者基本都站在开源和云服务肩膀上，关键能力是“把业务问题翻译成模型能懂的话”。临平一家创业公司三个月做出合同审查助手，核心代码不到两千行，省下的是法务每月约一百小时。

小吴提醒，别一上来就追求“全自主”。他们第一版就老老实实让人复核，跑满一千次对话才放开一半。现在系统每月省下约五百小时重复劳动，但他坚持保留“一键人工”按钮。杭州这行有个共识：能退回人工，才敢放心用模型。

还有个省钱细节：滨江那家电商把冷门问题缓存成知识卡，重复问直接调，调用量降了三成，账单又省一笔。小吴说，工程上的巧劲，往往比换模型更管用。新手常忽略这点，光盯着换更大的模型，结果成本翻倍、效果没多好。