联系方式:0371-4502269
文章来源:青柏 时间:2025-02-18
您能否逢到过如许的环境:辛辛劳苦开辟的 AI Agent 俄然得灵了,却没有晓得是哪一个枢纽出了题目?即日给家人们瓜分1停怎样让 AI Agent 的运转进程透后化。
为何要监控 AI Agent?守旧的对于话体系便像1弛事后绘佳的天图,用户只可依照既定道路进步。而 AI Agent 则像是一名灵动的背导,可以凭据用户的需要及时筹办道路。
但这类灵动性也带去了新的题目:
Agent 的决定进程变得易以逃踪本能题目没法神速定位缺欠缘故易以排查用 AI Agent 而不干佳监控,便像受着眼睛启车一致伤害。
普通要监控哪些内乱容?正在 AI Agent 的运转进程中,罕见的少少关头目标以下:
计划链道
Agent 采纳了哪些举动?每一个计划的根据是甚么?功能目标
呼应推迟资本斲丧挪用乐成率输出输入
用户输出的详细内乱容体系的呼应了局中央步调的数据真战:怎样完成 Agent 监控?即日尔们以 HuggingFace 的 SmolAgents 为例,先容怎样应用 OpenTelemetry 兑现监控。
1. 境遇打算起首装置需要的包:
pip install smolagentspip install arize-phoenix opentelemetry-sdk opentelemetry-exporter-otlp openinference-instrumentation-smolagents2. 设置监控加添以停代码去始初化监控:
fromopentelemetryimporttracefromopentelemetry.sdk.traceimportTracerProviderfromopentelemetry.sdk.trace.exportimportBatchSpanProcessorfromopeninference.instrumentation.smolagentsimportSmolagentsInstrumentorfromopentelemetry.exporter.otlp.proto.http.trace_exporterimportOTLPSpanExporterendpoint ="http://0.0.0.0:6006/v1/traces"trace_provider = TracerProvider()trace_provider.add_span_processor(SimpleSpanProcessor(OTLPSpanExporter(endpoint)))SmolagentsInstrumentor().instrument(tracer_provider=trace_provider)底下是1个复杂的气象看望 Agent 示例:
fromtypingimportOptionalfromsmolagentsimportTransformersModel, toolfromsmolagents.agentsimportCodeAgent, ToolCallingAgentmodel = TransformersModel(model_id="HuggingFaceTB/SmolLM2-1.7B-Instruct", device_map="auto", max_new_tokens=1000)@tooldefget_weather(location: str, celsius: Optional[bool] = False)-> str: """获得指定所在的气候疑息""" return"以后气象光明,暖度 20°C"agent = ToolCallingAgent(tools=[get_weather], model=model)result = agent.run("北京这日天色怎样?")4. 检查监控数据运转后,尔们能够正在监控里板中瞧到:
Agent 的完备挪用链道每一个步调的耗时输出输入概况资本应用环境能够深刻每次输出检查完备疑息。
正在本质运用中,要支配佳监控的"度"。
保留1个适可而止的粒度,既要能即时发觉题目,又没有能让监控自身成为体系的肩负。习见要点存眷的几个关头目标:呼应时光、缺陷率战资本应用环境。当那些目标呈现同常时,例如呼应鲜明变缓或者缺欠俄然增加,每每表示着体系呈现了题目。
末了是建树公道的告警体制。当体系呈现同常时,不妨第偶尔间感知到。