Docker 中的 .NET 异常了怎么抓 Dump 每日动态
有很多朋友跟我说,在 Windows 上看过你文章知道了怎么抓 Crash, CPU爆高,内存暴涨 等各种Dump,为什么你没有写在 Docker 中如何抓的相关文章呢?瞧不上吗?
哈哈,在DUMP的分析旅程中,跑在 Docker 中的 .NET 占比真的不多,大概10个dump有 1-2 个是 docker 中的,市场决定了我的研究方向,为了弥补这一块的空洞,决定写一篇文章来分享下这三大异常下的捕获吧。
二:Docker 下的三大异常捕获1. crash dump 捕获前不久我写了一篇 Linux 上的 .NET 崩溃了怎么抓 Dump (https://www.cnblogs.com/huangxincheng/p/17440153.html)
的文章,使用了微软推荐的环境变量方式,其实这在 Docker 中是一样适用的。
(资料图片)
为了让 webapi
崩溃退出,我故意造一个栈溢出异常,参考代码如下:
public class Program { public static void Main(string[] args) { var builder = WebApplication.CreateBuilder(args); builder.Services.AddAuthorization(); var app = builder.Build(); app.UseAuthorization(); //1. crash Task.Factory.StartNew(() => { Test("a"); }); app.Run(); } public static string Test(string a) { return Test("a" + a.Length); } }
有了代码之后,接下来写一个 Dockerfile,主要就是把三个环境变量
塞进去。
FROM mcr.microsoft.com/dotnet/aspnet:6.0 AS runtimeWORKDIR /appCOPY ./ ./# 1. 使用中科大镜像源RUN sed -i "s/deb.debian.org/mirrors.ustc.edu.cn/g" /etc/apt/sources.listENV COMPlus_DbgMiniDumpType 4ENV COMPlus_DbgMiniDumpName /dumps/%p-%e-%h-%t.dmpENV COMPlus_DbgEnableMiniDump 1ENTRYPOINT ["dotnet", "AspNetWebApi.dll"]
这里有一个细节,为了能够让 Docker 中的 webapi 能够访问到,将 localhost 设置为 * ,修改 appsettings.json
如下:
{ "urls": "http://*:5001", "Logging": { "LogLevel": { "Default": "Information", "Microsoft.AspNetCore": "Warning" } }, "AllowedHosts": "*"}
有了这些基础最后就是 docker build & docker run 啦。
[root@localhost data]# docker build -t aspnetapp .[+] Building 0.3s (9/9) FINISHED => [internal] load build definition from Dockerfile 0.0s => => transferring dockerfile: 447B 0.0s => [internal] load .dockerignore 0.0s => => transferring context: 2B 0.0s => [internal] load metadata for mcr.microsoft.com/dotnet/aspnet:6.0 0.3s => [1/4] FROM mcr.microsoft.com/dotnet/aspnet:6.0@sha256:a2a04325fdb2a871e964c89318921f82f6435b54 0.0s => [internal] load build context 0.0s => => transferring context: 860B 0.0s => CACHED [2/4] WORKDIR /app 0.0s => CACHED [3/4] COPY ./ ./ 0.0s => CACHED [4/4] RUN sed -i "s/deb.debian.org/mirrors.ustc.edu.cn/g" /etc/apt/sources.list 0.0s => exporting to image 0.0s => => exporting layers 0.0s => => writing image sha256:be69203995c0e5423b2af913549e618d7ee8306fff3961118ff403b1359ae571 0.0s => => naming to docker.io/library/aspnetapp 0.0s[root@localhost data]# docker run -itd -p 5001:5001 --privileged -v /data2:/dumps --name aspnetcore_sample aspnetappca34c9274d998096f8562cbef3a43a7cbd9aa5ff2923e0f3e702b159e0b2f447[root@localhost data]# docker ps -aCONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMESca34c9274d99 aspnetapp "dotnet AspNetWebApi…" 20 seconds ago Exited (139) 9 seconds ago aspnetcore_sample[root@localhost data]# docker logs ca34c9274d99 ... at AspNetWebApi.Program.Test(System.String) at AspNetWebApi.Program.Test(System.String) at AspNetWebApi.Program.Test(System.String) at AspNetWebApi.Program.Test(System.String) at AspNetWebApi.Program+<>c.b__0_0() at System.Threading.Tasks.Task.InnerInvoke() at System.Threading.Tasks.Task+<>c.<.cctor>b__272_0(System.Object) at System.Threading.ExecutionContext.RunFromThreadPoolDispatchLoop(System.Threading.Thread, System.Threading.ExecutionContext, System.Threading.ContextCallback, System.Object) at System.Threading.Tasks.Task.ExecuteWithThreadLocal(System.Threading.Tasks.Task ByRef, System.Threading.Thread) at System.Threading.Tasks.Task.ExecuteEntryUnsafe(System.Threading.Thread) at System.Threading.ThreadPoolWorkQueue.Dispatch() at System.Threading.PortableThreadPool+WorkerThread.WorkerThreadStart() at System.Threading.Thread.StartCallback()[createdump] Gathering state for process 1 dotnet[createdump] Crashing thread 0017 signal 6 (0006)[createdump] Writing full dump to file /dumps/1-dotnet-ca34c9274d99-1687746929.dmp[createdump] Written 261320704 bytes (63799 pages) to core file[createdump] Target process is alive[createdump] Dump successfully written[root@localhost data2]# cd /data2[root@localhost data2]# ls -lntotal 255288-rw-------. 1 0 0 261414912 Jun 26 10:35 1-dotnet-ca34c9274d99-1687746929.dmp
上面的脚本已经写的非常清楚了,这里有几个注意点提一下:
--privileged一定要加上特殊权限,否则生成 dump 的时候会提示无权限。
-v /data2:/dumps防止dump丢失,记得挂载到宿主机目录 或者 共享容器 中。
2. 内存暴涨 dump 捕获要想对 docker 中的 .NET 程序内存 进行监控,我一直都是极力推荐 procdump
,目前最新的是版本是 1.5
, github官网地址: https://github.com/Sysinternals/ProcDump-for-Linux 鉴于现在访问 github 太慢,大家可以把 procdump_1.5-16239_amd64.deb
下载到本地,为什么下载它,是因为容器中是 debain 系统。
下载好了之后放到项目中,使用默认代码骨架:
public class Program { public static void Main(string[] args) { var builder = WebApplication.CreateBuilder(args); builder.Services.AddAuthorization(); var app = builder.Build(); app.UseAuthorization(); app.Run(); } }
接下来就是写 dockerfile 了,这里有一个细节,就是如何在 Docker 中开启多进程,这里用 start.sh 脚本的方式开启,参考代码如下:
FROM mcr.microsoft.com/dotnet/aspnet:6.0 AS runtimeWORKDIR /appCOPY ./ ./# 1. 使用中科大镜像源RUN sed -i "s/deb.debian.org/mirrors.ustc.edu.cn/g" /etc/apt/sources.list# 2. 安装 gdb & procdumpRUN apt-get update && apt-get install -y gdbRUN dpkg -i procdump.debRUN echo "#!/bin/bash \n\procdump -m 30 -w dotnet /dumps & \n\dotnet \$1 \n\" > ./start.shRUN chmod +x ./start.shENTRYPOINT ["./start.sh", "AspNetWebApi.dll"]
有了这些设置后,接下来就是 publish 代码用 docker 构建啦,为了方便演示,这里就用 前台模式
开启了哈。
[root@localhost data]# docker build -t aspnetapp .[+] Building 11.5s (13/13) FINISHED [root@localhost data]# docker rm -f aspnetcore_sampleaspnetcore_sample[root@localhost data]# docker run -it --rm -p 5001:5001 --privileged -v /data2:/dumps --name aspnetcore_sample aspnetappProcDump v1.5 - Sysinternals process dump utilityCopyright (C) 2023 Microsoft Corporation. All rights reserved. Licensed under the MIT license.Mark Russinovich, Mario Hewardt, John Salem, Javid HabibiSysinternals - www.sysinternals.comMonitors one or more processes and writes a core dump file when the processes exceeds thespecified criteria.[02:57:34 - INFO]: Waiting for processes "dotnet" to launch[02:57:34 - INFO]: Press Ctrl-C to end monitoring without terminating the process(es).Process Name: dotnetCPU Threshold: n/aCommit Threshold: >=30 MBThread Threshold: n/aFile Descriptor Threshold: n/aSignal: n/aException monitor OffPolling Interval (ms): 1000Threshold (s): 10Number of Dumps: 1Output directory: /dumps[02:57:34 - INFO]: Starting monitor for process dotnet (9)info: Microsoft.Hosting.Lifetime[14] Now listening on: http://[::]:5001info: Microsoft.Hosting.Lifetime[0] Application started. Press Ctrl+C to shut down.info: Microsoft.Hosting.Lifetime[0] Hosting environment: Productioninfo: Microsoft.Hosting.Lifetime[0] Content root path: /app/[02:57:35 - INFO]: Trigger: Commit usage:48MB on process ID: 9[createdump] Gathering state for process 9 dotnet[createdump] Writing full dump to file /dumps/dotnet_commit_2023-06-26_02:57:35.9[createdump] Written 254459904 bytes (62124 pages) to core file[createdump] Target process is alive[createdump] Dump successfully written[02:57:35 - INFO]: Core dump 0 generated: /dumps/dotnet_commit_2023-06-26_02:57:35.9[02:57:36 - INFO]: Stopping monitors for process: dotnet (9)[root@localhost data2]# ls -lhtotal 243M-rw-------. 1 root root 243M Jun 26 10:57 dotnet_commit_2023-06-26_02:57:35.9
从脚本信息看,当内存到了 48MB
的时候触发的 dump 生成,也成功的进入了 /dumps
目录中,太棒了。
抓 cpu 爆高的dump最好的方式就是多抓几个,比如说:当 CPU >20% 连续超过 5s 抓 2个dump,这种方式抓的dump很容易就能找到真凶,为了方便演示,让两个 cpu 直接打满,参考代码如下:
public static void Main(string[] args) { var builder = WebApplication.CreateBuilder(args); builder.Services.AddAuthorization(); var app = builder.Build(); app.UseAuthorization(); //3. cpu app.MapGet("/cpu", (HttpContext httpContext) => { Task.Factory.StartNew(() => { bool b = true; while (true) { b = !b; } }); Task.Factory.StartNew(() => { bool b = true; while (true) { b = !b; } }); return new WeatherForecast(); }); app.Run(); }
接下来就是修改 dockerfile,因为我的虚拟机是 8 核心,如果两个核心被打满,那应该会占用大概 24% 的 cpu 利用率,所以脚本中就设置 20% 吧。
FROM mcr.microsoft.com/dotnet/aspnet:6.0 AS runtimeWORKDIR /appCOPY ./ ./# 1. 使用中科大镜像源RUN sed -i "s/deb.debian.org/mirrors.ustc.edu.cn/g" /etc/apt/sources.list# 2. 安装 wgetRUN apt-get update && apt-get install -y gdbRUN dpkg -i procdump.debRUN echo "#!/bin/bash \n\procdump -c 20 -n 2 -s 5 -w dotnet /dumps & \n\dotnet \$1 \n\" > ./start.shRUN chmod +x ./start.shENTRYPOINT ["./start.sh", "AspNetWebApi.dll"]
最后就是 docker 构建。
[root@localhost data]# docker build -t aspnetapp .[+] Building 0.4s (13/13) FINISHED[root@localhost data]# docker run -it --rm -p 5001:5001 --privileged -v /data2:/dumps --name aspnetcore_sample aspnetappProcDump v1.5 - Sysinternals process dump utilityCopyright (C) 2023 Microsoft Corporation. All rights reserved. Licensed under the MIT license.Mark Russinovich, Mario Hewardt, John Salem, Javid HabibiSysinternals - www.sysinternals.comMonitors one or more processes and writes a core dump file when the processes exceeds thespecified criteria.[03:35:56 - INFO]: Waiting for processes "dotnet" to launch[03:35:56 - INFO]: Press Ctrl-C to end monitoring without terminating the process(es).Process Name: dotnetCPU Threshold: >= 20%Commit Threshold: n/aThread Threshold: n/aFile Descriptor Threshold: n/aSignal: n/aException monitor OffPolling Interval (ms): 1000Threshold (s): 5Number of Dumps: 2Output directory: /dumps[03:35:56 - INFO]: Starting monitor for process dotnet (8)info: Microsoft.Hosting.Lifetime[14] Now listening on: http://[::]:5001info: Microsoft.Hosting.Lifetime[0] Application started. Press Ctrl+C to shut down.info: Microsoft.Hosting.Lifetime[0] Hosting environment: Productioninfo: Microsoft.Hosting.Lifetime[0] Content root path: /app/
看输出是正在监控,接下来我们访问下网址: http://192.168.17.129:5001/cpu
,稍等片刻之后就会生成两个dump 文件。
虽然Docker中的 .NET 程序占比较少,但把经验总结出来还是很值得的,以后有人问怎么抓,可以把这篇文章直接丢过去啦!
标签:
推荐
- Docker 中的 .NET 异常了怎么抓 Dump 每日动态
- 王三毛:创作过程是与自己“战斗”|环球通讯
- 北京:端午节假期游客接待量及旅游收入均超2019年同期
- 离上市更近了!MG Cyberster亮相古德伍德速度节
- 焦点短讯!第三方充电器惹祸 女孩用iPhone 13充电被电击
- 环球动态:分期乐商城618累计订单量同比增长78% 年轻人成为消费复苏主力
- DuckDuckGo Windows网络浏览器已推出公测版可在冲浪时提供更多隐私 天天热头条
- 武汉男人功能不行是什么原因造成的_今日最新
- 【热闻】夏收现场 | 河北省小麦大规模机收作业基本结束
- 【当前热闻】成都爱尔周进院长解读近视手术前需要做哪些准备
- 海洋环境保护法修订草案拟规定:排污口责任主体应开展监控、自动监测 天天速读
- 草席要怎么洗_草席怎么洗
- 每日消息!6月20日LME基本金属注销仓单
- 严禁炒作“高考状元”!北京不公布排名前20名考生
- 甘肃百名人社局长“直播带岗”第二季启动 全球报道
- 天天热消息:苏州上海轨道交通互通 长三角核心城市加速深度同城化
- 最新快讯!北京市2023年普通高等学校招生录取最低控制分数线发布
- 汽车早报 | 日产对首席运营官古普塔开启调查程序 摩根大通预计汽车价格战将持续 环球时快讯
- 英伟达 RTX 40 公版显卡国内缺货、第三方加价,海外原价现货 世界通讯
- 视焦点讯!属猴人未来三年运势,80年猴今年运程 80年属猴未来几年运势
- 男优|焦点播报
- 天天速讯:张津瑜被侮辱,放过她!
- 全球快报:腋臭的原因 腋臭是什么引起的呢_腋臭的原因 腋臭是什么引起的
- 关于建立统一的城乡居民养老保险制度的意见_城乡统一养老保险
- 世界焦点!火龙果的功效与作用_火龙果上火还是降火
- 天天消息!小项目助力大民生——多元合作成就中巴友谊新标杆
- 赵继伟与辽宁矛盾曝光,为保郭艾伦面子,辽宁队拒绝提供5年顶薪
- 胜诉的江秋莲,连呼吸都被网暴
- 每日观点:金钱肉是什么肉(金钱肉)
- 美国遏制围堵将加速中国半导体产业链发展 精选
- 环球即时:广西乐业民众合唱传承近半世纪古歌
- 怀孕能吃香瓜吗(香瓜的营养价值有哪些)
- Lightning再见!代工厂确认iPhone 15用上USBC接口
- 二刷《消失的她》,原来还有这么多隐藏细节-微速讯
- 即时:「马嘉祺/宋亚轩X你」分开之后
- 炽热战地2外服官网_炽热战地2为什么停服
- 篮球也“狂飙”!江门高考学子三人篮球争霸赛火热开赛
- 北海劳动报酬纠纷律师收多少钱-播资讯
- 上海:房价有多贵,可以看上海16座城区房价分布|环球资讯
- 天天看点:外资回流 电子板块净买入额高达102.93亿元
- 古诗《敕勒歌》拼音版(敕勒歌加拼音古诗)
- 如图所示,用三根长度相同的绝缘细线_两个分别用长13cm的绝缘细线悬挂于同一点 世界速读
- 全球短讯!男子扇女子脸引争议
- 亚洲最强30座城市:新加坡强势领跑,成都第14,苏州击败利雅得-环球热推荐
- 渭南房屋遗产继承律师费用多少
- 小米10手机卡是大卡还是小卡
- 福彩3D第164期晒票,原地孤芳自赏,不如自由绽放
- 胃镜检查全过程_胃镜检查|资讯推荐
- 端午档票房突破5亿元 《消失的她》成为票房冠军
- 天天滚动:口袋鼓起来 脑袋富起来
- 次轮秀可能要比首轮秀还强?快船的操作有些令人感到无法理解?
- 高温四级应急响应启动!本轮高温是厄尔尼诺“惹祸”吗?|世界看热讯
- 有机化学 第二版_对于有机化学 第二版简单介绍
- 环球速看:丢人!中超8队申请亚洲比赛资格,3队落选,通过率不如印度越南
- 72亿!杭浦高速公路海盐联络线项目中标 环球今热点
- 天天通讯!【网络中国节·端午】古韵新潮 经典传续 合肥逍遥津蘧庄上演戏曲“盛宴”
- SEU41: 法尼娅北伐约塔兰,艾尔玛攻破斯塔德
- 环球简讯:最新!宁夏、吉林、江西公布2023高考分数线
- 【环球聚看点】国产 机甲动画_国产的机甲类动画有多少就说多少
- 【环球报资讯】定周县(关于定周县介绍)
- 死神十刃妮露_死神十刃
- 焦点报道:苹果手机无法连接apple pay(苹果手机无法连接网络)
- 高温橙色预警:北京、天津等地部分地区最高气温可达40℃_天天快讯
- 将于7月内上市 新款荣威i5官图发布 当前通讯
- 天天速看:5257e填写攻略_5257
- 天天观天下!体图:若诺伊尔确定重回一门索默想离队 拜仁出售努贝尔将带回购
- 暨南大学与伯明翰大学合作开办双学位硕士项目启动_报道
- 培黎职业学院学校代码是什么 培黎职业学院师资力量好不好
- 全球热讯:美国政府被起诉!美军燃油泄漏致数千人患病
- 英国央行宣布加息50个基点 为连续第13次加息
- 暑期装机性价比第一!这几款锐龙 7000 板 U 套装可别错过_世界新消息
- 视讯!“我要把农业技术带回家乡”——非洲留学生在华“学农”故事
- 如何提升执行力、落实力和工作效率_如何提高执行力 落实力 天天速看
- 机构:英国央行可能会谨慎行事?加息50个基点或导致风险_环球通讯
- 10月初9是什么星座(1985年农历10月初9是什么星座)-每日快播
- 今日聚焦!擦亮城市“流动名片”,宝山区开展车容车貌专项整治行动
- 玉兔捣药的故事英文版_玉兔捣药的故事
- “两江两村”体育赛事塑造乡村经济新范本
- 单丛茶属于什么茶红茶还是绿茶_单丛茶属于什么茶 今日最新
- 巴黎有建筑物猛烈爆炸并引起大火至少37人伤
- 针对中国,一场“疯狂骗局”在澳上演_全球快报
- 福州、合肥、贵阳等城市GDP增速超过130%,你还在等什么?|看点
- 我是非遗传承人|端午
- 环球快播:这名“女老大”为首犯罪团伙被摧毁,警方征集线索!
- 环球热消息:环渤海地区规模最大LNG项目一阶段投产
- 当前聚焦:双鱼男和天蝎女 天蝎女和处女男
- 有道精品课网页登录 有道精品课电脑版官网登录
- *ST榕泰实控人滞留“失联”,公司被申请重整,还面临股民索赔_环球头条
- lolap符文通用2022_lolap符文-世界观速讯
- 内马尔为出轨道歉:我犯了错误对不起 私事公开了道歉也应公开|世界热门
- 【全球聚看点】电脉冲是什么_电脉冲
- 【天天速看料】3周岁女孩身高体重_3周岁男孩身高体重标准
- 漯河市舞阳县:争创五星跑出加速度 ,绘就和美乡村新画卷!
- 2023上海浦东高校青年人才直通车招聘怎么报名-天天即时
- 世界速讯:温一职哪些专业好_温一职有哪些专业
- 进博会“新老朋友”组团赴云南觅商机 环球快看
- 蔚来CEO李斌称新能源购置税减免政策利好换电模式 焦点短讯
- 小公司内账需要财务软件吗_小公司内帐报表
- 天津印发中心城区高质量发展行动方案-世界热头条
- 新疆电力开发AI语音助理 为基层员工配备随身“智能助理” 焦点讯息
X 关闭
行业规章
X 关闭