نحوه طراحی یک آزمایش مقایسه ای برای ارزیابی عملکرد الگوریتم

هسته اصلی طراحی یک آزمایش مقایسه ای، کنترل یک متغیر واحد، پوشش سناریوهای اصلی، و کمی کردن تفاوت در نتایج است. یک فرآیند طراحی کامل و قابل اجرا به شرح زیر است:

I. آماده سازی آزمایش: شفاف سازی گروه بندی و کنترل متغیر

1. طراحی گروه بندی (اطمینان از کنترل واضح)

یک گروه کنترل پایه و یک گروه آزمایشی باید تشکیل شود. گروه های کنترلی اضافی را می توان در صورت نیاز اضافه کرد:

2. متغیرهای نامربوط را به شدت کنترل کنید (برای اطمینان از عدالت)

همه گروه‌ها برای حذف تداخل عوامل غیر الگوریتمی باید شرایط زیر را رعایت کنند:

سخت افزار کاملاً یکسان: یک جفت سنسور، محل نصب یکسان، همان PLC برای جمع آوری داده ها. بدون تغییر سخت افزاری

شرایط عملیاتی کاملاً یکسان: خط تولید یکسان، همان محصول، پارامترهای فرآیند مشابه. بدون تنظیمات فرآیند در طول آزمایش.

چرخه‌های آزمایش کاملاً یکسان: هر دو گروه باید مدت زمان آزمایش یکسانی داشته باشند (توصیه می‌شود حداقل 2 هفته به طور مداوم آزمایش شود تا چرخه‌های تولید کافی پوشش داده شود).

II. طراحی سه سناریو تست اصلی (شامل تمام ابعاد عملکرد)

سناریوهای طراحی شده به طور خاص برای تأیید جامع آلارم های کاذب، آلارم های از دست رفته و پایداری بلندمدت- الگوریتم:

1. آزمایش ضد تداخل تولید متعارف- (تأیید اصلی نرخ هشدار نادرست)

روش تست: تولید مداوم معمولی. آلارم های ایجاد شده توسط الگوریتم ثبت می شوند و صحت هر زنگ به صورت دستی تأیید می شود.

هدف آماری: دریافت میزان هشدار کاذب دو گروه و مقایسه کاهش پس از بهینه سازی.

معیارهای قضاوت: کاهش نرخ هشدار کاذب بیشتر یا مساوی 60 درصد در مقایسه با گروه کنترل پایه نشان‌دهنده بهینه‌سازی مؤثر است.

2. تست شبیه سازی خطای مصنوعی (تأیید نرخ منفی کاذب و سرعت پاسخ)

سه خطای معمول سنسور صنعتی به صورت مصنوعی شبیه سازی شده است که هر خطا سه بار آزمایش می شود:

3.-تست سازگاری طولانی مدت با پیری (تأیید ثبات طولانی مدت-)

روش تست: عملکرد مداوم به مدت 3 ماه بدون تنظیمات دستی پارامتر. نرخ هشدار نادرست ماهانه محاسبه می شود.

هدف آماری: محاسبه نرخ تغییر نرخ هشدار کاذب از مرحله اولیه به 3 ماه.

معیار عبور: نرخ تغییر نرخ هشدار نادرست الگوریتم جدید کمتر یا مساوی 2 درصد، به طور قابل توجهی کمتر از گروه کنترل پایه، قابل قبول در نظر گرفته می شود.

III. آمار داده ها و قضاوت نتایج

داده‌های آماری بر اساس روش‌های استاندارد برای نتیجه‌گیری واضح جمع‌آوری می‌شوند:

ضبط کامل داده‌های خام: همه آلارم‌ها در یک جدول ثابت ثبت می‌شوند، از جمله زمان، مرحله فرآیند، مقدار انحراف و اینکه آیا زنگ هشدار راه‌اندازی شده است یا خیر. اصالت زنگ به صورت دستی علامت گذاری شده است.

محاسبه شاخص های اصلی: آلارم های کاذب با استفاده از فرمول استاندارد محاسبه می شوند. نرخ تغییر در نرخ هشدار کاذب، نرخ منفی کاذب، متوسط ​​تاخیر پاسخ و نرخ هشدار نادرست

تعیین اهمیت: اگر نرخ هشدار نادرست الگوریتم جدید نسبت به خط پایه بیشتر یا مساوی 60 درصد کاهش یابد و نرخ منفی کاذب کمتر یا مساوی 1 درصد باشد، می توان مستقیماً تعیین کرد که عملکرد برتر است (سناریوی مهندسی به اندازه کافی دقیق است).

اگر تفاوت کم است، از تست مربع chi برای تأیید استفاده کنید: p<0.05 indicates that the difference is real and effective, and not a random fluctuation.

IV. اقدامات احتیاطی تجربی

سخت افزار و الگوریتم را به طور همزمان تغییر ندهید. فقط الگوریتم باید اصلاح شود. در غیر این صورت، نتایج قطعی نخواهد بود.

دوره آزمون نباید کمتر از یک هفته باشد. حجم نمونه خیلی کوچک منجر به خطاهای آماری می شود.

همه آلارم ها باید به صورت دستی تأیید شوند. برای جلوگیری از سوگیری آماری، مستقیماً از خروجی نتایج طبقه بندی توسط الگوریتم استفاده نکنید.