ตัวกรองจับสแปมได้ 99% ทำไมเมลปกติยังถูกกัก?

* รูปภาพใช้เพื่อประกอบเนื้อหาเท่านั้น อาจไม่ใช่ภาพเหตุการณ์จริงหรือภาพจริงจากเรื่องในบทความ

กล่องสแปมมีทั้งโฆษณาที่ไม่เคยสมัครกับอีเมลยืนยันนัดที่กำลังรออยู่ พอเมลปกติถูกกัก เราต้องเปิดกล่องนั้นมาหาเอง ตัวกรองที่บอกว่าจับสแปมได้ 99% ทำไมยังแยกผิดได้?

ก่อนมอง 99% ต้องถามว่าหารด้วยอะไร ตัวเลขนี้อาจหมายถึงสัดส่วนสแปมที่ระบบจับได้ แต่อีกคำถามคือในเมลที่ถูกกัก มีขยะจริงกี่ฉบับ คำตอบหลังขึ้นกับ อัตราฐานของสแปม หรือสัดส่วนจดหมายขยะก่อนคัดด้วย

ลองสมมติว่ามีอีเมลเข้ามา 10,000 ฉบับ ในจำนวนนี้เป็นสแปม 1% หรือ 100 ฉบับ ที่เหลือ 9,900 ฉบับเป็นเมลปกติ ถ้าตัวกรองจับสแปมได้ 99% จะกักขยะไว้ 99 ฉบับ และปล่อยหลุดไปหนึ่งฉบับ

สมมติว่าระบบกักเมลปกติผิด 1% จาก 9,900 ฉบับจึงมี 99 ฉบับเข้าโฟลเดอร์สแปมผิด กล่องนั้นมี 198 ฉบับ: ขยะจริง 99 และเมลปกติ 99 หรือครึ่งต่อครึ่ง สัดส่วนขยะตั้งต้นเปลี่ยนคำตอบ

ถ้าสแปมตั้งต้นมี 10% ใน 10,000 ฉบับ ระบบจับได้ 990 จาก 1,000 และกักเมลปกติผิด 90 จาก 9,000 กล่องสแปมมี 1,080 ฉบับ โดย 990 เป็นขยะจริง หรือราว 91.7% อัตราจับและเตือนผิดยังเท่าเดิม แต่สัดส่วนขยะในกล่องต่างไป

หลักคิดนี้เรียกกฎของเบย์: หลังระบบแจ้งเตือน ต้องคิดทั้งโอกาสพบสแปมตั้งแต่แรกและโอกาสกักเมลปกติผิด การรู้แค่อัตราจับจึงยังบอกไม่ได้ว่าเมลหนึ่งฉบับในกล่องเป็นขยะจริงแค่ไหน

NIST Technical Note 2044 ยก Bogofilter เป็นกรณีศึกษา โดยค่าตั้งต้น คำที่พบครั้งเดียวในชุดฝึกและอยู่ในอีเมลสแปมได้คะแนน 0.991605 ผู้เขียนชี้ว่าข้อมูลน้อยอาจทำให้คะแนนดูหนักแน่นเกินหลักฐาน ผลนี้กล่าวถึง Bogofilter ที่ศึกษา ไม่ใช่ฟิลเตอร์ทุกระบบ

เวลาเห็นตัวเลขประสิทธิภาพ ให้ถามว่า 99% หมายถึงจับสแปมได้กี่ส่วน กักเมลปกติผิดกี่ส่วน หรือเมลที่ถูกกักเป็นขยะจริงกี่ส่วน เพราะแต่ละค่าใช้ฐานคำนวณคนละกลุ่ม ตัวอย่างนี้คำนวณจากสมมติฐาน ไม่ใช่ผลทดสอบกล่องจริง และเป็นเหตุผลว่าทำไมกล่องสแปมควรเปิดตรวจทาน