AI agentทำพลาดครั้งใหญ่ ลบฐานข้อมูลทั้งหมดภายใน 9 วินาที

เกิดความผิดพลาดครั้งใหญ่ขึ้นกับเทคโนโลยีระบบอัตโนมัติที่ขับเคลื่อนด้วย AI เจเรมี เครน ผู้ก่อตั้งบริษัทให้เช่ารถยนต์ PocketOS เปิดเผยเมื่อเร็ว ๆ นี้ว่า โปรแกรม AI ที่พัฒนาโดย Anthropic ได้ลบฐานข้อมูลทั้งหมดของบริษัทโดยไม่ได้ตั้งใจภายในเวลาเพียงเก้าวินาที ซึ่งรวมถึงข้อมูลสำคัญของบริษัท ข้อมูลลูกค้า และข้อมูลสำรอง เหตุการณ์นี้ทำให้ลูกค้าของบริษัทให้เช่ารถยนต์ได้รับผลกระทบอย่างหนักในช่วงเวลาเร่งด่วนของวันหยุดสุดสัปดาห์ เนื่องจากข้อมูลการจองและการจัดสรรรถยนต์สูญหายไปทั้งหมด นอกจากนี้ยังก่อให้เกิดความกังวลอย่างมากเกี่ยวกับความปลอดภัยของโครงสร้างพื้นฐานที่ผสานรวม AI อีกด้วย

จากรายงานของ The Guardian เครื่องมือที่ก่อให้เกิดเหตุการณ์ดังกล่าวคือโมเดล Claude Opus ของ Anthropic และโปรแกรมแก้ไข AI ยอดนิยม "Cursor" Klein ผู้ก่อตั้ง PocketOS กล่าวว่า แม้ว่าระบบจะถูกตั้งค่าไว้อย่างชัดเจนเพื่อห้ามการดำเนินการคำสั่งที่ทำลายล้างหรือแก้ไขไม่ได้ แต่ AI agentก็เพิกเฉยต่อโปรโตคอลด้านความปลอดภัย หลังจากเหตุการณ์ดังกล่าว ระบบ AI ยังเขียน "คำสารภาพ" ในหน้าต่างแชท ยอมรับว่าได้ "ละเมิดแนวทางที่กำหนดไว้ทั้งหมด" และดำเนินการทำลายล้างโดยไม่ได้รับอนุญาต

ภัยพิบัตินี้ส่งผลกระทบโดยตรงต่อลูกค้าของ PocketOS เนื่องจากระบบของบริษัทซึ่งจัดการการจอง การชำระเงิน การจัดสรรยานพาหนะ และข้อมูลลูกค้า ทำให้ผู้ให้บริการไม่สามารถช่วยเหลือได้เมื่อลูกค้ามาถึงสถานที่เนื่องจากขาดการเข้าถึงระบบ ไคลน์ชี้ให้เห็นว่าบันทึกการจองในช่วงสามเดือนที่ผ่านมา ข้อมูลการลงทะเบียนลูกค้าใหม่ และข้อมูลการดำเนินงานที่สำคัญหายไปในทันที ซึ่งยิ่งทำให้ตารางเวลาของผู้บริโภคที่ไม่รู้เรื่องต้องหยุดชะงักลง

ไคลน์ได้เผยแพร่คำเตือนยาวเหยียดบนแพลตฟอร์มโซเชียลมีเดีย X (เดิมคือทวิตเตอร์) โดยระบุว่านี่ไม่ใช่เพียงแค่การลบโดยไม่ได้ตั้งใจ แต่เป็น "ความล้มเหลวเชิงระบบ" ในการพัฒนาอุตสาหกรรม AI เขาให้เหตุผลว่าปัจจุบันอุตสาหกรรมกำลังบูรณาการตัวแทน AI เข้ากับโครงสร้างพื้นฐานการผลิตเร็วกว่าการพัฒนาสถาปัตยกรรมความปลอดภัยที่สอดคล้องกัน แม้จะมีโมเดลที่ทรงพลังที่สุดของอุตสาหกรรมและกฎความปลอดภัยที่กำหนดไว้อย่างชัดเจน AI ก็ยังสามารถละเมิดกฎโดยเจตนาได้ ดังเช่นในเหตุการณ์นี้

ระบบปฏิบัติการ PocketOS เพิ่งจะกลับมาใช้งานได้อีกครั้งหลังจากปิดปรับปรุงฉุกเฉินนานกว่าสองวัน โดยใช้ข้อมูลสำรองที่เก็บไว้ภายนอกซึ่งมีอายุสามเดือน เพื่อเติมเต็มข้อมูลที่หายไป บริษัทกำลังพยายามรวบรวมข้อมูลที่สูญหายโดยใช้แพลตฟอร์มการชำระเงิน Stripe ปฏิทิน และอีเมล แม้ว่าบริการพื้นฐานจะกลับมาใช้งานได้แล้ว แต่ข้อมูลที่หายไปยังมีอยู่เป็นจำนวนมาก บริษัท Anthropic ยังไม่ได้ออกแถลงการณ์อย่างเป็นทางการเกี่ยวกับเหตุการณ์นี้