تقول شركة ناشئة في مجال الذكاء الاصطناعي إن اختباراتها وجدت أن برامج الذكاء الاصطناعي التوليدية الشهيرة أنتجت محتوىً عنيفاً أو جنسياً، وإنها أيضاً سمحت بأتمتة الهجمات الإلكترونية.
محتوى جنسي وأسلحة كيميائية
وقالت شركة «هايز لابز (Haize Labs)» إنها عثرت على الآلاف من نقاط الضعف في برامج الذكاء الاصطناعي التوليدية الشهيرة، وأصدرت قائمة باكتشافاتها.
بعد اختبار برامج الذكاء الاصطناعي التوليدية الشائعة؛ بما فيها برنامج إنشاء الفيديو «Pika»، وبرنامج «ChatGPT» الذي يركز على النصوص، ومولد الصور «Dall-E»، ونظام الذكاء الاصطناعي الذي يولد رموز الكومبيوتر، اكتشفت «هايز لابز» أن كثيراً من الأدوات المعروفة تنتج محتوىً عنيفاً أو جنسياً، كما أنها وجهت مستخدميها إلى معلومات حول إنتاج أسلحة كيميائية وبيولوجية، وسمحت بأتمتة الهجمات السيبرانية.
و«هايز لابز» شركة ناشئة صغيرة عمرها 5 أشهر فقط أسسها ليونارد تانغ وستيف لي وريتشارد ليو، وهم 3 من الخريجين الجدد الذين التقوا جميعاً في الكلية. ونشروا بشكل جماعي 15 ورقة بحثية حول التعلم الآلي خلال وجودهم في الكلية.
ووصف تانغ تقرير «هايز» بأنه «اختبار إجهاد مستقل من طرف ثالث»، وقال إن هدف شركته هو المساعدة في استئصال مشكلات الذكاء الاصطناعي ونقاط الضعف على نطاق واسع.
معايير السلامة للذكاء الاصطناعي
وفي إشارة إلى إحدى كبريات شركات تصنيف السندات على سبيل المقارنة، قال تانغ إن «هايز» تأمل في أن تصبح «وكالة موديز للذكاء الاصطناعي» التي تحدد تصنيفات السلامة العامة للنماذج الشعبية.
تعدّ سلامة الذكاء الاصطناعي مصدر قلق مزداد؛ حيث تدمج مزيد من الشركات الذكاء الاصطناعي التوليدي في عروضها وتستخدم نماذج لغوية كبيرة في المنتجات الاستهلاكية.
أجوبة «خرافية»
وفي الشهر الماضي، واجهت «غوغل» انتقادات حادة بعد أن اقترحت أداتها التجريبية «AI Overviews»، التي تهدف إلى الإجابة عن أسئلة المستخدمين، أنشطة خطرة مثل تناول صخرة صغيرة واحدة يومياً أو إضافة الغراء إلى البيتزا.
وفي شهر فبراير (شباط) الماضي، تعرضت «شركة طيران كندا» لانتقادات شديدة عندما وعد برنامج الدردشة الآلي الخاص بها؛ المزود بتقنية الذكاء الاصطناعي، بخصم وهمي لأحد المسافرين. وقد دعا مراقبو الصناعة إلى إيجاد طرق أفضل لتقييم مخاطر أدوات الذكاء الاصطناعي.
«مع انتشار أنظمة الذكاء الاصطناعي على نطاق واسع، فسنحتاج إلى مجموعة أكبر من المؤسسات لاختبار قدراتها ومدى إساءة الاستخدام المحتملة أو مشكلات السلامة»؛ وفق ما نشر جاك كلارك، المؤسس المشارك لـ«شركة أبحاث الذكاء الاصطناعي والسلامة (أنثروبيك Anthropic)»، مؤخراً على موقع «إكسX».
برامج توليدية غير آمنة
وقال تانغ: «ما تعلمناه هو أنه على الرغم من كل جهود السلامة التي بذلتها هذه الشركات الكبرى والمختبرات الصناعية، فإنه لا يزال من السهل للغاية إقناع هذه النماذج بفعل أشياء ليس من المفترض أن تفعلها… إنها ليست آمنة».
ويعمل اختبار «هايز» على ممارسة محاكاة الإجراءات العدائية لتحديد نقاط الضعف في نظام الذكاء الاصطناعي. وقال غراهام نيوبيج، الأستاذ المشارك في علوم الكومبيوتر بـ«جامعة كارنيغي ميلون»، إن صناعة الذكاء الاصطناعي تحتاج إلى كيان مستقل للسلامة. وأضاف: «أدوات السلامة الخاصة بالذكاء الاصطناعي التابعة لجهات خارجية مسألة مهمة… إنها يجب أن تكون عادلة ومحايدة على حد سواء. كما يمكن أن تتمتع أداة الأمان التابعة لجهة خارجية بأداء أعلى فيما يتعلق بالتدقيق؛ لأنها أُنشئت بواسطة مؤسسة مختصة في ذلك، على عكس بناء كل شركة أدواتها المختصة».
استئصال الثغرات
وقالت «هايز» إنها أبلغت صانعي أدوات الذكاء الاصطناعي التي اختُبرت بشكل استباقي بنقاط الضعف، ودخلت الشركة الناشئة في شراكة مع «أنثروبيك» لاختبار الإجهاد لمنتج خوارزمي لم يُطرح بعد. وقال تانغ إن استئصال نقاط الضعف في منصات الذكاء الاصطناعي من خلال الأنظمة الآلية أمر بالغ الأهمية؛ «لأن اكتشاف المشكلات يدوياً يستغرق وقتاً طويلاً ويعرض أولئك الذين يعملون في الإشراف على المحتوى لمحتوى عنيف ومزعج».
بعض المحتوى الذي اكتُشف عبر مراجعة «هايز» أدوات الذكاء الاصطناعي التوليدية الشائعة يتضمن صوراً ونصوصاً مروعة ورسومية. وقال تانغ: «كان هناك كثير من الحديث حول مشكلات السلامة التي تسيطر على العالم من خلال الذكاء الاصطناعي… أعتقد أنها مهمة، لكن المشكلة الكبرى هي إساءة استخدام الذكاء الاصطناعي على المدى القصير».
تعريف إدارة الثغرات الأمنية
تأتي إدارة الثغرات الأمنية هي عملية مستمرة واستباقية وغالباً ما تكون تلقائية، تحافظ على أمان أنظمة الكمبيوتر والشبكات وتطبيقات المؤسسة ضد الهجمات عبر الإنترنت وعمليات خرق البيانات. وبناءً على ذلك، فهي جزء مهم من برنامج الأمان الشامل. من خلال تحديد نقاط الضعف الأمنية المحتملة وتقييمها ومعالجتها، يمكن للمؤسسات المساعدة في منع الهجمات وتقليل الأضرار في حالة حدوثها.
تهدف إدارة الثغرات الأمنية إلى تقليل تعرض المؤسسة للمخاطر بشكل عام من خلال تقليل الثغرات الأمنية قدر الإمكان. قد تكون هذه مهمة صعبة، نظراً لعدد الثغرات الأمنية المحتملة والموارد المحدودة المتاحة للمعالجة. يجب أن تتواصل مجريات عمل “إدارة الثغرات الأمنية” دون توقف لتتمكن من مواكبة المخاطر الجديدة والناشئة والبيئات المتغيرة.
تستخدم إدارة المخاطر والثغرات الأمنية مجموعة متنوعة من الأدوات والحلول لمنع حدوث المخاطر على الشبكات والتصدي لها. يشتمل برنامج إدارة الثغرات الأمنية الفعال عادةً على العناصر التالية:
اكتشاف الأصول وجردها
تكنولوجيا المعلومات هي المسؤولة عن تتبع سجلات جميع الأجهزة والبرامج والخوادم وغير ذلك عبر البيئة الرقمية للشركة والحفاظ عليها، ولكن هذا قد يكون معقداً للغاية نظراً لأن العديد من المؤسسات لديها آلاف الأصول عبر مواقع متعددة. لهذا السبب يلجأ محترفو تكنولوجيا المعلومات إلى أنظمة إدارة جرد الأصول، والتي تساعد في توفير رؤية حول الأصول التي تمتلكها الشركة ومكان وجودها وكيفية استخدامها.
الماسح الضوئي للثغرات الأمنية
عادةً ما تتم عمليات المسح الضوئي للثغرات الأمنية عن طريق إجراء سلسلة من الاختبارات على الأنظمة والشبكات، بحثاً عن نقاط الضعف المشتركة أو الثغرات. يمكن أن تتضمن هذه الاختبارات محاولة استغلال الثغرات الأمنية المعروفة، أو تخمين كلمات المرور الافتراضية أو حسابات المستخدمين، أو مجرد محاولة الوصول إلى المناطق المحظورة.
إدارة التحديث
برنامج إدارة التحديث هو أداة تساعد المؤسسات على توفير أحدث التحديثات الأمنية لأنظمة الكمبيوتر الخاصة بها. ستقوم معظم حلول إدارة التحديث تلقائياً بالبحث عن التحديثات وبمطالبة المستخدم بتنزيل التحديثات الجديدة عند توفرها. تسمح بعض أنظمة إدارة التحديث أيضاً بتوزيع التحديثات لأجهزة كمبيوتر متعددة في أي مؤسسة، مما يسهل الحفاظ على أمان أعداد كبيرة من الأجهزة.
إدارة التكوين
يساعد برنامج إدارة تكوين الأمان (SCM) على ضمان تكوين الأجهزة بطريقة آمنة، وأن التغييرات التي تطرأ على إعدادات أمان الجهاز تم التحقق منها ومعتمدة، وأن الأنظمة متوافقة مع نٌهج الأمان. تتضمن العديد من أدوات إدارة تكوين الأمان (SCM) ميزات تسمح للمؤسسات بمسح الأجهزة والشبكات ضوئياً بحثاً عن الثغرات، وتتبع إجراءات المعالجة، وإنشاء تقارير حول توافق نهج الأمان.
إدارة معلومات الأمان والأحداث (SIEM)
يقوم برنامج إدارة معلومات الأمان والأحداث (SIEM) بدمج المعلومات والأحداث الأمنية الخاصة بالمؤسسة في الوقت الحقيقي. تم تصميم حلول إدارة معلومات الأمان والأحداث (SIEM) لمنح المؤسسات رؤية لكل ما يحدث عبر جميع الأصول الرقمية الخاصة بها بما في ذلك، البنية الأساسية لتكنولوجيا المعلومات. يتضمن ذلك مراقبة نسبة استخدام الشبكة، وتحديد الأجهزة التي تحاول الاتصال بالأنظمة الداخلية، وتتبع نشاط المستخدم، والمزيد.
اختبار الاختراق
تم تصميم برنامج اختبار الاختراق لمساعدة متخصصي تكنولوجيا المعلومات في العثور على الثغرات الأمنية في أنظمة الكمبيوتر واستغلالها. عادةً ما يوفر برنامج اختبار الاختراق واجهة مستخدم رسومية تسهل إطلاق الهجمات والاطلاع على النتائج. تقدم بعض المنتجات أيضًا ميزات الأتمتة للمساعدة في تسريع عملية الاختبار. من خلال محاكاة الهجمات، يمكن للمختبرين تحديد نقاط الضعف في الأنظمة التي يمكن للمهاجمين في العالم الحقيقي استغلالها.
التحليل الذكي للمخاطر
يوفر برنامجالحماية من المخاطر للمؤسسات القدرة على تتبع المخاطر المحتملة ومراقبتها وتحليلها وتحديد أولوياتها لحماية نفسها بشكل أفضل. من خلال جمع البيانات من مجموعة متنوعة من المصادر — مثل قواعد بيانات الاختراق والإرشادات الأمنية — تساعد هذه الحلول الشركات على تحديد الاتجاهات والأنماط التي يمكن أن تشير إلى حدوث هجوم أو خرق للأمان في المستقبل.
معالجة الثغرات الأمنية
تشمل المعالجة تحديد أولويات الثغرات الأمنية وتحديد الخطوات التالية المناسبة وإنشاء بطاقات معالجة بحيث يمكن لفِرق تكنولوجيا المعلومات تنفيذها. أخيراً، يُعد تعقب عملية المعالجة وسيلة مهمة لضمان معالجة الثغرة الأمنية أو التكوين الخاطئ بشكل صحيح.