باريس ــ في اختبار أمني حديث، جرى التلاعب بروبوت دردشة مصرفي يعمل بالذكاء الاصطناعي مصمم لمساعدة العملاء في إدارة طلبات القروض، لحمله على الكشف عن معلومات مالية حساسة. قد تجاوز المختبرون الضوابط الأمنية واستخرجوا قائمة شاملة بالموافقات على القروض، بما في ذلك أسماء العملاء.
تسلط هذه القصة التحذيرية الضوء على مشكلة جوهرية: قد يتسنى للذكاء الاصطناعي التوليدي إحداث ثورة في صناعات بأكملها، لكنه في غياب بروتوكولات أمان قوية، قد يؤدي أيضاً إلى نتائج كارثية. لم تعد نماذج السلامة التقليدية كافية. تتطلب التكنولوجيات التحويلية مثل الذكاء الاصطناعي التوليدي نهجاً جديداً وشاملاً في إدارة الأمن السيبراني.
توفر صناعة الطيران نموذجاً مفيدا. فعلى غرار الطائرات الأسرع من الصوت، يُعد الذكاء الاصطناعي التوليدي تكنولوجيا تحويلية هائلة الإمكانات. ولكن بدون مشغلين مدربين، وأنظمة جيدة التصميم، وضمانات قوية، يُـصبِـح خطر حدوث فشل كارثي أكبر من أن نتجاهله. من خلال اعتماد بروتوكولات السلامة الصارمة، أصبح السفر الجوي أحد أكثر وسائل النقل أمانا. على نحو مماثل، من غير الممكن أن ننكر إمكانات الذكاء الاصطناعي، لكن مستقبله يتوقف على معالجة مخاطر السلامة. على سبيل المثال، وجدت دراسة حديثة أجرتها مجموعة بوسطن الاستشارية (BCG) أن ثلاثة أرباع المسؤولين التنفيذيين في مجال الأعمال يرون أن الأمن السيبراني يمثل عقبة رئيسية أمام توسيع نطاق استخدام الذكاء الاصطناعي.
خلافاً للبرمجيات التقليدية، يعتمد الذكاء الاصطناعي التوليدي على الاحتمالات، وهذا قد يؤدي إلى نتائج غير متوقعة. تقدم النماذج اللغوية الضخمة (LLMs) سلوكيات غير محددة، وهذا من شأنه أن يخلق نقاطاً عمياء في الأمن السيبراني. علاوة على ذلك، يتسبب اعتمادها على مدخلات اللغة الطبيعية، والتعلم التكيّفي، والتكاملات الممتدة مع الأدوات والخدمات الأخرى في جعلها عُـرضة للخطر على نحو فريد.
مثلما يتطلب الطيران نهجاً شاملاً ومتعدد الأوجه في إدارة السلامة، يجب أن يكون الأمن السيبراني جزءاً لا يتجزأ من كلٍ من طبقات الذكاء الاصطناعي، من بنيته إلى إدارة البيانات والإشراف البشري. وفي غياب هذا الأساس، سيظل مستقبل الذكاء الاصطناعي مُـلتبسا.
تتمثل إحدى نقاط الضعف الرئيسية التي تعيب أنظمة الذكاء الاصطناعي في هجمات "الحقن التلقيني"، حيث يتلاعب المهاجمون بالنموذج لحمله على الكشف عن بيانات حساسة أو تغيير المنطق الذي يعتمد عليه في اتخاذ القرار. وقد كشف اختبار روبوت الدردشة المصرفي الأخير عن خطر مزعج بذات القدر: تصعيد الامتياز. فقد انتحل المختبرون شخصية أحد مسؤولي التنفيذ، فوافقوا على قروض غير مصرح بها وعَـدَّلوا بيانات الواجهة الخلفية.
Access every new PS commentary, our entire On Point suite of subscriber-exclusive content – including Longer Reads, Insider Interviews, Big Picture/Big Question, and Say More – and the full PS archive.
Subscribe Now
كما تعرض مساعدو الذكاء الاصطناعي في مجال الرعاية الصحية لاختراق مماثل، حيث نجح باحثون أمنيون في استخراج سجلات المرضى السرية من خلال إعادة صياغة استفساراتهم بمهارة. فبدلاً من طلب التاريخ الطبي بشكل مباشر، عمل المهاجمون على صياغة أسئلتهم لتشبه طلبات الأطباء المشروعة. وبهذا، كشفوا عن نقطة ضعف أخرى: في كثير من الأحيان، يعطي الذكاء الاصطناعي الأولوية للمنطق اللغوي قبل ضوابط الوصول.
تمتد نقاط الضعف هذه إلى ما هو أبعد من الخدمات المصرفية والرعاية الصحية. إذ تستفيد تطبيقات عديدة للذكاء الاصطناعي من الأنظمة الوكيلة، التي تسترجع بيانات لحظية لاتخاذ القرارات بشكل مستقل، فيخلق هذا الفرص للمهاجمين. على سبيل المثال، أظهر تقييم أمني لروبوت محادثة مدعوم بالذكاء الاصطناعي مخصص لخدمة العملاء أن المهاجمين كانوا قادرين على استغلال ضعف التحقق من صحة واجهة برمجة التطبيقات (API) للتلاعب بأحد النماذج اللغوية الضخمة لحمله على الكشف عن رموز الخصم الداخلية وتفاصيل المخزون.
من الممكن أيضاً استغلال قدرة الذكاء الاصطناعي على التكيف من خلال ما يسمى بتسميم السياق. فعن طريق تشكيل استجابات النموذج تدريجياً بمرور الوقت، يصبح بوسع المهاجمين توجيه استجاباته نحو توصيات غير صحيحة أو خطيرة. في إحدى التجارب، جرى تعريض روبوت دردشة في منتجع صحي على نحو متكرر لمدخلات تصوّر مكونات غير آمنة على أنها مفيدة. في نهاية المطاف، بدأ روبوت الدردشة يوصي بمنتجات ضارة للعناية بالبشرة.
مع تسبب أنظمة الذكاء الاصطناعي في إرباك البنية الأساسية التقليدية بالطلبات الآلية، فقد يؤدي هذا إلى فشل النظام ــ وهي ظاهرة تُعرف بمسمى التلوث المتوارث. لتجنب هذه النتيجة، يتعين على المؤسسات أن تعمل على تنفيذ التدريب المضاد، وتعريض نماذج الذكاء الاصطناعي على نحو مستمر لمدخلات خادعة لتعزيز مرونتها.
الكشف اللحظي عن الشذوذ ــ الآلي واليدوي ــ كفيل بتحديد سلوك الذكاء الاصطناعي غير المعتاد قبل أن تؤثر بيانات جرى التلاعب بها على الاستجابات. وكما تعتمد أنظمة التحكم في الطيران على نسخ احتياطية مستقلة، يجب أن يكون أمن الذكاء الاصطناعي التوليدي مبنيا على ضمانات متعددة الطبقات، بما في ذلك الكشف الآلي عن الشذوذ للإبلاغ عن النشاط غير المنتظم، والتحقق من الوصول الزائد لمنع التفاعلات غير المصرح بها في النظام، وآليات التراجع اللحظي لعكس التغييرات الضارة.
بينما يتوقع المحللون أن يتجاوز الإنفاق العالمي على الذكاء الاصطناعي 631 مليار دولار بحلول عام 2028. ستواجه أكثر هذه الاستثمارات صعوبة شديدة في تحقيق عوائد مجدية ما لم تُـعالَج تحديات الأمن السيبراني الجوهرية. في المقام الأول من الأهمية، يجب أن يتطور أمن الذكاء الاصطناعي من "وظيفة إضافية" إلى وظيفة أساسية مدمجة في بنية النظام، وإدارة البيانات، والرقابة البشرية. يجب أن يكون الإطار الأمني الفعال مرناً، وقادراً على التكيف والصمود، ومُـدمجاً في الأنظمة الموروثة.
حتى رواد الصناعة يواجهون تحديات ترتبط بالتصميم، وهذا يؤكد على الحاجة إلى تدابير أمنية أكثر قوة. في مارس/آذار 2023، اكتشفت شركة OpenAI عيبا في مكتبة مفتوحة المصدر كشفت عن غير قصد عن معلومات الدفع الخاصة بمستخدمي ChatGPT عن طريق إرسال رسائل تأكيد عبر البريد الإلكتروني إلى المستلمين الخطأ.
يجب أن يتطور أمن الذكاء الاصطناعي بالتوازي مع الأنظمة التي يسعى إلى حمايتها. لكن إدارة البيانات الفعّالة لا تتعلق بتحصين خطوط الأنابيب وتأمين مجموعات بيانات التدريب فحسب، بل تتطلب أيضا استراتيجية واضحة المعالم تتعامل مع البيانات كميزة تنافسية وتقيّم بعناية أي البيانات يمكنها الكشف عنها والبيانات التي يجب أن تكون الشركات قادرة على الاستفادة منها.
ولا يقل الإشراف التشغيلي أهمية. لا ينبغي للأمن السيبراني أن يكون محصوراً في صوامع المتخصصين. بل يجب أن يكون جزءًا لا يتجزأ من كل الأقسام وسير العمل، مع وجود أدوات مراقبة لحظية وحلقات تغذية مرتدة متكيفة تساعد المؤسسات على استباق التهديدات ونقاط الضعف الناشئة.
بالإضافة إلى التكنولوجيا المتطورة، يتطلب الأمن السيبراني تنمية ثقافة اليقظة. وفقاً لتقرير شركة Verizon لعام 2024، تنطوي 68% من جميع حالات اختراق البيانات على عنصر بشري، مثل الوقوع ضحية للخداع من خلال هجمات التصيد الاحتيالي أو الهندسة الاجتماعية. للتخفيف من هذه المخاطر، لا يجوز للموظفين أن يكتفوا بتحديد التهديدات، بل يجب أن يتعلموا أيضاً كيفية الاستجابة على النحو اللائق. حتى التدابير البسيطة، مثل التدريب الأمني المنتظم وآليات الإبلاغ الشفافة، من الممكن أن تُـحدث فارقاً كبيرا.
مثلما اكتسبت صناعة الطيران ثقة جماهير الناس بتبني تدابير سلامة صارمة، يتعين على صناعة الذكاء الاصطناعي أن تعمل على توفير سبل الحماية لمنع الهلوسة، والتلاعب، والقرصنة، والمشكلات المرتبطة بزمن الاستجابة قبل أن تتسبب في إحداث أضرار في العالَـم الحقيقي. وهذا يتطلب نهجاً شاملاً يدمج الهندسة المعمارية، والهندسة، واستراتيجيات البيانات، والذكاء الاصطناعي المسؤول في كيان واحد. سوف تزدهر الشركات التي تدمج الأمن في كلٍ من طبقات استراتيجية الذكاء الاصطناعي، بينما تتخلف عن الركب حتما الشركات التي تتشبث بنماذج أمنية عفا عليها الزمن.
To have unlimited access to our content including in-depth commentaries, book reviews, exclusive interviews, PS OnPoint and PS The Big Picture, please subscribe
Within its first two months, President Donald Trump’s second administration has attacked US institutions, alienated trade partners and allies, decimated consumer and investor confidence, and sent the stock market plummeting. Can the dollar’s status as the world’s leading reserve currency – and the extraordinary advantages this affords the US economy – withstand the onslaught?
Governments are the most important wealth managers in their respective jurisdictions, but they rarely behave like it. To boost revenue and ensure economic stability, policymakers must modernize their accounting practices and establish public wealth funds.
urges cash-strapped countries to adopt a commercial approach to management of government-owned assets.
باريس ــ في اختبار أمني حديث، جرى التلاعب بروبوت دردشة مصرفي يعمل بالذكاء الاصطناعي مصمم لمساعدة العملاء في إدارة طلبات القروض، لحمله على الكشف عن معلومات مالية حساسة. قد تجاوز المختبرون الضوابط الأمنية واستخرجوا قائمة شاملة بالموافقات على القروض، بما في ذلك أسماء العملاء.
تسلط هذه القصة التحذيرية الضوء على مشكلة جوهرية: قد يتسنى للذكاء الاصطناعي التوليدي إحداث ثورة في صناعات بأكملها، لكنه في غياب بروتوكولات أمان قوية، قد يؤدي أيضاً إلى نتائج كارثية. لم تعد نماذج السلامة التقليدية كافية. تتطلب التكنولوجيات التحويلية مثل الذكاء الاصطناعي التوليدي نهجاً جديداً وشاملاً في إدارة الأمن السيبراني.
توفر صناعة الطيران نموذجاً مفيدا. فعلى غرار الطائرات الأسرع من الصوت، يُعد الذكاء الاصطناعي التوليدي تكنولوجيا تحويلية هائلة الإمكانات. ولكن بدون مشغلين مدربين، وأنظمة جيدة التصميم، وضمانات قوية، يُـصبِـح خطر حدوث فشل كارثي أكبر من أن نتجاهله. من خلال اعتماد بروتوكولات السلامة الصارمة، أصبح السفر الجوي أحد أكثر وسائل النقل أمانا. على نحو مماثل، من غير الممكن أن ننكر إمكانات الذكاء الاصطناعي، لكن مستقبله يتوقف على معالجة مخاطر السلامة. على سبيل المثال، وجدت دراسة حديثة أجرتها مجموعة بوسطن الاستشارية (BCG) أن ثلاثة أرباع المسؤولين التنفيذيين في مجال الأعمال يرون أن الأمن السيبراني يمثل عقبة رئيسية أمام توسيع نطاق استخدام الذكاء الاصطناعي.
خلافاً للبرمجيات التقليدية، يعتمد الذكاء الاصطناعي التوليدي على الاحتمالات، وهذا قد يؤدي إلى نتائج غير متوقعة. تقدم النماذج اللغوية الضخمة (LLMs) سلوكيات غير محددة، وهذا من شأنه أن يخلق نقاطاً عمياء في الأمن السيبراني. علاوة على ذلك، يتسبب اعتمادها على مدخلات اللغة الطبيعية، والتعلم التكيّفي، والتكاملات الممتدة مع الأدوات والخدمات الأخرى في جعلها عُـرضة للخطر على نحو فريد.
مثلما يتطلب الطيران نهجاً شاملاً ومتعدد الأوجه في إدارة السلامة، يجب أن يكون الأمن السيبراني جزءاً لا يتجزأ من كلٍ من طبقات الذكاء الاصطناعي، من بنيته إلى إدارة البيانات والإشراف البشري. وفي غياب هذا الأساس، سيظل مستقبل الذكاء الاصطناعي مُـلتبسا.
تتمثل إحدى نقاط الضعف الرئيسية التي تعيب أنظمة الذكاء الاصطناعي في هجمات "الحقن التلقيني"، حيث يتلاعب المهاجمون بالنموذج لحمله على الكشف عن بيانات حساسة أو تغيير المنطق الذي يعتمد عليه في اتخاذ القرار. وقد كشف اختبار روبوت الدردشة المصرفي الأخير عن خطر مزعج بذات القدر: تصعيد الامتياز. فقد انتحل المختبرون شخصية أحد مسؤولي التنفيذ، فوافقوا على قروض غير مصرح بها وعَـدَّلوا بيانات الواجهة الخلفية.
Introductory Offer: Save 30% on PS Digital
Access every new PS commentary, our entire On Point suite of subscriber-exclusive content – including Longer Reads, Insider Interviews, Big Picture/Big Question, and Say More – and the full PS archive.
Subscribe Now
كما تعرض مساعدو الذكاء الاصطناعي في مجال الرعاية الصحية لاختراق مماثل، حيث نجح باحثون أمنيون في استخراج سجلات المرضى السرية من خلال إعادة صياغة استفساراتهم بمهارة. فبدلاً من طلب التاريخ الطبي بشكل مباشر، عمل المهاجمون على صياغة أسئلتهم لتشبه طلبات الأطباء المشروعة. وبهذا، كشفوا عن نقطة ضعف أخرى: في كثير من الأحيان، يعطي الذكاء الاصطناعي الأولوية للمنطق اللغوي قبل ضوابط الوصول.
تمتد نقاط الضعف هذه إلى ما هو أبعد من الخدمات المصرفية والرعاية الصحية. إذ تستفيد تطبيقات عديدة للذكاء الاصطناعي من الأنظمة الوكيلة، التي تسترجع بيانات لحظية لاتخاذ القرارات بشكل مستقل، فيخلق هذا الفرص للمهاجمين. على سبيل المثال، أظهر تقييم أمني لروبوت محادثة مدعوم بالذكاء الاصطناعي مخصص لخدمة العملاء أن المهاجمين كانوا قادرين على استغلال ضعف التحقق من صحة واجهة برمجة التطبيقات (API) للتلاعب بأحد النماذج اللغوية الضخمة لحمله على الكشف عن رموز الخصم الداخلية وتفاصيل المخزون.
من الممكن أيضاً استغلال قدرة الذكاء الاصطناعي على التكيف من خلال ما يسمى بتسميم السياق. فعن طريق تشكيل استجابات النموذج تدريجياً بمرور الوقت، يصبح بوسع المهاجمين توجيه استجاباته نحو توصيات غير صحيحة أو خطيرة. في إحدى التجارب، جرى تعريض روبوت دردشة في منتجع صحي على نحو متكرر لمدخلات تصوّر مكونات غير آمنة على أنها مفيدة. في نهاية المطاف، بدأ روبوت الدردشة يوصي بمنتجات ضارة للعناية بالبشرة.
مع تسبب أنظمة الذكاء الاصطناعي في إرباك البنية الأساسية التقليدية بالطلبات الآلية، فقد يؤدي هذا إلى فشل النظام ــ وهي ظاهرة تُعرف بمسمى التلوث المتوارث. لتجنب هذه النتيجة، يتعين على المؤسسات أن تعمل على تنفيذ التدريب المضاد، وتعريض نماذج الذكاء الاصطناعي على نحو مستمر لمدخلات خادعة لتعزيز مرونتها.
الكشف اللحظي عن الشذوذ ــ الآلي واليدوي ــ كفيل بتحديد سلوك الذكاء الاصطناعي غير المعتاد قبل أن تؤثر بيانات جرى التلاعب بها على الاستجابات. وكما تعتمد أنظمة التحكم في الطيران على نسخ احتياطية مستقلة، يجب أن يكون أمن الذكاء الاصطناعي التوليدي مبنيا على ضمانات متعددة الطبقات، بما في ذلك الكشف الآلي عن الشذوذ للإبلاغ عن النشاط غير المنتظم، والتحقق من الوصول الزائد لمنع التفاعلات غير المصرح بها في النظام، وآليات التراجع اللحظي لعكس التغييرات الضارة.
بينما يتوقع المحللون أن يتجاوز الإنفاق العالمي على الذكاء الاصطناعي 631 مليار دولار بحلول عام 2028. ستواجه أكثر هذه الاستثمارات صعوبة شديدة في تحقيق عوائد مجدية ما لم تُـعالَج تحديات الأمن السيبراني الجوهرية. في المقام الأول من الأهمية، يجب أن يتطور أمن الذكاء الاصطناعي من "وظيفة إضافية" إلى وظيفة أساسية مدمجة في بنية النظام، وإدارة البيانات، والرقابة البشرية. يجب أن يكون الإطار الأمني الفعال مرناً، وقادراً على التكيف والصمود، ومُـدمجاً في الأنظمة الموروثة.
حتى رواد الصناعة يواجهون تحديات ترتبط بالتصميم، وهذا يؤكد على الحاجة إلى تدابير أمنية أكثر قوة. في مارس/آذار 2023، اكتشفت شركة OpenAI عيبا في مكتبة مفتوحة المصدر كشفت عن غير قصد عن معلومات الدفع الخاصة بمستخدمي ChatGPT عن طريق إرسال رسائل تأكيد عبر البريد الإلكتروني إلى المستلمين الخطأ.
يجب أن يتطور أمن الذكاء الاصطناعي بالتوازي مع الأنظمة التي يسعى إلى حمايتها. لكن إدارة البيانات الفعّالة لا تتعلق بتحصين خطوط الأنابيب وتأمين مجموعات بيانات التدريب فحسب، بل تتطلب أيضا استراتيجية واضحة المعالم تتعامل مع البيانات كميزة تنافسية وتقيّم بعناية أي البيانات يمكنها الكشف عنها والبيانات التي يجب أن تكون الشركات قادرة على الاستفادة منها.
ولا يقل الإشراف التشغيلي أهمية. لا ينبغي للأمن السيبراني أن يكون محصوراً في صوامع المتخصصين. بل يجب أن يكون جزءًا لا يتجزأ من كل الأقسام وسير العمل، مع وجود أدوات مراقبة لحظية وحلقات تغذية مرتدة متكيفة تساعد المؤسسات على استباق التهديدات ونقاط الضعف الناشئة.
بالإضافة إلى التكنولوجيا المتطورة، يتطلب الأمن السيبراني تنمية ثقافة اليقظة. وفقاً لتقرير شركة Verizon لعام 2024، تنطوي 68% من جميع حالات اختراق البيانات على عنصر بشري، مثل الوقوع ضحية للخداع من خلال هجمات التصيد الاحتيالي أو الهندسة الاجتماعية. للتخفيف من هذه المخاطر، لا يجوز للموظفين أن يكتفوا بتحديد التهديدات، بل يجب أن يتعلموا أيضاً كيفية الاستجابة على النحو اللائق. حتى التدابير البسيطة، مثل التدريب الأمني المنتظم وآليات الإبلاغ الشفافة، من الممكن أن تُـحدث فارقاً كبيرا.
مثلما اكتسبت صناعة الطيران ثقة جماهير الناس بتبني تدابير سلامة صارمة، يتعين على صناعة الذكاء الاصطناعي أن تعمل على توفير سبل الحماية لمنع الهلوسة، والتلاعب، والقرصنة، والمشكلات المرتبطة بزمن الاستجابة قبل أن تتسبب في إحداث أضرار في العالَـم الحقيقي. وهذا يتطلب نهجاً شاملاً يدمج الهندسة المعمارية، والهندسة، واستراتيجيات البيانات، والذكاء الاصطناعي المسؤول في كيان واحد. سوف تزدهر الشركات التي تدمج الأمن في كلٍ من طبقات استراتيجية الذكاء الاصطناعي، بينما تتخلف عن الركب حتما الشركات التي تتشبث بنماذج أمنية عفا عليها الزمن.
ترجمة: مايسة كامل Translated by: Maysa Kamel