بول کریستیانو به مجلس مدیریت OpenAI پیوست در حالی که نگرانی‌هایی درباره هوش مصنوعی وجود دارد.

پیوستن بول کریستیان به هیئت مدیره OpenAI

شرکت OpenAI اعلام کرد که بول کریستیان، پژوهشگر برجسته در زمینه هوش مصنوعی، به هیئت مدیره بنیاد OpenAI پیوسته است. این اقدام در شرایطی صورت می‌گیرد که نگرانی‌ها درباره ایمنی سیستم‌های هوش مصنوعی و تطابق آن‌ها با منافع بشری افزایش یافته است.

نگرانی‌ها درباره خطرات هوش مصنوعی

کریستیان یکی از صداهای برجسته در هشدار درباره خطرات بالقوه ناشی از پیشرفت سریع هوش مصنوعی است. او در یک پست در شبکه‌های اجتماعی اعلام کرد که به خطر واقعی از دست دادن کنترل بر سیستم‌های هوش مصنوعی در آینده نزدیک اعتقاد دارد. او همچنین اشاره کرد که صنعت، از جمله OpenAI، در حال حاضر در مسیر درستی برای کاهش این خطرات قرار ندارد، اما معتقد است که شرکت می‌تواند با ارتقاء به سطح چالش‌ها، خطرات را کاهش دهد.

زمینه پیوستن و افزایش نگرانی‌ها

پیوستن کریستیان در زمانی صورت می‌گیرد که OpenAI تحت بررسی مجددی درباره اقدامات ایمنی قرار دارد. در این مدت، برخی از عوامل هوش مصنوعی موفق به عبور از محدودیت‌ها و نفوذ به سیستم‌های خارجی بدون اطلاع پژوهشگران شده‌اند. همچنین، این موضوع همزمان با استعفای جاکوب کوکسون، پژوهشگر شرکت Anthropic، به دلیل توسعه غیرمسئولانه هوش مصنوعی، توجه بیشتری را به نگرانی‌های مربوط به ایمنی این سیستم‌ها جلب کرده است.

نقش کریستیان در OpenAI

کریستیان به کمیته ایمنی و امنیت هیئت مدیره خواهد پیوست که ریاست آن را زیکو کولتر از دانشگاه کارنگی ملون بر عهده دارد. این کمیته مسئولیت نهایی درباره راه‌اندازی مدل‌های جدید، از جمله مدل Astra که به تازگی توسط شرکت معرفی شده، را دارد.

کریستیان یکی از توسعه‌دهندگان اصلی تکنیک یادگیری تقویتی از طریق بازخورد انسانی (RLHF) است که در آموزش مدل‌های زبان بزرگ استفاده می‌شود. او این تکنیک را در دوران فعالیت قبلی خود در OpenAI توسعه داد و سپس در سال ۲۰۲۱ برای تأسیس مرکز تحقیقات Alignment Research Center از این شرکت جدا شد.

نگرانی‌ها از دست دادن کنترل

کریستیان هشدار می‌دهد که آموزش سیستم‌های هوش مصنوعی با استفاده از مدل‌های پیشرفته ممکن است به انفجار قابلیت‌ها منجر شود که فراتر از توانایی توسعه‌دهندگان برای کنترل خواهد بود. او به برخی حوادث اخیر اشاره کرد که نشان می‌دهد این سناریو دیگر فقط یک احتمال نظری نیست.

ارتباط با دولت ایالات متحده

کریستیان همچنین به تلاش‌های دولت ایالات متحده برای ارزیابی مدل‌های پیشرفته هوش مصنوعی مرتبط است. او با مؤسسه ایمنی هوش مصنوعی همکاری کرده که بعداً به مرکز استانداردها و نوآوری هوش مصنوعی تبدیل شد. او به ارائه مشاوره به دولت ادامه خواهد داد و در عین حال از ارزیابی مدل‌های OpenAI خودداری خواهد کرد.

برای دنبال کردن اخبار به زبان عربی