NEW YORK: Image creation tools powered by artificial intelligence from companies including OpenAI and Microsoft can be used to produce photos that could promote election or voting-related disinformation, despite each having policies against creating misleading content, researchers said in a report on Wednesday.

The Centre for Countering Digital Hate (CCDH), a nonprofit that monitors online hate speech, used generative AI tools to create images of US President Joe Biden laying in a hospital bed and election workers smashing voting machines, raising worries about falsehoods ahead of the US presidential election in November.

“The potential for such AI-generated images to serve as ‘photo evidence’ could exacerbate the spread of false claims, posing a significant challenge to preserving the integrity of elections,” CCDH researchers said in the report.

CCDH tested OpenAI’s ChatGPT Plus, Microsoft’s Image Creator, Midjourney and Stability AI’s DreamStudio, which can each generate images from text prompts.

The report follows an announcement last month that OpenAI, Microsoft and Stability AI were among a group of 20 tech companies that signed an agreement to work together to prevent deceptive AI content from interfering with elections taking place globally this year. Midjourney was not among the initial group of signatories.

CCDH said the AI tools generated images in 41 per cent of the researchers’ tests and were most susceptible to prompts that asked for photos depicting election fraud, such as voting ballots in the trash, rather than images of Biden or former US President Donald Trump.

ChatGPT Plus and Image Creator were successful at blocking all prompts when asked for images of candidates, said the report.

However, Midjourney performed the worst out of all the tools, generating misleading images in 65pc of the researchers’ tests, it said.

Some Midjourney images are available publicly to other users, and CCDH said there is evidence some people are already using the tool to create misleading political content. One successful prompt used by a Midjourney user was “donald trump getting arrested, high quality, paparazzi photo”.

In an email, Midjourney founder David Holz said that “updates related specifically to the upcoming US election are coming soon”, adding that images created last year were not representative of the research lab’s current moderation practices.

A Stability AI spokesperson said the startup updated its policies on Friday to prohibit “fraud or the creation or promotion of disinformation”. An OpenAI spokesperson said the company was working to prevent abuse of its tools, while Microsoft did not respond to request for comment.

"نیو یارک: محققین کا کہنا ہے کہ کمپنیوں کی طرف سے چلائے گئے ایکسپرٹ فوٹو اور چیٹ ٹولز، جیسے کہ اوپن اے آئی اور مائیکروسافٹ، جعلی مواد تخلیق کرنے کے قابل ہیں جو انتخابات یا ووٹنگ سے متعلق غلط معلومات کو فروغ دے سکتے ہیں، جبکہ ہر ایک کی پالیسی ہے کہ جھٹلانے والے مواد کی تخلیق نہیں ہوگی۔ اس بارے میں ایک رپورٹ میں انتہائی شکایت ہے۔

ڈیجیٹل ہیٹ (CCDH) نام کا ایک غیر منافع بخش چھاپا میں، جو آن لائن نفرت آمیز بیانات کو نگرانی کرتا ہے، نے جینریٹو اے آئی ٹولز کا استعمال کرکے رپورٹ کے تحت امریکی صدر جو بائیڈن کو ہسپتال کے بستر میں لیٹا ہوا اور انتخابی کارکنوں نے ووٹنگ مشینوں کو توڑا ہوا دکھایا گیا تھا، جس سے نومبر میں ہونے والے ریاستہائے متحدہ کے صدری انتخابات سے متعلق جھونک اٹھا ہوا۔

"ایسی جینریٹو اے آئی تخلیقات کی پوٹنشل ہے کہ یہ 'فوٹو ثبوت' کے طور پر خدمت کر سکتی ہیں، جو جھوٹے الزامات کی پھیلائی میں مدد کرسکتی ہے، انتخابات کی سلامتی کو بچانے میں ایک بڑی چیلنج پیش آتا ہے۔" CCDH کے تحقیقات کاروں نے رپورٹ میں کہا۔

CCDH نے اوپن اے آئی کا چیٹ جی پی ٹی پلس، مائیکروسافٹ کا ایمیج کریئیٹر، مڈجرنی اور اسٹیبلٹی اے آئی کا ڈریم اسٹوڈیو ٹیسٹ کیا، جو ہر ایک ٹیکسٹ پرومپٹ سے تصویریں پیدا کرسکتے ہیں۔

رپورٹ نے بتایا کہ تحقیقات کے ٹیسٹس میں ان ٹولز نے 41 فیصد میں تصویریں پیدا کیں اور سب سے زیادہ خدشات ان پرومپٹس میں آئے جب مانگی گئی کہ الیکشن فراڈ کو ظاہر کرنے والی تصاویر، جیسے کہ ووٹنگ بیلٹس کو کچرے کی ٹوکری میں دکھایا جائے، تخلیق ہوں۔

رپورٹ کے مطابق، چیٹ جی پی ٹی پلس اور ایمیج کریئیٹر نے جب مختلف امیدواروں کی تصاویر کی مانگ کی گئی تو تمام پرومپٹس کو بلاک کرنے میں کامیاب رہے۔

تاہم، مڈجرنی سب سے برا پرفارم کرنے والا ٹولز تھا، جس نے تحقیقات کے ٹیسٹس میں 65 فیصد میں غلط خدشات پیدا کیں، یہ کہا گیا۔

مڈجرنی کی کچھ تصاویر دوسرے صارفین کے لئے عوامی طور پر دستیاب ہیں، اور CCDH نے کہا ہے کہ ثبوت ہے کہ بعض لوگ ہلپ کے لئے ٹول کا استعمال کر رہے ہیں تاکہ جعلی سیاسی مواد بنایا جا سکے۔ مڈجرنی صارف نے ایک کامیاب پرومپٹ استعمال کیا تھا جس میں "ڈونلڈ ٹرمپ گرفتار ہوتے ہوئے، ہائی کوالٹی، پاپارازی فوٹو" مانگی گئی تھی۔

ایک ای میل میں، مڈجرنی کے مالک ڈیوڈ ہولز نے کہا کہ "آئی یو ایس الیکشن کے لئے خصوصی طور پر متعلق اپ ڈیٹس جلد آ رہے ہیں"، جمیں کہ پچھلے سال بنائی گئی تصاویر اس کے موجودہ موڈریشن پراتکل کی نمائندگی نہیں کرتی تھیں۔

اسٹیبلٹی اے آئی کا ایک ترجمان نے کہا کہ ہفتے کو اپ ڈیٹ کر کے اس کی پالیسیوں میں "فراڈ یا ڈس انفارمیشن کی تخلیق یا فروغ کرنا" کو روکنے کے لئے ہو گئی ہے۔ اوپن اے آئی کا ایک ترجمان نے کہا کہ کمپنی اپنے ٹولز کے غلط استعمال کو روکنے کیلئے کام کر رہی ہے، جبکہ مائیکروسافٹ نے تبادلے کا جواب نہیں دیا۔"