ستساعدك المقالة التالية: تعرف على Inpaint Anything (IA): أداة ذكاء اصطناعي متعددة الاستخدامات تجمع بين إمكانيات إزالة أي شيء وملء أي شيء واستبدال أي شيء
هل سبق لك أن التقطت صورة لتكتشف أن شيئًا ما في الخلفية أفسد اللقطة؟ أو قمت عن غير قصد بتدمير جزء من الصورة تحتاج الآن إلى استعادته بشكل عاجل. يعد الرسم الداخلي أسلوبًا شائعًا في تحرير الصور الرقمية واستعادتها ، وقد تم إنشاء أدوات برمجية متنوعة لجعل العملية أسرع وأكثر كفاءة. تقوم هذه البرامج بتحليل المناطق المحيطة بقسم الصورة التالف أو المفقود ثم ملء الفراغ بذكاء لإنتاج صورة متماسكة. يملأ Inpainting مناطق الصورة المفقودة أو التالفة ، مما يؤدي إلى نتائج سلسة ذات مظهر طبيعي.
بشكل عام ، يعد inpainting تقنية قوية يمكنها استعادة صورنا وتحسينها بطرق متخيلة سابقًا. أصبح الوصول إليه الآن أكثر سهولة من أي وقت مضى بسبب توفر إمكانات الحوسبة المتقدمة وتطبيقاتها آخذة في التوسع. يبذل باحثون من جامعة العلوم والتكنولوجيا في الصين والمعهد الشرقي للدراسات المتقدمة الجهد الأول في رسم صورة خالية من القناع ويقترحون نموذجًا جديدًا لـ “النقر والتعبئة” ، والذي يسمونه Inpaint Anything (IA).
لماذا أداة جديدة مثل Inpaint أي شيء مطلوب؟
• أحدثت جهود الرسم على أحدث طراز (SOTA) ، مثل LaMa و Repaint و MAT و ZITS وغيرها ، تطورًا كبيرًا. يمكنها رسم مناطق شاسعة ، وتعمل بشكل جيد مع الهياكل المتكررة المعقدة ، وتعمم جيدًا على الصور عالية الدقة. ومع ذلك ، غالبًا ما يحتاجون إلى تعليقات توضيحية مفصلة لكل قناع ، وهو أمر مطلوب للتدريب والاستدلال.
• يوفر نموذج أي شيء المقطع (SAM) أساسًا قويًا للتجزئة من خلال إنشاء أقنعة كائنات عالية الجودة من مطالبات الإدخال مثل النقاط أو المربعات. يمكن استخدامه لإنشاء أقنعة مفصلة ودقيقة لجميع العناصر في الصورة. ومع ذلك ، لم يتم استكشاف تنبؤات تجزئة القناع بشكل صحيح.
• علاوة على ذلك ، لا يمكن لخوارزميات inpainting الحالية إلا استبدال المنطقة المستأصلة بالسياق. توفر نماذج AIGC خيارات جديدة للإبداع ، مع القدرة على تلبية الطلب الكبير ومساعدة الناس في إنشاء مواد جديدة.
• نتيجة لذلك ، من خلال الجمع بين مزايا SAM و SOTA image inpainters ونماذج المحتوى الذي تم إنشاؤه بواسطة AI (AIGC) ، فإنهم ينشئون خط أنابيب قويًا وسهل الاستخدام للتعامل مع التحديات المتعلقة بالطلاء الأكثر عمومية مثل إزالة الكائن والمحتوى الجديد ملء واستبدال الخلفية.
ما الذي يمكن أن يفعله Inpaint أي شيء؟
• Inpainters SAM + SOTA لإزالة أي شيء: يمكن لمستخدمي IA حذف عناصر معينة من الواجهة بسرعة من خلال النقر عليها. علاوة على ذلك ، يسمح IA للمستخدمين بملء “الفجوة” الناتجة بالبيانات السياقية. يستخدمون قدرات SAM وبعض خبراء SOTA Inpainters ، مثل LaMa ، لتحقيق هذا الهدف. بعد التحسين يدويًا من خلال التآكل والتمدد ، تعمل تنبؤات القناع التي قدمها SAM كمدخل لنماذج الطلاء الداخلي ، مما يوفر علامات لا لبس فيها لأجزاء الكائن المراد مسحها وتعبئتها.
• تعبئة أو استبدال أي شيء باستخدام نماذج SAM + AIGC:
(1) بعد إزالة العناصر ، يمنح IA المستخدمين خيار ملء “الفجوة” الناتجة ببيانات سياقية أو “محتوى جديد”. يتم استخدام نموذج المحتوى القوي الذي تم إنشاؤه بواسطة AI (AIGC) ، مثل Stable Diffusion ، لإنتاج عناصر جديدة عبر المطالبات النصية. على سبيل المثال ، قد يستخدم المستخدمون كلمة “كلب” أو عبارة مثل “كلب لطيف يجلس على المقعد” لإنتاج كلب جديد يملأ الحفرة.
(2) يمكن للمستخدمين أيضًا استخدام IA للاحتفاظ بالعنصر الذي تم النقر فوقه واستبدال الخلفية المتبقية بالمشهد المنتج حديثًا. يسمح لك إجراء استبدال مشهد IA هذا بمطالبة نماذج AIGC بعدة طرق ، مثل عرض صورة مختلفة كإشارة مرئية أو تسمية توضيحية قصيرة كموجه نصي. يمكن للمستخدمين ، على سبيل المثال ، الاحتفاظ بالكلب في صورة أثناء استبدال الإعداد الداخلي الأصلي بآخر خارجي.
يمكن العثور على مصدر الشفرة الكامل على GitHub ، إلى جانب إرشادات لاستخدام الأداة.
