گوگل قابلیت بینایی عاملیتمحور را به جِمینای ۳ فلش افزوده است. این ویژگی، استدلال بصری را با اجرای کد ترکیب میکند تا «پاسخها را بر شواهد بصری استوار سازد». به گفته گوگل، این امر نه تنها دقت را افزایش میدهد، بلکه مهمتر از آن، رفتارهای کاملاً جدیدی را که توسط هوش مصنوعی هدایت میشوند، ممکن میسازد.
به طور خلاصه، جِمینای ۳ فلش به جای تحلیل یک تصویر در یک مرحله، اکنون به بینایی به عنوان یک کاوش عاملیتمحور نزدیک میشود: مراحل را برنامهریزی میکند، تصویر را دستکاری مینماید و پیش از پاسخگویی، از کد برای تأیید جزئیات بهره میبرد.
این رویکرد منجر به یک حلقه «اندیشه -> عمل -> مشاهده» میشود که در آن مدل ابتدا درخواست (prompt) و تصویر را برای برنامهریزی یک رویکرد چندمرحلهای تحلیل میکند؛ سپس کد پایتون را برای دستکاری تصویر و استخراج اطلاعات اضافی از آن، مانند برش، بزرگنمایی، حاشیهنویسی یا محاسبه، تولید و اجرا مینماید؛ و در نهایت، تصویر تبدیلشده را به محتوای خود اضافه کرده و سپس یک پاسخ جدید ارائه میدهد.
به گفته گوگل، این رویکرد، در اکثر بنچمارکهای بینایی، بهبود ۵ تا ۱۰ درصدی دقت را در وظایف بینایی به ارمغان میآورد که ناشی از دو عامل اصلی است.
اولاً، اجرای کد امکان بررسی دقیق جزئیات در یک تصویر را با بزرگنمایی روی عناصر بصری کوچکتر، مانند متن ریز، فراهم میکند، به جای اتکا به حدس و گمان. جِمینای همچنین میتواند با ترسیم کادرهای مرزی و برچسبها، تصاویر را حاشیهنویسی کند تا استدلال بصری خود را تقویت نماید، به عنوان مثال با شمارش صحیح اشیاء. گوگل ادعا میکند که با استفاده از چنین حاشیهنویسیهایی، «مشکل دشوار» شمارش ارقام روی یک دست را حل کرده است.
ثانیاً، محاسبات بصری و بصریسازی دادهها را میتوان با کدهای قطعی نوشته شده در پایتون با استفاده از Matplotlib واگذار کرد، که توهمات را در محاسبات پیچیده مبتنی بر تصویر کاهش میدهد.
کانیکا، کاربر پلتفرم X، در واکنش به اعلام گوگل اظهار داشت:
خواندن این مطلب باعث میشود ابزارهای بینایی قبلی، با نگاه به گذشته، ناقص به نظر برسند. بسیاری از موارد خاص صرفاً به این دلیل وجود داشتند که مدلها نمیتوانستند به صورت بصری مداخله یا تأیید کنند. به نظر میرسد بینایی عاملیتمحور مسیری است که همه در نهایت آن را در پیش خواهند گرفت.
کاربر Redditor Izento نیز چنین اظهار نظر کرد:
پیامدهای این امر بسیار گسترده است. اساساً آنها استدلال بصری را برای هوش مصنوعی آزاد کردهاند تا در رباتهای فیزیکی واقعی پیادهسازی شود. رباتها از آگاهی متنی و قابلیتهای عاملیتمحور بسیار بیشتری برخوردار خواهند شد.
سایر کاربران Reddit اشاره کردند که ChatGPT نیز برای مدتی طولانی از رویکرد مشابهی از طریق Code Interpreter استفاده کرده است؛ با این حال، هنوز به نظر میرسد قادر به شمارش قابل اعتماد ارقام روی یک دست نیست.
نقشه راه گوگل برای بینایی عاملیتمحور شامل رفتارهای ضمنی بیشتر، مانند فعالسازی خودکار بزرگنمایی، چرخش و سایر اقدامات بدون نیاز به دستورات صریح؛ افزودن ابزارهای جدید مانند جستجوی وب و جستجوی معکوس تصویر برای افزایش شواهد در دسترس مدل؛ و گسترش پشتیبانی به سایر مدلهای خانواده جِمینای فراتر از Flash است.
بینایی عاملیتمحور از طریق API جِمینای در Google AI Studio و Vertex AI قابل دسترسی است و در حال حاضر در حالت «تفکر» (Thinking mode) برنامه جِمینای در حال عرضه است.
