محققان دانشگاه علوم توکیو یک سیستم تازه مبتنی بر بینایی را گسترش داده‌اند که به ربات‌ها اجازه می‌دهد اشیاء شفاف و بازتابنده را بدون تکیه بر حسگرهای عمق، به طور دقیق بگیرند.

این روش، محدودیت کلیدی در جابجایی خودکار مواد را رفع می‌کند، جایی که تشخیص و دستکاری این چنین اشیایی به طور سنتی دشوار بوده است.

جابه‌جایی اقلامی همانند شیشه، فلزات براق و پلاستیک‌های شفاف هم چنان یک چالش بزرگ برای ربات‌ها است، چون این مواد سیستم‌های حسگر سه‌بعدی مرسوم را مختل یا گیج می‌کنند و زیاد تر نیاز به مداخله انسان و کند شدن عملیات دارند.

این سیستم که HEAPGrasp نام دارد، شکل اشیاء را تنها با منفعت گیری از خطوط کلی بصری ضبط شده از طریق یک دوربین RGB بازسازی می‌کند و ربات‌ها را قادر می‌سازد تا اشیاء را صرف نظر از خواص نوری آنها، به طور قابل اعتمادی شناسایی کرده و بگیرند.

این سیستم به جای تکیه بر حسگرهای تخصصی، از یک دوربین RGB استاندارد برای ضبط تصاویر از زوایای گوناگون منفعت گیری می‌کند. سپس تصاویر اشیاء را استخراج کرده و شکل سه‌بعدی آنها را با منفعت گیری از تکنیکی که حتی در روبه رو با سطوح شفاف یا بازتابنده پایدار می‌ماند، بازسازی می‌کند.

دیدن فراتر از محدودیت‌های سطح

شوگو آرای(Shogo Arai) از اعضای این تیم تحقیقاتی گفت: به طور سنتی، اشیاء شفاف یا آینه‌ای زمان منفعت گیری از حسگرهای عمق، در تشخیص ناپایدار بوده‌اند و این کار گرفتن خودکار توسط ربات‌ها را دشوار کرده و در نهایت تبدیل مداخله انسان می‌شود.

او گفت: رویکرد ما بر این ایده محکم است که حتی وقتی که اطلاعات عمق، غیرقابل مطمعن باشد، تخمین شکل شیء و گرفتن آن هم چنان مقدور است، مادامی که خطوط یا زوایای شیء را بتوان به طور قابل اعتمادی در تصاویر ثبت کرد.

این سیستم با جدا کردن اشیاء از بعد‌عرصه با منفعت گیری از تقسیم‌بندی معنایی اغاز می‌کند. این سیستم از یک مدل یادگیری عمیق برای طبقه‌بندی هر پیکسل در عکس منفعت گیری می‌کند و اشیاء را قبل از بازسازی آنها در سه سپس، جدا می‌کند.

برای ساخت یک مدل سه‌بعدی، این روش از تکنیک «Shape from Silhouette» منفعت گیری می‌کند، تکنیکی که حجم شیء را با ترکیب خطوط کلی گرفته شده از زوایای گوناگون تخمین می‌زند. این روش از خطاهای ناشی از شفافیت یا تابش خیره‌کننده جلوگیری می‌کند.

با این حال، ثبت دیدگاه‌های زیاد تر طبق معمولً زمان پردازش را افزایش می‌دهد. محققان برای حل این مشکل، یک سیستم برنامه‌ریزی مبتنی بر یادگیری عمیق اضافه کردند که کارآمدترین مسیر دوربین را تعیین می‌کند و ضمن نگه داری دقت، حرکات غیرضروری را افت می‌دهد.

گرفتن سریع تر و هوشمندتر ربات‌ها

این تیم HEAPGrasp را روی یک سیستم رباتیک واقعی در ۲۰ سناریو شامل ترکیبات گوناگون اشیاء شفاف، مات و بازتابنده آزمایش کرد. این سیستم به طور مداوم از راه حلهای حاضر گرفتن بهتر عمل کرد.

این سیستم با منفعت گیری از یک دوربین واحد به مقدار پیروزی ۹۶ درصد دست یافت، در حالی که حرکت دوربین را ۵۲ درصد افت داد و زمان اجرا را ۱۹ درصد در قیاس با رویکردهای مرسوم افت داد.

گینگا کنیس(Ginga Kennis) دیگر عضو این تیم او گفت: رویکرد ما اندازه‌گیری دقیق سه‌بعدی اشیاء را در حالی که حرکت دوربین و زمان اجرا را به حداقل می‌رساند، انجام می‌دهد. فناوری HEAPGrasp با افت مقدار پیش‌تنظیم مورد نیاز، پیاده‌سازی و منفعت‌برداری در محل را ساده می‌کند، به خصوص از آنجایی که می‌توان آن را به سیستم‌های رباتیک حاضر متصل کرد.

قابلیت کار با دوربین‌های استاندارد و سخت‌افزارهای حاضر می‌تواند استقرار این سیستم را در صنایعی همانند لجستیک، جابجایی مواد غذایی و تشکیل که در آنها مواد ترکیبی رایج می باشند، آسان‌تر کند.

این مطالعه در مجله IEEE Robotics and Automation Letters انتشار شده است.