eng
Выпуск #3/2022
М. В. Вартанов, Нгуен Ван Линь, Нгуен Ван Зунг
Оценка эффективности стратегий поиска при роботизированной сборке
Оценка эффективности стратегий поиска при роботизированной сборке
Просмотры: 1051
DOI: 10.22184/2499-9407.2022.28.3.46.56
Показаны технологические возможности промышленных роботов в сборочном производстве на основе средств пассивной и активной адаптации.
Показаны технологические возможности промышленных роботов в сборочном производстве на основе средств пассивной и активной адаптации.
Теги: 2d and 3d search methods industrial robots robotic assembly operations search strategies методы 2d- и 3d-поиска промышленные роботы роботизированные сборочные операции стратегии поиска
Оценка эффективности стратегий поиска при роботизированной сборке
М. В. Вартанов, Нгуен Ван Линь, Нгуен Ван Зунг
Показаны технологические возможности промышленных роботов в сборочном производстве на основе средств пассивной и активной адаптации.
Введение
В настоящее время промышленные роботы широко используются в обрабатывающей промышленности, в том числе в сборочном производстве. Ожидается, что дальнейшее совершенствование методов сборки повысит успешность сборочных операций, сократит трудозатраты и, в конечном счете, обеспечит возможность автоматизации выполнения высокоточных соединений.
Стратегия сборки основана на множестве данных, поступающих с датчиков. Количество и типы датчиков, алгоритмы обработки данных, а также интеграция датчиков и стратегий поиска являются основными факторами, определяющими технологическую надежность, стабильность и скорость выполнения роботизированных сборочных операций.
Сборочные роботы уже используются в машино- и приборостроении. Однако выполнение точных задач сборки по-прежнему представляет собой серьезную проблему для роботов из-за многочисленных источников неопределенности, таких как приспособления, точность положения выходного звена или базирующих приспособлений. Наиболее важной технической проблемой является выбор стратегии поиска для повышения точности позиционирования при сборке. Стратегии поиска оцениваются с точки зрения времени выполнения, точности, стабильности, а также геометрии и точности деталей.
Данный обзор направлен на ознакомление с современными стратегиями поиска и техническими средствами, улучшающими известные алгоритмы. Основное внимание уделяется роботизированной сборке соединений типа «вал – втулка» (ТВВ). Поиск стратегии классифицирован и рассмотрен на основе различных факторов, таких как количество и типы датчиков, а также размеры поисковых пространств. Чтобы выполнить операции по сборке в плохо структурированной среде, стратегия поиска должна объединять и использовать данные с нескольких источников, таких как интеграция силового контроля и зрения. Рассматриваются стратегии поиска с использованием технического зрения.
Стратегии поиска с датчиками
Движения робота могут управляться системами визуального сервопривода на основе изображений и на основе положения. В зависимости от того, получает ли система зрения информацию об изображении из двумерной плоскости, либо информацию о положении и ориентации детали из трехмерного пространства, полученная информация преобразуется в цифровую информацию для управления движением робота, которое можно разделить на методы 2D- и 3D-поиска.
Основной принцип метода 2D-поиска заключается в использовании монокулярной камеры для получения информации об изображении целевого объекта в 2D-плоскости, передачи информации об изображении в систему обработки изображений, а затем, в соответствии с информацией об изображении, такой как цвет, яркость и распределение пикселей, она преобразуется в цифровой сигнал и отправляется на контроллер движения, который управляет роботом для выполнения задачи сборки.
В работе [3] решается задача поиска и сборки на сложных трехмерных деталях, предложен алгоритм, который сочетает в себе локализацию робота с несколькими функциями и коаксиальное машинное зрение, чтобы помочь монокулярной камере (метод 2D-поиска) в визуальном позиционировании. Чтобы четко зафиксировать край отверстия, алгоритм использует преобразование для обнаружения верхней поверхности отверстия и объединяет алгоритм обнаружения края (рис. 1) [4].
Двурукий робот используется для имитации человека без тактильной обратной связи и полагается только на зрение для выполнения задачи сборки. В работе [5] используют робота с двумя руками, как и в работе [6] для выполнения задачи поиска собираемых деталей (рис. 2а). Предложен алгоритм визуального распознавания, основанный на 2D-методе для реализации позиционирования деталей, захвата, поиска деталей и сборки.
Положение и ориентация объекта определяются системой распознавания зрения «глаз в руке» – откалиброванной платой, что устраняет ошибку изображения, вызванную искажением объектива, и повышает точность поиска и позиционирования при сборке.
В процессе поиска с использованием визуальной системы отслеживания и определения местоположения целевого отверстия, обнаруженное визуально отверстие является круглым. Однако из-за перспективной проекции круглое отверстие может стать эллиптическим на изображении, полученном с камеры.
С целью компенсации ошибки относительного положения центра инструмента и манипулируемой детали и для решения проблемы обнаружения эллиптических отверстий в работе [7] предложен метод выделения эллиптического контура, основанный на обнаружении значительных областей на основе настройки частоты и оптимизации модели змеи для обнаружения поиска отверстий, благодаря чему значительно повышается надежность и точность обнаружения целевых отверстий относительно помех окружающей среды (рис. 3). Однако метод 2D-поиска не может выполнять поиск по глубине отверстия.
Цели в трехмерном пространстве
Метод 3D-поиска является основным принципом использования видеокамер для захвата объектов в трехмерном пространстве. Информация о 3D-изображении преобразуется через систему обработки изображений и компьютер и отправляется роботу. Робот может решать точные задачи поиска и сборки в трехмерном пространстве через визуальную систему трехмерных объектов.
В работе [8] оптимизирован процесс калибровки визуальной системы, использующей красный куб для калибровки и контроля, что улучшает метод измерения краев куба (рис. 4а). В работе [9] для обнаружения объектов используется откалиброванная система стереовидения, алгоритм определения угла, основанный на изменении уровня серого. Трехмерная позиция корпуса мобильного телефона реконструируется в соответствии с обнаруженными объектами (рис. 4б).
Стратегии поиска
с датчиком силы
Основной принцип метода сканирования по плоскости состоит в том, чтобы оценить относительное положение вала и втулки, используя крутящий момент, создаваемый отклонением положения между валом и втулкой во время сборки, а затем переместить вал по расчетной траектории. Данная процедура выполняется до тех пор, пока нижний торец вала не попадет в отверстие втулки.
В методе поиска на плоскости есть три основные схемы:
Существует четыре вида основных траекторий, задаваемых при поиске на плоскости (рис. 5):
В работе [10] предложена стратегия распознавания положения отверстия втулки, основанная на моделировании состояния контакта и установлении алгоритма распознавания положения отверстия с использованием модели смеси Гаусса [12], основанной на ожидаемой максимизации [13] и пути поиска спирали Архимеда (рис. 5а).
Метод прост, но при точной сборке он требует много времени. В работе [11] предложен алгоритм управления усилием на основе положения и улучшения алгоритма поиска отверстия с помощью генерируемого спирального движения для реализации процесса автоматической зарядки электромобилей (рис. 6).
Поиск цели в трехмерном пространстве: сначала отклоните вал на определенный угол, чтобы нижний конец отверстия образовал очевидную нижнюю точку, затем переместитесь вниз, чтобы нижняя точка вала попала в отверстие, а затем сделайте так, чтобы весь нижний торец вала окончательно попал в отверстие путем соответствующей регулировки движения. Посредством анализа процесса сборки детали можно обнаружить, что если относительное отверстие вала реализуется методом стереоскопического поиска вдоль осей X, Y и Z на определенный угол, начальное состояние контакта при сборке вала в отверстие может быть упрощено до уникального режима контакта.
Работа [14] нацелена на точность и деформацию тонкого кольца, которое легко деформируется во время поиска собираемых деталей (рис. 7). Предложен принцип пассивного центрирования, основанный на напряжении Герца, для уменьшения ошибки позиционирования робота.
В работе [15] предлагается алгоритм поиска сборки на основе профиля глубины (рис. 8). Однако данный алгоритм измеряет глубину деталей для вала от центра до верхней поверхности отверстия путем поворота втулки вокруг вала перпендикулярно верхней поверхности отверстия, а затем, используя профиль глубины для определения ориентации отверстия. При этом используется однорукий робот, основанный на шестикоординатном датчике сил и моментов. В [16] предложена стратегия динамического управления гибкостью пассивного соединения, основанная на ограничении тока, для устранения нестабильных помех, вызванных небольшими отклонениями в процессе поиска собираемой пары деталей. Алгоритм может без изменения обрабатывать различные типы задач сборки, но только в том случае, если собираемые детали находятся на одной высоте.
Стратегии поиска на основе других параметров
Промышленные роботы испытывают трудности с гибкими деталями, с ограничениями по весу и разноразмерности крупных деталей. Поэтому необходимо рассмотреть другие технологии измерения и контроля для высокоточного совмещения, а также стратегии поиска для сборки деталей большого размера. Например, использование лазерных интерферометрических методов наведения. Лазерные измерители обеспечивают динамическое определение трехмерного положения. Система поиска сборки с лазерным наведением на помехи приведена на рис. 9б. Чтобы повысить абсолютную точность позиционирования при сборке крупных деталей в работе [17], используют метод наведения лазера для калибровки геометрических характеристик детали, чтобы устранить неопределенности положения и ориентации, вызванные гибкими приспособлениями.
Кроме того, в дополнение к применению наведения лазера для задачи поиска сборки ТВВ, в работе [18] применили робота с двумя руками и предложили программируемый метод пассивного управления гибкостью, основанный на принципе пассивного контроля соответствия, который реализуется виртуальным контроллером пружины в пространстве задач без дополнительных устройств или датчиков (рис. 9а).
Стратегии поиска с использованием информации из нескольких источников
Стратегия поиска, основанная на одном датчике, снижает не только стоимость задачи поиска сборки ТВВ, но и точность поиска, более того, она ограничена поиском сборки ТВВ только в определенном диапазоне в зависимости от конкретной траектории поиска.
Поэтому исследователи предлагают стратегию поиска взаимодействия с несколькими датчиками для решения проблем точности поиска, дальности поиска и уменьшения повреждения поверхности детали для задачи поиска сборки ТВВ.
Интеграция визуальных и кинестетических датчиков
С целью преодоления ограничений стратегии поиска на основе датчика силы и поиска на основе датчика зрения, в работе [19] приняли стратегию поиска, основанную на датчиках зрения и датчиках силы. При этом было отмечено, что визуальный сервопривод на основе изображений широко используется в квадрокоптерах для обеспечения контроля и позиционирования при наведении. Таким образом, в [19] поставлена задача сборки многогранного вала для роботизированной руки (рис. 10).
Используется стратегия управления с устойчивой связью, а также комбинация визуального сервопривода и гибкого управления с обратной связью по силе.
В работе [20] предложена схема автоматической сборки с использованием визуальных датчиков и датчиков сил и моментов для решения проблемы сборки разъема USB.
Использование системы визуального сервопривода для уменьшения неопределенности позиционирования и перемещения USB-кабеля перед соответствующим USB-портом за счет минимизации ошибок перемещения / угла между текущим и требуемым положением робота. За этим следует плавное контактное движение, основанное на контроле импеданса, для преодоления ошибок перемещения / угла, вызванных визуальными ограничениями. Наконец, определяя силу контакта с помощью датчика сил и моментов, можно определить, выполнена ли задача сборки успешно (рис. 11).
В работе [21] использован относительно простой алгоритм определения угла шахматной доски в библиотеке функций для реализации выравнивания после того, как робот с двумя рычагами захватит детали типа вал и втулка (рис. 12). Робот на основе датчика зрения и силы выполняет задачу совмещения для трех деталей.
Интеграция с другими источниками информации
Основываясь на обычном поведении человека при поиске деталей типа вала и втулки, исследователи предлагают стратегию поиска-сотрудничества, основанную на визуальных датчиках и датчиках силы.
В работе [22] использован «контроллер шагового движения». Контроллер записывает траекторию человеческой руки при установке гибкого круглого кольца на вал, а затем из записанной траектории извлекаются опорные точки положения и ориентации вала.
В планировщике движений, основанном на оптимизации, эти точки используются в качестве целевых для создания траекторий движения роботизированной руки, которые минимально деформируют объект. Затем траектория движения робота генерируется на основе оптимизированного планировщика движений для реализации задачи поиска гибких деталей в сборке (рис. 13б).
Пьезоэлектрический микрозахват и микрооперационная система анализируются с помощью визуальных датчиков, которые могут обеспечить точное позиционирование цели во время операции микрозахвата робота, позволяя ему точно искать и перемещаться из одного положения отверстия в другое положение в рабочем пространстве. Однако единственным ограничением пьезоэлектрического привода являются его пьезоэлектрические нелинейные характеристики [23]. САПР-модель микрооперационной системы на основе пьезоэлектрических приводов и принципиальная схема управления каждым микроманипулятором представлены на рис. 13б.
Стратегия сборки, предложенная в [24], снижает стоимость по сравнению со сборкой с использованием датчиков сил и моментов. Она не только снижает требования к искомым отверстиям, но также выполняет поиск нескольких деталей с отверстиями. Также стратегия повышает гибкость при поиске собираемых деталей на основе визуальных датчиков для позиционного распознавания вала, захваченного манипулятором. Однако алгоритм использует контактное трение для решения задачи поиска сборки, что оказывает существенное влияние на шероховатость и точность контактной поверхности. Кроме того, использование механической конструкции ограничивает гибкость стратегии сборки (рис. 13в).
Исследования в московском политехническом университете
На машиностроительном факультете Московского политехнического университета под руководством профессора М. В. Вартанова ведутся исследования в области роботизированной сборки.
В работе [25] приведены результаты исследования процесса сборки с применением физико-технических эффектов для обеспечения технологической надежности сборочных операций. Расширение технологических возможностей роботизированной сборки может быть достигнуто за счет совместного применения низкочастотной вибрации и вращательного движения. Наличие вибрации позволяет исключить вероятность заклинивания при наличии перекоса деталей. Было доказано, что технологические зоны сборки без заклиниваний могут быть существенно расширены на основе применения эффекта вращения и низкочастотных колебаний (рис. 14). Полученные результаты позволяют утверждать, что при рациональных технологических режимах процесса с использованием эффекта вращения и низкочастотных колебаний полностью исключается вероятность заклинивания и значительно снижаются сборочные силы.
В работе [26] исследован метод активной адаптации, основанный на управлении с обратной связью на основе применения силомоментного датчика. Определено положение точки контакта жесткого вала и втулки, возникающей при сопряжении с помощью сигналов силомоментного датчика. Информация о положении точки контакта позволяет скорректировать движение рабочего органа робота при выполнении операции сборки. Разработанный метод сборки с использованием активной адаптации и применением силомоментного датчика обеспечивает технологическую надежность процессов сопряжения цилиндрических соединений с малым зазором (рис. 15).
В настоящее время на кафедре «Технологии и оборудование машиностроения» Московского Политеха проводятся исследования в области интеллектуальной роботизированной сборки нежестких деталей.
Заключение
В обзоре рассмотрены известные методы в области автоматической и роботизированной сборки. Работы по стратегиям автоматизации сборки и доступные стратегии поиска классифицированы по категориям использования: датчики с одним источником и датчики с несколькими источниками. Обсуждаются стратегии поиска, основанные на параметрах сил, зрения и других физических величин. Рассматриваются работы на основе интеграции сборочных сил и образов, а также данных, получаемых из других источников. При быстром развитии науки и техники цикл замены промышленной продукции во многом определяет долю рынка компаний, а программируемость алгоритмов управления как архитектуры самого низкого уровня для управления роботами и их многочисленными датчиками во многом определяет производственный цикл продукции. Выполненный обзор стратегий поиска при роботизированной сборке имеет большое значение для развития автоматизации сборки изделий в России.
Список литературы
Xu L. D. Industrial information integration–an emerging subject in industrialization and informatization process, J. Ind. Inf. Integr. (2020),
https://doi.org/10.1016/j.jii.2020.100128.
Jiang J. G., Huang Z. Y., Bi Z., Ma X. F., Yu G. State-of-the-Art control strategies for robotic PiH assembly, Robot. Comput. Integr. Manuf. 65 (2020), 101894,
https://doi.org/10.1016/j.rcim.2019.101894.
Yang Z., Liu W., Li H., Li Z. A coaxial vision assembly algorithm for uncentripetal holes on large-scale stereo workpiece using multiple-dof robot, 2018, in: Proceedings of the IEEE International Conference on Imaging Systems and Techniques (IST), Krakow, 2018, pp. 1–6,
https://doi.org/10.1109/IST.2018.8577136.
Chen Z., Li Z., Zhen L., Wei W., You R. The research and application of improved ant colony algorithm with multi-thresholds in edge detection, in: Proceedings of the International Conference on Industrial Informatics-Computing Technology, Intelligent Technology, 2017, pp. 5–9,
https://doi.org/10.1109/ICIICII.2017.27.
Huang Y. J., Zhang X. M., Chen X. M., Jun O. ision-guided peg-in-hole assembly by Baxter robot, Adv. Mech. Eng. 9 (12) (2017), 168781401774807,
https://doi. org/10.1177/1687814017748078.
Kim I. W., Lim D. J., Kim K. I. Active peg-in-hole of chamferless parts using force/moment sensor, 1999, in: Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems. Human and Environment Friendly Robots with High Intelligence and Emotional Quotients (Cat. No.99CH36289) 2, Kyongju, South Korea, 1999, pp. 948–953,
https://doi.org/10.1109/IROS.1999.812802.
Mei B., Zhu W. D., Yan G. R., Ke Y. L. A new elliptic contour extraction method for reference hole detection in robotic drilling, Pattern Anal. Appl. 18 (3) (2015) 695–712,
https://doi.org/10.1007/s10044-014-0394-6.
Baykal I. C. Inspection of screw holes on machine parts using robot vision, 2018, in: Proceedings of the International Conference on Artificial Intelligence and Data Processing (IDAP), Malatya, Turkey, 2018, pp. 1–5,
https://doi.org/10.1109/IDAP.2018.8620904.
Chang W., Weng Y., Tsai Y., Chang C. Automatic robot assembly with eye-inhand stereo vision, 2011, in: Proceedings of the 9th World Congress on Intelligent Control and Automation, Taipei, 2011, pp. 914–919,
https://doi.org/10.1109/WCICA.2011.5970649.
Jasim I. F., Plapper P. W., Voos H. Position identification in force-guided robotic peg-in-hole assembly tasks, Procedia CIRP 23 (C) (2014) 217–222,
https://doi. org/10.1016/j.procir.2014.10.077. CIRP 23.
Bdiwi M., Suchý J., Jockesch M., Winkler A. Improved peg-in-hole (5‑pin plug) task: intended for charging electric vehicles by robot system automatically, 2015, in: Proceedings of the IEEE 12th International Multi-Conference on Systems, Signals & Devices (SSD15), Mahdia, 2015, pp. 1–5,
https://doi.org/10.1109/SSD.2015.7348200.
Ke D., Ying S., Lei B., Jie C., Sun M. A method of human action recognition based on spatio-temporal interest points and PLSA, in: Proceedings of the International Conference on Industrial Informatics-Computing Technology, Intelligent Technology, Industrial Information Integration (ICIICII) IEEE, 2016, pp. 69–72, https://doi.org/10.1109/ICIICII.2016.0028.
Jasim I. F., Plapper P. W. Contact-state recognition of compliant motion robots using expectation maximization-based Gaussian mixtures, ISR/Robotik 2014, in: Proceedings of the 41st International Symposium on Robotics, Munich, Germany, 2014, pp. 1–8, http://hdl.handle.net/10993/17045.
Junji T., Fukukawa T., Fukuda T. Passive alignment principle for robotic assembly between a ring and a shaft with extremely narrow clearance, IEEE/ASME Trans. Mechatron. (21) (2016) 196–204,
https://doi.org/10.1109/TMECH.2015.2448639, 1.
Udai A. D., Joshi R. P., Saha S. K. Depth-based localization for robotic peg-in-tube assembly, 2015, in: Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Hamburg, 2015, pp. 3538–3543, https://doi.org/10.1109/IROS.2015.7353871.
Udai A. D., Hayat A. A., Saha S. K. Parallel active/passive force control of industrial robots with joint compliance, 2014, in: Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems, Chicago, IL, 2014, pp. 4511–4516, https://doi.org/10.1109/IROS.2014.6943201.
Liu Z., Xie Y., Xu J., Chen K. Laser tracker based robotic assembly system for large scale peg-hole parts, in: Proceedings of the 4th Annual IEEE International Conference on Cyber Technology in Automation, Control and Intelligent, Hong Kong, 2014, pp. 574–578,
https://doi.org/10.1109/CYBER.2014.6917527.
Park H., Kim P. K., Bae J., Park J., Baeg M., Park J. Dual arm peg-in-hole assembly with a programmed compliant system, 2014, in: Proceedings of the11th International Conference on Ubiquitous Robots and Ambient Intelligence (URAI), Kuala Lumpur, 2014, pp. 431–433,
https://doi.org/10.1109/URAI.2014.7057477.
Chen H. P., Zhang G., Zhang H., Fuhlbrigge T. A. Integrated robotic system for high precision assembly in a semi-structured environment, Assem. Autom. 3 (27) (2007) 247–252,
https://doi.org/10.1108/01445150710763277.
Song H., Kim M., Song J. USB assembly strategy based on visual servoing and impedance control, 2015, in: Proceedings of the 12th International Conference on Ubiquitous Robots and Ambient Intelligence (URAI), Goyang, 2015, pp. 114–117,
https://doi.org/10.1109/URAI.2015.7358873.
Zheng Y., Zhang X., Chen Y., Huang Y. Peg-in-hole assembly based on hybrid vision/force guidance and dual-arm coordination, 2017, in: Proceedings of the IEEE International Conference on Robotics and Biomimetics (ROBIO), Macau, 2017, pp. 418–423,
https://doi.org/10.1109/ROBIO.2017.8324453.
Ramirez-Alpizar I.G., Harada K., Yoshida E. Human-based framework for the assembly of elastic objects by a dual-arm robot, Robomech J. 1 (4) (2017) 902,
https://doi.org/10.1186/s40648-017-0088-0.
Jain R. K., Saha S., Majumder S. Development of piezoelectric actuator based compliant micro gripper for robotic peg-in-hole assembly, 2013, in: Proceedings of the IEEE International Conference on Robotics and Biomimetics (ROBIO), Shenzhen, 2013, pp. 1562–1567,
https://doi.org/10.1109/ROBIO.2013.6739689.
Nishimura T., Suzuki Y., Tsuji T., Watanabe T. Peg-in-hole under state uncertainties via a passive wrist joint with push-activate-rotation function, 2017, in: 17th IEEE-RAS International Conference on Humanoid Robotics, Humanoids 2017, IEEE Computer Society, 2017, pp. 67–74,
https://doi.org/10.1007/s00170-007-1172‑z.
Чан Чунг Та. Повышение технологической надежности автоматической сборки цилиндрических соединений на основе вращательного движения и низкочастотных колебаний. Дисс. к. т.н. М., 2021. С. 155.
Вартанов М.В., Петров В.К., Зинина И.Н., Нгуен Ван Зунг, Чан Динь Ван (2020). Идентификация положения детали с помощью силомоментного датчика в сборочных операциях типа «вал-втулка» при двухточечном контакте // Автоматизация и измерения в машино-приборостроении. № 2(10). С. 17–26.
Авторы
Вартанов Михаил Владимирович –
доктор технических наук, профессор кафедры «Технологии и оборудование машиностроения» Московского политехнического университета
Нгуен Ван Линь –
аспирант кафедры «Технологии и оборудование машиностроения», Московский политехнический университет
Нгуен Ван Зунг –
аспирант кафедры «Технологии и оборудование машиностроения», Московский политехнический университет
М. В. Вартанов, Нгуен Ван Линь, Нгуен Ван Зунг
Показаны технологические возможности промышленных роботов в сборочном производстве на основе средств пассивной и активной адаптации.
Введение
В настоящее время промышленные роботы широко используются в обрабатывающей промышленности, в том числе в сборочном производстве. Ожидается, что дальнейшее совершенствование методов сборки повысит успешность сборочных операций, сократит трудозатраты и, в конечном счете, обеспечит возможность автоматизации выполнения высокоточных соединений.
Стратегия сборки основана на множестве данных, поступающих с датчиков. Количество и типы датчиков, алгоритмы обработки данных, а также интеграция датчиков и стратегий поиска являются основными факторами, определяющими технологическую надежность, стабильность и скорость выполнения роботизированных сборочных операций.
Сборочные роботы уже используются в машино- и приборостроении. Однако выполнение точных задач сборки по-прежнему представляет собой серьезную проблему для роботов из-за многочисленных источников неопределенности, таких как приспособления, точность положения выходного звена или базирующих приспособлений. Наиболее важной технической проблемой является выбор стратегии поиска для повышения точности позиционирования при сборке. Стратегии поиска оцениваются с точки зрения времени выполнения, точности, стабильности, а также геометрии и точности деталей.
Данный обзор направлен на ознакомление с современными стратегиями поиска и техническими средствами, улучшающими известные алгоритмы. Основное внимание уделяется роботизированной сборке соединений типа «вал – втулка» (ТВВ). Поиск стратегии классифицирован и рассмотрен на основе различных факторов, таких как количество и типы датчиков, а также размеры поисковых пространств. Чтобы выполнить операции по сборке в плохо структурированной среде, стратегия поиска должна объединять и использовать данные с нескольких источников, таких как интеграция силового контроля и зрения. Рассматриваются стратегии поиска с использованием технического зрения.
Стратегии поиска с датчиками
Движения робота могут управляться системами визуального сервопривода на основе изображений и на основе положения. В зависимости от того, получает ли система зрения информацию об изображении из двумерной плоскости, либо информацию о положении и ориентации детали из трехмерного пространства, полученная информация преобразуется в цифровую информацию для управления движением робота, которое можно разделить на методы 2D- и 3D-поиска.
Основной принцип метода 2D-поиска заключается в использовании монокулярной камеры для получения информации об изображении целевого объекта в 2D-плоскости, передачи информации об изображении в систему обработки изображений, а затем, в соответствии с информацией об изображении, такой как цвет, яркость и распределение пикселей, она преобразуется в цифровой сигнал и отправляется на контроллер движения, который управляет роботом для выполнения задачи сборки.
В работе [3] решается задача поиска и сборки на сложных трехмерных деталях, предложен алгоритм, который сочетает в себе локализацию робота с несколькими функциями и коаксиальное машинное зрение, чтобы помочь монокулярной камере (метод 2D-поиска) в визуальном позиционировании. Чтобы четко зафиксировать край отверстия, алгоритм использует преобразование для обнаружения верхней поверхности отверстия и объединяет алгоритм обнаружения края (рис. 1) [4].
Двурукий робот используется для имитации человека без тактильной обратной связи и полагается только на зрение для выполнения задачи сборки. В работе [5] используют робота с двумя руками, как и в работе [6] для выполнения задачи поиска собираемых деталей (рис. 2а). Предложен алгоритм визуального распознавания, основанный на 2D-методе для реализации позиционирования деталей, захвата, поиска деталей и сборки.
Положение и ориентация объекта определяются системой распознавания зрения «глаз в руке» – откалиброванной платой, что устраняет ошибку изображения, вызванную искажением объектива, и повышает точность поиска и позиционирования при сборке.
В процессе поиска с использованием визуальной системы отслеживания и определения местоположения целевого отверстия, обнаруженное визуально отверстие является круглым. Однако из-за перспективной проекции круглое отверстие может стать эллиптическим на изображении, полученном с камеры.
С целью компенсации ошибки относительного положения центра инструмента и манипулируемой детали и для решения проблемы обнаружения эллиптических отверстий в работе [7] предложен метод выделения эллиптического контура, основанный на обнаружении значительных областей на основе настройки частоты и оптимизации модели змеи для обнаружения поиска отверстий, благодаря чему значительно повышается надежность и точность обнаружения целевых отверстий относительно помех окружающей среды (рис. 3). Однако метод 2D-поиска не может выполнять поиск по глубине отверстия.
Цели в трехмерном пространстве
Метод 3D-поиска является основным принципом использования видеокамер для захвата объектов в трехмерном пространстве. Информация о 3D-изображении преобразуется через систему обработки изображений и компьютер и отправляется роботу. Робот может решать точные задачи поиска и сборки в трехмерном пространстве через визуальную систему трехмерных объектов.
В работе [8] оптимизирован процесс калибровки визуальной системы, использующей красный куб для калибровки и контроля, что улучшает метод измерения краев куба (рис. 4а). В работе [9] для обнаружения объектов используется откалиброванная система стереовидения, алгоритм определения угла, основанный на изменении уровня серого. Трехмерная позиция корпуса мобильного телефона реконструируется в соответствии с обнаруженными объектами (рис. 4б).
Стратегии поиска
с датчиком силы
Основной принцип метода сканирования по плоскости состоит в том, чтобы оценить относительное положение вала и втулки, используя крутящий момент, создаваемый отклонением положения между валом и втулкой во время сборки, а затем переместить вал по расчетной траектории. Данная процедура выполняется до тех пор, пока нижний торец вала не попадет в отверстие втулки.
В методе поиска на плоскости есть три основные схемы:
- метод поиска траектории;
- метод расчета с силомоментного датчика;
- разделение контактной зоны (квадрантный метод).
Существует четыре вида основных траекторий, задаваемых при поиске на плоскости (рис. 5):
- поиск по спирали Архимеда;
- поиск по квадратной спирали;
- поиск по ветряной мельнице;
- растровый поиск.
В работе [10] предложена стратегия распознавания положения отверстия втулки, основанная на моделировании состояния контакта и установлении алгоритма распознавания положения отверстия с использованием модели смеси Гаусса [12], основанной на ожидаемой максимизации [13] и пути поиска спирали Архимеда (рис. 5а).
Метод прост, но при точной сборке он требует много времени. В работе [11] предложен алгоритм управления усилием на основе положения и улучшения алгоритма поиска отверстия с помощью генерируемого спирального движения для реализации процесса автоматической зарядки электромобилей (рис. 6).
Поиск цели в трехмерном пространстве: сначала отклоните вал на определенный угол, чтобы нижний конец отверстия образовал очевидную нижнюю точку, затем переместитесь вниз, чтобы нижняя точка вала попала в отверстие, а затем сделайте так, чтобы весь нижний торец вала окончательно попал в отверстие путем соответствующей регулировки движения. Посредством анализа процесса сборки детали можно обнаружить, что если относительное отверстие вала реализуется методом стереоскопического поиска вдоль осей X, Y и Z на определенный угол, начальное состояние контакта при сборке вала в отверстие может быть упрощено до уникального режима контакта.
Работа [14] нацелена на точность и деформацию тонкого кольца, которое легко деформируется во время поиска собираемых деталей (рис. 7). Предложен принцип пассивного центрирования, основанный на напряжении Герца, для уменьшения ошибки позиционирования робота.
В работе [15] предлагается алгоритм поиска сборки на основе профиля глубины (рис. 8). Однако данный алгоритм измеряет глубину деталей для вала от центра до верхней поверхности отверстия путем поворота втулки вокруг вала перпендикулярно верхней поверхности отверстия, а затем, используя профиль глубины для определения ориентации отверстия. При этом используется однорукий робот, основанный на шестикоординатном датчике сил и моментов. В [16] предложена стратегия динамического управления гибкостью пассивного соединения, основанная на ограничении тока, для устранения нестабильных помех, вызванных небольшими отклонениями в процессе поиска собираемой пары деталей. Алгоритм может без изменения обрабатывать различные типы задач сборки, но только в том случае, если собираемые детали находятся на одной высоте.
Стратегии поиска на основе других параметров
Промышленные роботы испытывают трудности с гибкими деталями, с ограничениями по весу и разноразмерности крупных деталей. Поэтому необходимо рассмотреть другие технологии измерения и контроля для высокоточного совмещения, а также стратегии поиска для сборки деталей большого размера. Например, использование лазерных интерферометрических методов наведения. Лазерные измерители обеспечивают динамическое определение трехмерного положения. Система поиска сборки с лазерным наведением на помехи приведена на рис. 9б. Чтобы повысить абсолютную точность позиционирования при сборке крупных деталей в работе [17], используют метод наведения лазера для калибровки геометрических характеристик детали, чтобы устранить неопределенности положения и ориентации, вызванные гибкими приспособлениями.
Кроме того, в дополнение к применению наведения лазера для задачи поиска сборки ТВВ, в работе [18] применили робота с двумя руками и предложили программируемый метод пассивного управления гибкостью, основанный на принципе пассивного контроля соответствия, который реализуется виртуальным контроллером пружины в пространстве задач без дополнительных устройств или датчиков (рис. 9а).
Стратегии поиска с использованием информации из нескольких источников
Стратегия поиска, основанная на одном датчике, снижает не только стоимость задачи поиска сборки ТВВ, но и точность поиска, более того, она ограничена поиском сборки ТВВ только в определенном диапазоне в зависимости от конкретной траектории поиска.
Поэтому исследователи предлагают стратегию поиска взаимодействия с несколькими датчиками для решения проблем точности поиска, дальности поиска и уменьшения повреждения поверхности детали для задачи поиска сборки ТВВ.
Интеграция визуальных и кинестетических датчиков
С целью преодоления ограничений стратегии поиска на основе датчика силы и поиска на основе датчика зрения, в работе [19] приняли стратегию поиска, основанную на датчиках зрения и датчиках силы. При этом было отмечено, что визуальный сервопривод на основе изображений широко используется в квадрокоптерах для обеспечения контроля и позиционирования при наведении. Таким образом, в [19] поставлена задача сборки многогранного вала для роботизированной руки (рис. 10).
Используется стратегия управления с устойчивой связью, а также комбинация визуального сервопривода и гибкого управления с обратной связью по силе.
В работе [20] предложена схема автоматической сборки с использованием визуальных датчиков и датчиков сил и моментов для решения проблемы сборки разъема USB.
Использование системы визуального сервопривода для уменьшения неопределенности позиционирования и перемещения USB-кабеля перед соответствующим USB-портом за счет минимизации ошибок перемещения / угла между текущим и требуемым положением робота. За этим следует плавное контактное движение, основанное на контроле импеданса, для преодоления ошибок перемещения / угла, вызванных визуальными ограничениями. Наконец, определяя силу контакта с помощью датчика сил и моментов, можно определить, выполнена ли задача сборки успешно (рис. 11).
В работе [21] использован относительно простой алгоритм определения угла шахматной доски в библиотеке функций для реализации выравнивания после того, как робот с двумя рычагами захватит детали типа вал и втулка (рис. 12). Робот на основе датчика зрения и силы выполняет задачу совмещения для трех деталей.
Интеграция с другими источниками информации
Основываясь на обычном поведении человека при поиске деталей типа вала и втулки, исследователи предлагают стратегию поиска-сотрудничества, основанную на визуальных датчиках и датчиках силы.
В работе [22] использован «контроллер шагового движения». Контроллер записывает траекторию человеческой руки при установке гибкого круглого кольца на вал, а затем из записанной траектории извлекаются опорные точки положения и ориентации вала.
В планировщике движений, основанном на оптимизации, эти точки используются в качестве целевых для создания траекторий движения роботизированной руки, которые минимально деформируют объект. Затем траектория движения робота генерируется на основе оптимизированного планировщика движений для реализации задачи поиска гибких деталей в сборке (рис. 13б).
Пьезоэлектрический микрозахват и микрооперационная система анализируются с помощью визуальных датчиков, которые могут обеспечить точное позиционирование цели во время операции микрозахвата робота, позволяя ему точно искать и перемещаться из одного положения отверстия в другое положение в рабочем пространстве. Однако единственным ограничением пьезоэлектрического привода являются его пьезоэлектрические нелинейные характеристики [23]. САПР-модель микрооперационной системы на основе пьезоэлектрических приводов и принципиальная схема управления каждым микроманипулятором представлены на рис. 13б.
Стратегия сборки, предложенная в [24], снижает стоимость по сравнению со сборкой с использованием датчиков сил и моментов. Она не только снижает требования к искомым отверстиям, но также выполняет поиск нескольких деталей с отверстиями. Также стратегия повышает гибкость при поиске собираемых деталей на основе визуальных датчиков для позиционного распознавания вала, захваченного манипулятором. Однако алгоритм использует контактное трение для решения задачи поиска сборки, что оказывает существенное влияние на шероховатость и точность контактной поверхности. Кроме того, использование механической конструкции ограничивает гибкость стратегии сборки (рис. 13в).
Исследования в московском политехническом университете
На машиностроительном факультете Московского политехнического университета под руководством профессора М. В. Вартанова ведутся исследования в области роботизированной сборки.
В работе [25] приведены результаты исследования процесса сборки с применением физико-технических эффектов для обеспечения технологической надежности сборочных операций. Расширение технологических возможностей роботизированной сборки может быть достигнуто за счет совместного применения низкочастотной вибрации и вращательного движения. Наличие вибрации позволяет исключить вероятность заклинивания при наличии перекоса деталей. Было доказано, что технологические зоны сборки без заклиниваний могут быть существенно расширены на основе применения эффекта вращения и низкочастотных колебаний (рис. 14). Полученные результаты позволяют утверждать, что при рациональных технологических режимах процесса с использованием эффекта вращения и низкочастотных колебаний полностью исключается вероятность заклинивания и значительно снижаются сборочные силы.
В работе [26] исследован метод активной адаптации, основанный на управлении с обратной связью на основе применения силомоментного датчика. Определено положение точки контакта жесткого вала и втулки, возникающей при сопряжении с помощью сигналов силомоментного датчика. Информация о положении точки контакта позволяет скорректировать движение рабочего органа робота при выполнении операции сборки. Разработанный метод сборки с использованием активной адаптации и применением силомоментного датчика обеспечивает технологическую надежность процессов сопряжения цилиндрических соединений с малым зазором (рис. 15).
В настоящее время на кафедре «Технологии и оборудование машиностроения» Московского Политеха проводятся исследования в области интеллектуальной роботизированной сборки нежестких деталей.
Заключение
В обзоре рассмотрены известные методы в области автоматической и роботизированной сборки. Работы по стратегиям автоматизации сборки и доступные стратегии поиска классифицированы по категориям использования: датчики с одним источником и датчики с несколькими источниками. Обсуждаются стратегии поиска, основанные на параметрах сил, зрения и других физических величин. Рассматриваются работы на основе интеграции сборочных сил и образов, а также данных, получаемых из других источников. При быстром развитии науки и техники цикл замены промышленной продукции во многом определяет долю рынка компаний, а программируемость алгоритмов управления как архитектуры самого низкого уровня для управления роботами и их многочисленными датчиками во многом определяет производственный цикл продукции. Выполненный обзор стратегий поиска при роботизированной сборке имеет большое значение для развития автоматизации сборки изделий в России.
Список литературы
Xu L. D. Industrial information integration–an emerging subject in industrialization and informatization process, J. Ind. Inf. Integr. (2020),
https://doi.org/10.1016/j.jii.2020.100128.
Jiang J. G., Huang Z. Y., Bi Z., Ma X. F., Yu G. State-of-the-Art control strategies for robotic PiH assembly, Robot. Comput. Integr. Manuf. 65 (2020), 101894,
https://doi.org/10.1016/j.rcim.2019.101894.
Yang Z., Liu W., Li H., Li Z. A coaxial vision assembly algorithm for uncentripetal holes on large-scale stereo workpiece using multiple-dof robot, 2018, in: Proceedings of the IEEE International Conference on Imaging Systems and Techniques (IST), Krakow, 2018, pp. 1–6,
https://doi.org/10.1109/IST.2018.8577136.
Chen Z., Li Z., Zhen L., Wei W., You R. The research and application of improved ant colony algorithm with multi-thresholds in edge detection, in: Proceedings of the International Conference on Industrial Informatics-Computing Technology, Intelligent Technology, 2017, pp. 5–9,
https://doi.org/10.1109/ICIICII.2017.27.
Huang Y. J., Zhang X. M., Chen X. M., Jun O. ision-guided peg-in-hole assembly by Baxter robot, Adv. Mech. Eng. 9 (12) (2017), 168781401774807,
https://doi. org/10.1177/1687814017748078.
Kim I. W., Lim D. J., Kim K. I. Active peg-in-hole of chamferless parts using force/moment sensor, 1999, in: Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems. Human and Environment Friendly Robots with High Intelligence and Emotional Quotients (Cat. No.99CH36289) 2, Kyongju, South Korea, 1999, pp. 948–953,
https://doi.org/10.1109/IROS.1999.812802.
Mei B., Zhu W. D., Yan G. R., Ke Y. L. A new elliptic contour extraction method for reference hole detection in robotic drilling, Pattern Anal. Appl. 18 (3) (2015) 695–712,
https://doi.org/10.1007/s10044-014-0394-6.
Baykal I. C. Inspection of screw holes on machine parts using robot vision, 2018, in: Proceedings of the International Conference on Artificial Intelligence and Data Processing (IDAP), Malatya, Turkey, 2018, pp. 1–5,
https://doi.org/10.1109/IDAP.2018.8620904.
Chang W., Weng Y., Tsai Y., Chang C. Automatic robot assembly with eye-inhand stereo vision, 2011, in: Proceedings of the 9th World Congress on Intelligent Control and Automation, Taipei, 2011, pp. 914–919,
https://doi.org/10.1109/WCICA.2011.5970649.
Jasim I. F., Plapper P. W., Voos H. Position identification in force-guided robotic peg-in-hole assembly tasks, Procedia CIRP 23 (C) (2014) 217–222,
https://doi. org/10.1016/j.procir.2014.10.077. CIRP 23.
Bdiwi M., Suchý J., Jockesch M., Winkler A. Improved peg-in-hole (5‑pin plug) task: intended for charging electric vehicles by robot system automatically, 2015, in: Proceedings of the IEEE 12th International Multi-Conference on Systems, Signals & Devices (SSD15), Mahdia, 2015, pp. 1–5,
https://doi.org/10.1109/SSD.2015.7348200.
Ke D., Ying S., Lei B., Jie C., Sun M. A method of human action recognition based on spatio-temporal interest points and PLSA, in: Proceedings of the International Conference on Industrial Informatics-Computing Technology, Intelligent Technology, Industrial Information Integration (ICIICII) IEEE, 2016, pp. 69–72, https://doi.org/10.1109/ICIICII.2016.0028.
Jasim I. F., Plapper P. W. Contact-state recognition of compliant motion robots using expectation maximization-based Gaussian mixtures, ISR/Robotik 2014, in: Proceedings of the 41st International Symposium on Robotics, Munich, Germany, 2014, pp. 1–8, http://hdl.handle.net/10993/17045.
Junji T., Fukukawa T., Fukuda T. Passive alignment principle for robotic assembly between a ring and a shaft with extremely narrow clearance, IEEE/ASME Trans. Mechatron. (21) (2016) 196–204,
https://doi.org/10.1109/TMECH.2015.2448639, 1.
Udai A. D., Joshi R. P., Saha S. K. Depth-based localization for robotic peg-in-tube assembly, 2015, in: Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Hamburg, 2015, pp. 3538–3543, https://doi.org/10.1109/IROS.2015.7353871.
Udai A. D., Hayat A. A., Saha S. K. Parallel active/passive force control of industrial robots with joint compliance, 2014, in: Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems, Chicago, IL, 2014, pp. 4511–4516, https://doi.org/10.1109/IROS.2014.6943201.
Liu Z., Xie Y., Xu J., Chen K. Laser tracker based robotic assembly system for large scale peg-hole parts, in: Proceedings of the 4th Annual IEEE International Conference on Cyber Technology in Automation, Control and Intelligent, Hong Kong, 2014, pp. 574–578,
https://doi.org/10.1109/CYBER.2014.6917527.
Park H., Kim P. K., Bae J., Park J., Baeg M., Park J. Dual arm peg-in-hole assembly with a programmed compliant system, 2014, in: Proceedings of the11th International Conference on Ubiquitous Robots and Ambient Intelligence (URAI), Kuala Lumpur, 2014, pp. 431–433,
https://doi.org/10.1109/URAI.2014.7057477.
Chen H. P., Zhang G., Zhang H., Fuhlbrigge T. A. Integrated robotic system for high precision assembly in a semi-structured environment, Assem. Autom. 3 (27) (2007) 247–252,
https://doi.org/10.1108/01445150710763277.
Song H., Kim M., Song J. USB assembly strategy based on visual servoing and impedance control, 2015, in: Proceedings of the 12th International Conference on Ubiquitous Robots and Ambient Intelligence (URAI), Goyang, 2015, pp. 114–117,
https://doi.org/10.1109/URAI.2015.7358873.
Zheng Y., Zhang X., Chen Y., Huang Y. Peg-in-hole assembly based on hybrid vision/force guidance and dual-arm coordination, 2017, in: Proceedings of the IEEE International Conference on Robotics and Biomimetics (ROBIO), Macau, 2017, pp. 418–423,
https://doi.org/10.1109/ROBIO.2017.8324453.
Ramirez-Alpizar I.G., Harada K., Yoshida E. Human-based framework for the assembly of elastic objects by a dual-arm robot, Robomech J. 1 (4) (2017) 902,
https://doi.org/10.1186/s40648-017-0088-0.
Jain R. K., Saha S., Majumder S. Development of piezoelectric actuator based compliant micro gripper for robotic peg-in-hole assembly, 2013, in: Proceedings of the IEEE International Conference on Robotics and Biomimetics (ROBIO), Shenzhen, 2013, pp. 1562–1567,
https://doi.org/10.1109/ROBIO.2013.6739689.
Nishimura T., Suzuki Y., Tsuji T., Watanabe T. Peg-in-hole under state uncertainties via a passive wrist joint with push-activate-rotation function, 2017, in: 17th IEEE-RAS International Conference on Humanoid Robotics, Humanoids 2017, IEEE Computer Society, 2017, pp. 67–74,
https://doi.org/10.1007/s00170-007-1172‑z.
Чан Чунг Та. Повышение технологической надежности автоматической сборки цилиндрических соединений на основе вращательного движения и низкочастотных колебаний. Дисс. к. т.н. М., 2021. С. 155.
Вартанов М.В., Петров В.К., Зинина И.Н., Нгуен Ван Зунг, Чан Динь Ван (2020). Идентификация положения детали с помощью силомоментного датчика в сборочных операциях типа «вал-втулка» при двухточечном контакте // Автоматизация и измерения в машино-приборостроении. № 2(10). С. 17–26.
Авторы
Вартанов Михаил Владимирович –
доктор технических наук, профессор кафедры «Технологии и оборудование машиностроения» Московского политехнического университета
Нгуен Ван Линь –
аспирант кафедры «Технологии и оборудование машиностроения», Московский политехнический университет
Нгуен Ван Зунг –
аспирант кафедры «Технологии и оборудование машиностроения», Московский политехнический университет
Отзывы читателей
