این سایت در حال حاضر پشتیبانی نمی شود و امکان دارد داده های نشریات بروز نباشند
پردازش علائم و داده ها، جلد ۱۴، شماره ۴، صفحات ۹۷-۱۱۶
عنوان فارسی استفاده از برآورد حالت‌های پویای دست مبتنی بر مدل، برای تقلید عملکرد بازوی انسان توسط ربات با داده‌های کینکت
چکیده فارسی مقاله برای اجرای فرآیند ضبط حرکت، لازم است داده­های مناسب، در طول زمان با دنبال‌کردن نقاط کلیدی از هدف مورد نظر استخراج شوند. با این داده­ها و طی یک سری عملیات پس­پردازشی کارهای زیادی از جمله ساخت مجدد آن حرکت در فضای سه­بعدی می‌توان انجام داد. در این مقاله یک الگوی برآورد حالت­های پویای دست مبتنی بر مدل با استفاده از روش ضبط حرکت بدون نشانه­گذاری ارائه می­شود. در این پژوهش حرکات بازوی عامل انسانی در قالب دنباله­ای از تصاویر رنگی به همراه داده­های عمق و اسکلت به‌دست‌آمده از کینکت (ابزاری برای ضبط حرکت بدون نشانه­گذاری) با سرعت سی فریم در ثانیه به‌عنوان داده­های ورودی­ استفاده شده­اند. الگوی پیشنهادی، ویژگی­های زمانی و مکانی از دنباله تصاویر ورودی استخراج می­کند و روی تعیین موقعیت نوک انگشتان شست و اشاره و به‌دست‌آوردن زوایای مفاصل ربات، به‌منظور تقلید حرکت بازوی عامل انسانی در سه ­بعد در یک محیط کنترل‌نشده تمرکز دارد. در این پژوهش از  بازوی ربات واقعی RoboTEK II ST240 استفاده شده و حرکات بازوی عامل انسانی به حرکات تعریف‌شده برای این بازوی ربات محدود شده است. بردارویژگی جهت برآورد حالت به‌ازای هر فریم، به مختصات x، y و عمق برخی مفاصل و مختصات نوک انگشتان شست و اشاره نیازدارد. از داده­های عمق و اسکلت برای تعیین زوایای مفاصل ربات استفاده می­شود؛ ولی تعیین نوک انگشتان به‌طور مستقیم با داده­های موجود امکان­پذیر نیست؛ از این­رو سه رویکرد برای شناسایی نوک انگشتان شست و اشاره با استفاده از داده­های موجود ارائه می­شود. در این رویکردها از مفاهیمی همچون آستانه­گیری، لبه­یابی، ساخت پوسته محدب، مدل‌کردن رنگ پوست و تفریق پس­زمینه استفاده می­شود. در پایان برای تقلید حرکت، با استفاده از بردارهای ویژگی به‌ازای هر فریم، حالت متناظر بر روی بازوی ربات اعمال می­شود. برای ارزیابی تقلید حرکت، مسیرهای طی‌شده توسط قسمت نهایی دست عامل انسانی و قسمت مجری نهایی بازوی ربات با هم مقایسه شده‌اند. نمودارهایی که میزان تغییرات زوایای مفاصل را برای این دو مورد نشان می­دهند، گویای مؤثر بودن الگوی پیشنهادی در تقلید عملکرد بازوی انسانی است.  
کلیدواژه‌های فارسی مقاله
عنوان انگلیسی Using of Model Based Hand Poses Estimation for Imitation of User's Arm Movements by Robot Arm
چکیده انگلیسی مقاله Pose estimation is a process to identify how a human body and/or individual limbs are configured in a given scene. Hand pose estimation is an important research topic which has a variety of applications in human-computer interaction (HCI) scenarios, such as gesture recognition, animation synthesis and robot control. However, capturing the hand motion is quite a challenging task due to its high flexibility. Many sensor-based and vision-based methods have been proposed to fulfill the task. In sensor-based systems, specialized hardware is used for hand motion capture. Generally, vision-based hand pose estimation methods can be divided into two categories: appearance-based methods and model-based methods. In appearance-based approaches, various features are extracted from the input images to estimate the hand pose. Usually a lot of training samples are used to train a mapping function from the features to the hand poses in advance. Given the learned mapping function, the hand pose can be estimated efficiently. In model-based approaches the hand pose is estimated by aligning a projected 3D hand model to the extracted hand features in the inputs. Therefore, the desired information to be provided includes state at any time. These methods require a lot of calculations which are not possible in practice to implement them immediately. Hand pose estimation using (color/depth) images consist of three steps: Hand detection and its separation Feature extraction Setting the parameters of the model using extracted feature and updating the model To extract necessary features for pose estimation, depending on used model and usage of hand gesture analysis, features such as fingertips position, number of fingers, palm position and joint angles are extracted. In this paper a model-based markerless dynamic hand poses estimation scheme is presented.  Motion Capture is the process of recording a live motion event and translating it into usable mathematical terms by tracking a number of key points in space over time and combining them to obtain a single 3D representation of the performance. The sequence of depth images, color images and skeleton data obtained from Kinect (a new tool for markerless motion capture) at 30 frames per second are as inputs of this scheme. The proposed scheme exploits both temporal and spatial features of the input sequences, and focuses on index and thumb fingertips localization and joint angles of the robot arm to mimic the user's arm movements in 3D space in an uncontrolled environment. The RoboTECH II ST240 is used as a real robot arm model. Depth and skeleton data are used to determine the angles of the robot joints. Three approaches to identify the tip of the thumb and index fingers are presented using existing data, each with its own limitations. In these approaches, concepts such as thresholding, edge detection, making convex hull, skin modeling and background subtraction are used. Finally, by comparing tracked trajectories of the user's wrist and robot end effector, the graphs show an error about 0.43 degree in average which is an appropriate performance in this research. The key contribution of this work is hand pose estimation per every input frame and updating arm robot according to estimated pose. Thumb and index fingertips detection as part of feature vector resulted using presented approaches. User movements transmit to the corresponding Move instruction for robot. Necessary features for Move instruction are rotation values around joints in different directions and opening value of index and thumb fingers at each other.  
کلیدواژه‌های انگلیسی مقاله
نویسندگان مقاله مریم زارع مهرجردی | Maryam Zare mehrjardi
Yazd University
دانشگاه یزد

مهدی رضائیان | Mehdi Rezaeian
Yazd University
دانشگاه یزد

نشانی اینترنتی http://jsdp.rcisp.ac.ir/browse.php?a_code=A-10-992-1&slc_lang=fa&sid=fa
فایل مقاله اشکال در دسترسی به فایل - ./files/site1/rds_journals/1315/article-1315-577509.pdf
کد مقاله (doi)
زبان مقاله منتشر شده fa
موضوعات مقاله منتشر شده مقالات پردازش تصویر
نوع مقاله منتشر شده پژوهشی
برگشت به: صفحه اول پایگاه   |   نسخه مرتبط   |   نشریه مرتبط   |   فهرست نشریات