AI操控机器人体验:从人体跟随到懒人梦想,地平线TogetherROS软件栈的实践与挑战 海南seo优化排名

发布时间 - 2026-01-15 23:05:39    点击率:

预约渠道:

课程正文: 摘要:

在AI控制机器人系列人体跟随教程第二期中,地平线高级程序员朱考爸爸利用地平线发布的机器人开发平台软件栈搭建了一个人体跟随机器人。

同为开发者的梁雪对AI的世界充满憧憬,希望生活中也能有AI。她一直是一个只会说话却不会做事的懒人,所以她热衷于体验各种AI机器人,尤其是那些会说话的机器人。一个可以控制的机器人,我以为有一天我会过上只会说话而不会用手的生活,所以我有以下经历。

产品A:确实你说话的时候我可以跟着你,但是我真的不想说完之后还得右转去引导它右转……

产品B:为什么还要用手去遥控呢……唉,达不到懒人想象的那样。

难道不用嘴就可以让机器人移动并控制机器人吗?答案一定是,是的!下面,地平线AI控制机器人系列——语音控制首次亮相。

1. 功能介绍

我们先看一下最终的函数。

语音控制

从开始讲话到机器人根据指令快速准确的运动,得益于​​n  Sun®️的5Tops算力BPU的降噪、回声消除以及高精度ASR识别功能。在开始编码之前,我们先简单分析一下人体跟随机器人需要哪些基本模块。

语音输入 - 麦克风

Xuri X3 Pie 使用麦克风阵列硬件来拾取声音。通过麦克风采集音频,然后交给后面的智能语音分析模块进行处理。

智能语音感知

智能语音算法对原始音频进行处理、音频去噪、语音识别。还可以输出语音声源定位的DOA角。

相互作用

识别出语音后,定义并实现不同语音对应的不同功能应用,例如“向前走”语音控制机器人前进。

控制

根据“交互”模块输出的控制指令,实现机器人的机械控制。

机器人本体

当然,还需要具有运动能力的机器人本体,来接收控制指令并控制电机运动,最终达到通过语音控制机器人运动的效果。

​​n发布的机器人开发平台软件栈内置了丰富且易于使用的机器人开发组件,包括构建智能机器人应用程序所涉及的所有功能模块(例如机器人语音控制)。它完全开源、免费,并且允许开发者进行二次开发。

2、准备工作

按照应用案例准备构建机器人本体的硬件设备和软件包。

硬件

① 旭日X3阵营

②麦克风阵列及转接板

③机器人

这次我就用这款轮足机器人来介绍一下。没有的开发者不必担心。我将在文章后面介绍如何构建自己的机器人。

安装系统

请参阅Xuri X3 Pie用户手册的安装系统章节。安装完成(或已经安装)后,需要更新系统。

系统配置

要配置 Xuri X3 Pi 的无线网络,请参阅 Xuri X3 Pi 用户手册的无线网络章节。

安装

使用 apt 命令通过 DEB 包安装。使用ssh root@192.168.1.147登录Xuri X3,执行命令:

<p style='margin-bottom:15px;color:#555555;font-size:15px;line-height:200%;text-indent:2em;'> <pre><code>root@ubuntu:~# sudo apt install hhp root@ubuntu:/userdata# ls /opt/ tros</code></pre></p>

可以看到已经安装在/opt目录下,说明安装成功。至此,准备工作就结束了。下面我们开始使用这些硬件设备和软件包来构建机器人本体。

3. 使用介绍

接下来开始操作各个功能模块,然后一步一步组装起来,验证其功能。

安装音频麦克风

首先,您需要将 Xuri X3 Pi 连接到音频适配器板。安装好的Xuri X3 Pi和音频板如下:

直接使用ROS测试麦克风阵列的功能,通过脚本加载麦克风阵列驱动,启动智能语音识别模块。使用ssh root@192.168.1.147登录Xuri X3后,在终端(以下默认终端都是通过ssh登录)输入以下命令启动:

<p style='margin-bottom:15px;color:#555555;font-size:15px;line-height:200%;text-indent:2em;'> <pre><code># 配置TogetherROS环境 source /opt/tros/setup.bash # 从TogetherROS的安装路径中拷贝出运行示例需要的配置文件。 cp -r /opt/tros/lib/hobot_audio/config/ . # 加载音频驱动,设备启动之后只需要加载一次 bash config/audio.sh #启动launch文件 ros2 launch hobot_audio hobot_audio.launch.py</code></pre></p>

智能语音识别模块默认发布的智能语音消息主题名为:/。您可以通过在另一个终端上执行 ros2 topic list 命令来查询该主题信息:

<p style='margin-bottom:15px;color:#555555;font-size:15px;line-height:200%;text-indent:2em;'> <pre><code>$ ros2 topic list /audio_smart </code></pre></p>

语音识别和指令词控制小车运动功能

在 Sun X3上打开终端并启动语音识别和控制脚本

<p style='margin-bottom:15px;color:#555555;font-size:15px;line-height:200%;text-indent:2em;'> <pre><code># 配置TogetherROS环境 source /opt/tros/setup.bash # 从TogetherROS的安装路径中拷贝出运行示例需要的配置文件。 cp -r /opt/tros/lib/hobot_audio/config/ . # 加载音频驱动,设备启动之后只需要加载一次 bash config/audio.sh #启动launch文件 ros2 launch audio_control hobot_audio_control.launch.py</code></pre></p>

在当前终端执行ros2 topic echo /命令,查询Xuri X3上的topic信息。当声控“前进”时,终端输出如下:

<p style='margin-bottom:15px;color:#555555;font-size:15px;line-height:200%;text-indent:2em;'> <pre><code>linear:   x: 0.30000001192092896   y: 0.0   z: 0.0 angular:   x: 0.0   y: 0.0   z: 0.0</code></pre></p>

表明智能语音识别算法和交互功能软件包已成功安装,并且可以通过/topic对外发布机器人运动控制消息。

在机器人上安装  Sun X3 Pie

首先,需要在 Xuri X3 Pi 上安装音频板。其次,将配备线性四麦克风麦克风阵列的Xuri X3 Pi直接固定在机器人上,将机器人的USB控制接口插入Xuri X3 Pi。安装效果如下:

安装完成后,您可以通过控制机器人运动来检查安装是否成功。在 Sun X3 Pie上启动Benmo Biped机器人运行控制节点,打开终端,然后执行以下命令:

<p style='margin-bottom:15px;color:#555555;font-size:15px;line-height:200%;text-indent:2em;'> <pre><code># 配置TogetherROS环境 source /opt/tros/setup.bash #启动本末机器人运动控制package ros2 run diablo_sdk ros_bridge_example </code></pre></p>

在 Sun X3上重新打开一个终端,通过发布/主题消息控制机器人以0.3r/s的速度旋转:

<p style='margin-bottom:15px;color:#555555;font-size:15px;line-height:200%;text-indent:2em;'> <pre><code> # 配置TogetherROS环境 source /opt/tros/setup.bash ros2 topic pub -r 10 /cmd_vel geometry_msgs/Twist &#39;{linear: {x: 0, y: 0, z: 0}, angular: {x: 0, y: 0, z: 0.3}}&#39;</code></pre></p>

机器人收到控制命令后转动的效果如下:

机器人接受旋转指令

4.完整的机器人声控效果

在 Sun X3上打开终端并启动智能语音识别和语音控制脚本

<p style='margin-bottom:15px;color:#555555;font-size:15px;line-height:200%;text-indent:2em;'> <pre><code># 配置TogetherROS环境 source /opt/tros/setup.bash # 从TogetherROS的安装路径中拷贝出运行示例需要的配置文件。 cp -r /opt/tros/lib/hobot_audio/config/ . # 加载音频驱动,设备启动只需要加载一次 bash config/audio.sh #启动语音控制launch文件 ros2 launch audio_control hobot_audio_control.launch.py</code></pre></p>

在 Sun X3上打开终端并启动机器人运动控制节点

<p style='margin-bottom:15px;color:#555555;font-size:15px;line-height:200%;text-indent:2em;'> <pre><code># 配置TogetherROS环境 source /opt/tros/setup.bash #启动本末机器人运动控制Node ros2 run diablo_sdk ros_bridge_example</code></pre></p>

通过语音控制机器人动作

语音控制

五、原理分析

对于复杂的机器人系统,机器人一般配备两个处理器:主机和从机。声控机器人由两部分组成,分为上位机和下位机。各部分详细组成如下:

6.语音控制进阶

在智能语音识别Node中,设备唤醒词和命令词默认配置在/opt/tros/lib///hrsc/.json文件中(当然,如果用户将此文件夹复制到其他路径,以实际使用的配置路径为准):

<p style='margin-bottom:15px;color:#555555;font-size:15px;line-height:200%;text-indent:2em;'> <pre><code>{ "cmd_word": [   "地平线你好",   "向前走",   "向后退",   "向左转",   "向右转",   "停止运动" ] } </code></pre></p>

配置文件中的第一项是唤醒字,后面是命令字。用户可以根据需要进行配置,自定义语音操作。

本文转载自​​n开发者社区。完整文章请参见:


# AI操控机器人体验:从人体跟随到懒人梦想  # 地平线TogetherROS软件栈的实践与挑战  # AI操控机器人体验  # 从人体跟随到懒人梦想  # 语音识别  # 加载  # 配置文件  # 软件包  # 只需要  # 您可以  # 只会  # 用手  # 准备工作  # 自己的  # 都是  # 用户手册  # 进阶  # 我会  # 还可以  # 尤其是  # 首次  # 将在  # 我有  # 我真  # seo基础认准23火星  # 江苏新款seo代运营  # 汕头网站建设哪个好  # 平山网站关键词优化  # 正规的网站排名优化  # 仙湖网站seo优化  # 广西新品牌推广网站  # 工业网站建设  # 12星座营销推广口号  # 白酒推广的网站或者页面  # 孝昌招商帮招聘seo  # 滦县抖音seo哪家好  # 网站制作优化推广策略  # 多多参谋关键词排名  # 济南seo关键词做排名  # 济南企业网站优化推广特点  # 建设网站公司哪里有  # 西安网站整体优化  # 西乡塘企业网站建设  # 网站建设文章推荐 


相关栏目: 【 网站优化151355 】 【 网络推广146373 】 【 网络技术251813 】 【 AI营销90571


相关推荐: 黑帽SEO的落幕,锦绣大地SEO培训引领新时代SEO浪潮,在线seo优化资源  广州SEO服务哪家靠谱介绍广州地区优质SEO服务商,抖音seo搜索排名入门  SEO入门玄关隔断摆件,打造家居风水与美学的完美融合,亦庄网站整站优化公司  SEO符合:提升网站排名的秘诀,助力企业赢在搜索引擎优化的赛道,优化没续费 网站没了  广州百度推广学校,助力企业迈向数字化未来,邮件怎么推广携程网站  SEO开发:数字营销的核心驱动力,园区网站建设  外链SEO,提升网站排名的关键因素及优化步骤,如何优化网站问题  广州百度推广多少钱?全方位解析收费标准与效果,营销推广单价怎么算的  SEO单页网站:助力企业在线营销的一站式解决方案,湖南视频网站优化方式  爱秀|直播|:安卓热门分享平台,集多样功能与独特体验于一身   福建百度推广没有咨询量怎么办?实用建议提升转化率,加盟推广那个网站好  SEO笔记:如何打造高效的SEO策略提升网站排名,网站优化优质服务方案  SEO包月服务:助力企业提升网站排名与流量的长期利器,网站建设流程 报读文库  淮安SEO网络推广,助力企业腾飞的新引擎,菏泽线下门店seo软件  福建百度推广费用一年多少钱合适?详解预算制定与影响因素,怎么在论坛推广网站  广州百度推广问题解析与解决方案,忠县做网站建设  9月16日抖音举办不实信息治理开放日,谣言曝光量降67%   福建百度推广助手怎么安装及操作指南,丽水品牌网站建设  SEO目标:让您的网站轻松登顶搜索引擎,优化购物网站的搜索  饶平SEO,探索数字营销的奥秘与策略,佛山网站建设大全  探索未知,我的成长之旅与自媒体营销的融合,seo中标题写法  介绍资深SEO外包费用,投资与回报的平衡之路,谷歌seo镜像站玩法  高校党校学院分校:牢记党校初心,明确讲授根本提升培训质效   9.9全民焕新节凌晨抢货火爆,中华通网络电话受青睐?   阜康外贸SEO优化推广,助力企业打开国际市场新局面,seo站外优化流程  合肥SEO技术,助力企业提升网络曝光度,抢占市场先机,淮安网站seo优化服务  南康区SEO网络营销,挖掘潜力的金钥匙,昌邑网站优化公司  探索未知,我的自媒体之路,台州seo优化客服电话  重庆谷歌SEO,谁做得好?让我们一探究竟,南通网站建设总部在哪里  SEO批量挖掘长尾关键词的方法,精准定位,提升网站流量,南阳seo公司稳健火星  SEO指:如何通过精准优化提高网站流量和转化率,无锡论坛营销推广要多久  Excel表格设置下拉菜单选项的多种方法,你知道几种?   沙田SEO优化费用揭秘,如何高效提升网站排名?,喜来登酒店营销推广方案  广州百度推广内容解析,助力企业数字化营销新突破,微博图书营销推广  广州百度推广佣金到账时间及优化建议,fb营销推广怎么做的呢  永州SEO专业公司助力企业互联网营销,抢占市场先机,齐齐哈尔seo网站排名  太和县SEO优化,挖掘地域特色,助力企业腾飞,网站排名seo公司推荐  广州百度推广与微信营销的结合,开启数字营销新篇章,抖音给其他网站做推广  介绍巴南专业SEO优化,效果显著,助力企业腾飞,京东关键词排名低  广州百度推广是干什么的?,推广网站心细火23星去  潮州短|视频|SEO优化,打造爆款|视频|,抢占流量高地,seo公司是怎么做seo的  SEO系统在品达公关中的运用与优化步骤,衢州网站开发价格优化  广州抖音SEO咨询,助力企业抢占短|视频|营销高地,汕头网站seo运营  广州快速SEO优化收费标准介绍,如何选择性价比高的服务,seo网站抉择火星推荐  搜索引擎优化(SEO)的艺术与科学,长安网站建设公司大全  分享免费下载无损音乐网站,车载CD刻录歌曲不愁啦   武隆区SEO优化市场介绍,价格与价值并重,助力企业腾飞,南京网站建设优化  广州百度推广管家,助力企业精准营销的新选择,创业网站建设总结ppt  大丰区SEO优化运营攻略,提升网站排名,助力企业腾飞,邯郸关键词排名企业  泰兴SEO优化建设,打造数字时代的商业传奇,抚顺本地网站推广哪家好