0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

基于Hi3516开发板的智能相机设计方案

电子发烧友开源社区 来源:HarmonyOS官方合作社区 作者:HarmonyOS官方合作社 2022-03-25 09:10 次阅读

1

概述

本Demo是基于Hi3516开发板,使用开源OpenHarmony3.0-LTS开发的应用。通过获取摄像头数据,实现预览拍照以及路视频等功能。并且通过后台AI服务识别唤醒词来进行语音控制拍照及录视频。

1. 应用运行效果图:

此为相机的预览界面。

2. 智能相机使用示意图

7ed1e128-ab84-11ec-aa7f-dac502259ad0.png

如上图所示,用户对着相机说对应的唤醒词,相机收集到对应的音频,经过AI服务识别对应的文字,最后传到相机进行对应的操作。

2

快速上手

1. 开发环境准备

硬件准备

  1. 预装windows系统的PC机

  2. Hi3516DV300 IoT Camera开发板

  3. USB转串口线、网线(Windows工作台通过USB转串口线、网线与Hi3516DV300 开发板连接)

Linux编译服务器基础环境准备

开发基础环境由windows 工作台和Linux 编译服务器组成。windows 工作台可以通过samba 服务或ssh 方式访问Linux编译服务器。其中windows 工作台用来烧录和代码编辑,Linux编译服务器用来编译OpenHarmony代码,为了简化步骤,Linux编译服务器推荐安装Ubuntu20.04。

安装和配置Python

  • 打开Linux终端。

  • 输入如下命令,查看python版本号,需要使用python3.7以上版本,否则参考 系统基础环境搭建。

python3 --version

左右滑动查看全部内容

  • 安装并升级Python包管理工具(pip3)

sudo apt-get install python3-setuptools python3-pip -ysudo pip3 install --upgrade pip

左右滑动查看全部内容

安装LLVM

  • 下载LLVM工具。

  • 解压LLVM安装包至~/llvm路径下。

tar -zxvf llvm.tar -C ~/

左右滑动查看全部内容

  • 设置环境变量

vim ~/.bashrc

左右滑动查看全部内容

将以下命令拷贝到.bashrc文件的最后一行,保存并退出。

export PATH=~/llvm/bin:$PATH

左右滑动查看全部内容

  • 使环境变量生效

source ~/.bashrc

左右滑动查看全部内容

安装hb

运行如下命令安装hb。

python3 -m pip install --user ohos-build

左右滑动查看全部内容

设置环境变量

vim ~/.bashrc

左右滑动查看全部内容

将以下命令拷贝到.bashrc文件的最后一行,保存并退出

export PATH=~/.local/bin:$PATH

左右滑动查看全部内容

执行如下命令更新环境变量

source ~/.bashrc

左右滑动查看全部内容

执行"hb -h",有打印以下信息即表示安装成功

usage: hb
OHOS build system
positional arguments: {build,set,env,clean}  build        Build source code  set         OHOS build settings  env         Show OHOS build env  clean        Clean output
optional arguments: -h, --help      show this help message and exit

左右滑动查看全部内容

Hi3516开发环境准备

将Linux shell改为bash,查看shell是否为bash,在终端运行如下命令

ls -l /bin/sh

左右滑动查看全部内容

如果显示为“/bin/sh -> bash”则为正常,否则请按以下方式修改:

sudo rm -rf /bin/shsudo ln -s /bin/bash /bin/sh

左右滑动查看全部内容

安装编译依赖基础软件(仅Ubuntu 20+需要)

sudo apt-get install build-essential && sudo apt-get install gcc && sudo apt-get install g++ && sudo apt-get install make && sudo apt-get install zlib* && sudo apt-get install libffi-dev

左右滑动查看全部内容

安装文件打包工具

打开Linux编译服务器终端。运行如下命令,安装dosfstools。

sudo apt-get install dosfstools

左右滑动查看全部内容

运行如下命令,安装mtool

sudo apt-get install mtools

左右滑动查看全部内容

运行如下命令,安装mtd-utils

sudo apt-get install mtd-utils

左右滑动查看全部内容

安装hc-gen

  • 打开Linux编译服务器终端。

  • 下载hc-gen工具。

  • 解压hc-gen安装包到Linux服务器~/hc-gen路径下。

tar -xvf hc-gen-0.65-linux.tar -C ~/

左右滑动查看全部内容

  • 设置环境变量

vim ~/.bashrc

左右滑动查看全部内容

将以下命令拷贝到.bashrc文件的最后一行,保存并退出。

export PATH=~/hc-gen:$PATH

左右滑动查看全部内容

  • 使环境变量生效

source ~/.bashrc

左右滑动查看全部内容

安装Java 虚拟机环境

  • 打开Linux编译服务器终端

  • 安装Java运行时环境(JRE)

sudo apt-get install default-jre

左右滑动查看全部内容

  • 安装Java sdk开发工具包

sudo apt-get install default-jdk

左右滑动查看全部内容

PS:

java虚拟机是应用签名打包时才会用到的,SDK中默认的3个系统应用是需要签名打包,所以需要安装java虚拟机,没有安装的话,应用签名打包时会报如下错误:

7ee58372-ab84-11ec-aa7f-dac502259ad0.png

如果不涉及到应用的签名打包,可以不用安装此环境。

源码下载&&编译准备

环境搭完后,就该准备代码了。

OpenHarmony源码下载方法多种多样,本文重点介绍linux + repo方式下载。

下载repo

curl https://gitee.com/oschina/repo/raw/fork_flow/repo-py3 > /usr/local/bin/repochmod a+x /usr/local/bin/repopip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple requests

左右滑动查看全部内容

下载OpenHarmony源码

#特别注意:请下载OpenHarmony 3.0 LTS 版本,后续会更新支持OpenHarmony其他版本repo init -u git@gitee.com:openharmony/manifest.git -b OpenHarmony-3.0-LTS --no-repo-verifyrepo sync -crepo forall -c 'git lfs pull'

左右滑动查看全部内容

下载智能相机代码

具体仓库地址: knowledge_demo_smart_home

通过git命令下载(方便后期代码上传管理,建议先将仓库fork到自己账号目录,然后再下载):

git clone git@gitee.com:xxxxxxx/knowledge_demo_smart_home.git
其中xxxxxxx为fork后相关账号名字。

左右滑动查看全部内容

代码拷贝

a. 在OpenHarmony的vendor目录下新建一个team_x的目录:

mkdir vendor/team_x

左右滑动查看全部内容

7f02f038-ab84-11ec-aa7f-dac502259ad0.png

b. 将下载的智能中控屏代码的代码拷贝到新建的team_x下面:

cp -rf ../knowledge_demo_smart_home/dev/team_x/smart_camera/ vendor/team_x/

左右滑动查看全部内容

7f10a610-ab84-11ec-aa7f-dac502259ad0.png

7f29262c-ab84-11ec-aa7f-dac502259ad0.png

到此,代码就准备完成,可以进行编译了。

2. 代码编译

代码目录结构

在编译代码前,可以先了解一下代码目录结构,我们的demo主要包含2个部分,一个是相机(demo_cameraApp),负责相机相关功能,其次就是AI语音识别服务(demo_keyword_spotting),否则语音是采集以及识别。

demo_cameraApp 代码目录结构:

|—— BUILD.gn       // 编译脚本|—— resources       // 资源文件|—— config.json       // 安装包所需要的json文件|—— include| |—— smart_camera_ability.h   // 入口类的头文件| |—— smart_camera_ability_slice.h // 相机页面类定义的头文件| |—— camera_manager.h    // 相机功能封装类的头文件| |—— event_listener.h    // 监听事件类的头文件| |—— server_socket.h     // socket 服务相关接口的头文件| |__ ui_config.h      // 相机UI相关宏定义的头文件||__ src |—— smart_camera_ability.cpp |—— smart_camera_ability_slice.cpp // 相机页面相关实现 |—— camera_manager.cpp    // 相机功能封装类的实现 |__ server_socket.c     // socket 服务相关接口的实现,主要用来接收ai识别后的结果

左右滑动查看全部内容

demo_keyword_spotting 代码目录结构:

|—— BUILD.gn       // 编译脚本|—— kws_app.cpp       // 应用入口|—— kws_manager.cpp      // 语音识别管理相关实现|—— kws_manager.h      // 语音识别管理头文件|—— audio_cache.cpp      // 语音采集相关实现|—— audio_cache.h      // 语音采集头文件|—— client_socket.c      // socket 服务相关接口的实现,主要用来发送识别后的结果|__ client_socket.h      // socket 服务相关接口的头文件

左右滑动查看全部内容

特别说明:AI语音识别服务是一个后台服务应用,因此我们需要通过设置让它自启动,配置文件如下

vendor/team_x/smart_camera/init_configs/init_liteos_a_3516dv300.cfg

左右滑动查看全部内容

具体修改步骤:

  • 在services服务模块最后添加以下代码

"services" : [ . . . {  "name" : "kws_app",  "path" : ["/bin/smart_kws_app"],  "uid" : 2,  "gid" : 2,  "once" : 0,  "importance" : 0,  "caps" : [] }]

左右滑动查看全部内容

在jobs模块中找到"name" : "post-init",在"cmd"的最后加上”start kws_app“

 { "name" : "post-init", "cmds" : [  .  .  .  "start kws_app" ]}

左右滑动查看全部内容

代码编译

源码和环境准备完后,接下来就是编译,编译涉及的指令有2条,hb set和hb build -f 。

hb set -- 设置工程目录和选择对应的目标,通过键盘的上下键来选择。

7f3d31d0-ab84-11ec-aa7f-dac502259ad0.png

hb build -f -- 开始全量编译。(hb build 为增量编译)

7f5e53d8-ab84-11ec-aa7f-dac502259ad0.png

编译完后会生成对应整个系统固件(u-boot-hi3516dv300.bin,OHOS_Image.bin,rootfs_vfat.img, userfs_vfat.img)以及我们应用对应的so文件。

其中u-boot-hi3516dv300.bin在device/hisilicon/hispark_taurus/sdk_liteos/uboot/out/boot/:

7f85b40a-ab84-11ec-aa7f-dac502259ad0.png

OHOS_Image.bin,rootfs_vfat.img,以及userfs_vfat.img在out目录下:

7f9d29d2-ab84-11ec-aa7f-dac502259ad0.png

对应的libsmart_camera.so在out/hispark_taurus/smart_camera/usr/lib/ 目录下:

7fb2c828-ab84-11ec-aa7f-dac502259ad0.png

AI服务可执行程序在out/hispark_taurus/smart_camera/bin/ 目录下:

7fc4c4ba-ab84-11ec-aa7f-dac502259ad0.png

以下表格为所有生成的固件及对应的位置:

7fd4a4e8-ab84-11ec-aa7f-dac502259ad0.png

3. 固件烧录

烧录工具选择

固件编译完后,是需要烧录到单板的。这里我们用的是HiTool工具烧录的。(HiTool工具下载地址:HiHope官网)

烧录步骤

打开HiTool工具,如下图:

7feb7d1c-ab84-11ec-aa7f-dac502259ad0.png

烧写步骤按照图中标注即可。点击烧入后,烧录工具会提示重新上电,此时重启单板即可。

80022eea-ab84-11ec-aa7f-dac502259ad0.png

烧录结果

烧录成功后,会弹出如下提示,单板也会自行启动。

8015c540-ab84-11ec-aa7f-dac502259ad0.png

烧录失败的话需要根据失败提示查找一下原因。一般情况需要检查一下串口是否连接正常,网线是否正确插入,IP是否选择正常等。

查看IP的方法:当单板上电后并正确插入网线后,点击工具上刷新按钮,此时单板IP会自动添加到服务器IP列表中。

802bbd1e-ab84-11ec-aa7f-dac502259ad0.png

IDE烧录

另外,OpenHarmony官网有提供一种通过IDE来烧录的,具体烧录步骤请参考文档:3516上快速运行Hello OHOS。

特别说明

如果是第一次烧录程序的话,单板在启动的时候需要设置bootargs,否则不能正常启动。单板第一次启动会停在hisilicon界面:

804c11ae-ab84-11ec-aa7f-dac502259ad0.png

我们需要输入以下指令:

setenv bootcmd "mmc read 0x0 0x80000000 0x800 0x4800; go 0x80000000";setenv bootargs "console=ttyAMA0,115200n8 root=emmc fstype=vfat rootaddr=10M rootsize=20M rw";saveenvreset

左右滑动查看全部内容

8063d730-ab84-11ec-aa7f-dac502259ad0.png

到此,烧录已经完成,设备也正常启动。

4. 应用安装

打包应用

本demo是以安装包的形式安装到系统中启动运行的。因此,在安装应用前,需要将应用打包成安装包。

将编译好的libsmart_camera.so文件与工程目录下的res以及config.json文件通过压缩打包成zip格式(三个文件直接压缩,不能压缩文件夹),并将后缀名改为hap(smart_camera.hap)。

807933b4-ab84-11ec-aa7f-dac502259ad0.png

挂载NFS

应用打包后,我们是通过NFS方式将单板挂载到本地,通过相关的指令来安装的,NFS挂载方法参照社区文章:Hi3516通过NFS挂载方式与Windows共享文件。

8095248e-ab84-11ec-aa7f-dac502259ad0.png

安装

通过nfs是单板连接到本地电脑后,我们可以通过bm安装指令进行安装。bm 安装工具在系统编译完后会自动生成,路径在:

out/hispark_taurus/smart_camera/dev_tools/bin/

左右滑动查看全部内容

80a5fc96-ab84-11ec-aa7f-dac502259ad0.png

由于bm默认安装的应用为已经签名的应用,所以我们在安装前需要先将签名去掉。

 bm set -s disable    // 去签名 bm install -p filename   // 安装应用filename, filename需要指定路径

左右滑动查看全部内容

80b72ca0-ab84-11ec-aa7f-dac502259ad0.png

安装完后桌面会显示对应应用的ICON,直接点击ICON即可以启动相机的应用。

5. 使用指南

80d98e58-ab84-11ec-aa7f-dac502259ad0.gif

由于本demo涉及到摄像头的读写,故需要申请了相关的权限。在使用本demo前需要在setting中打开对应的权限。具体操作:

  • 点击 setting-->应用-->smart_camera,然后将所有权限打开。

  • 本demo带有相机的所有功能,包含预览,拍照,录像以及跳转到图库查看对应拍的图片和录制的视频。

  • 本demo最主要的功能是语音控制相机,需要对准板子上的mic风说唤醒词,目前支持2个唤醒词(Hi,xiaowen以及Nihao,wenwen),分别对应控制相机的拍照以及录像功能。

原文标题:OpenHarmony开发样例:智能相机

文章出处:【微信公众号:HarmonyOS官方合作社区】欢迎添加关注!文章转载请注明出处。

审核编辑:汤梓红


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 智能相机
    +关注

    关注

    0

    文章

    68

    浏览量

    12402
  • 开发板
    +关注

    关注

    24

    文章

    3835

    浏览量

    91721
  • OpenHarmony
    +关注

    关注

    22

    文章

    2578

    浏览量

    14689
收藏 人收藏

    评论

    相关推荐

    Hi3516开发板介绍

    Hi3516DV300在低码率、高画质、智能处理和分析、低功耗等方面引领行业水平。图 1 Hi3516单板正面外观图开发板规格表 1 Hi3516开发板规格清单[td]规格类型规格清单处理器及内部存储
    发表于 09-21 17:26

    【烧录指引】Hi3861、Hi3516Hi3518 新手指引

    Hi3516开发板环境搭建:https://bbs.elecfans.com/jishu_1991415_1_1.html开发Hi3516第一个应用程序示例:https
    发表于 09-22 19:03

    【HiSpark系列】 Hi3861、Hi3516Hi3518 新手指引

    Hi3861开发板介绍:https://bbs.elecfans.com
    发表于 09-23 11:06

    Hi3861、Hi3516Hi3518 新手指引

    Hi3861 WiFi-IoTHi3861开发板介绍Hi3861开发板环境搭建Hi3861开发板第一个示例程序Hi3861开发板第二个示例程序二、Hi3516 AI CameraHi
    发表于 11-03 22:33

    【HarmonyOS HiSpark AI Camera试用连载 】Hi3516开发板烧录方法

    Hi3516芯片的HarmonyOS AI Camera开发板烧录方法。基于Hi3516开发板可采用海思自研的烧录工具Hitool。 开发板烧录内容主要分为两部分
    发表于 01-30 23:22

    请问在海思Hi3516开发板上能跑鸿蒙liteos吗

    Hi3516开发板上能跑鸿蒙liteos吗
    发表于 03-02 15:18

    Hi3516开发板环境搭建

    Hi3516开发板对Linux服务器通用环境配置
    发表于 08-19 11:36

    【OpenHarmony样例】基于Hi3516开发板开发智能油烟机

    Hi3516开发板,使用开源OpenHarmony开发的应用。本应用主要功能有:​1)可以搜索本地指定目录的图片和视频文件,并可进行点击播放。​2)可以通过wifi接收来自手机的美食
    发表于 03-21 15:59

    【OpenHarmony开发样例】基于Hi3516开发板开发智能猫眼

    Hi3516开发板,使用开源OpenHarmony开发的RTSP协议流媒体应用。达到将Hi3516开发板中摄像头获取的数据通过RTSP协议传输到手机并显示 。rtsp实现可
    发表于 03-25 16:31

    【鸿蒙系统学习笔记】Hi3516开发板烧录总结

    Hi3861平台的软总线组件,周末的时候,购买的Hi3516开发板到货,就着手研究了一下Hi3516开发板。在Linux下的DevEco新建Hi3516工程并通过
    发表于 04-13 11:11

    【OpenHarmony教程】完成Hi3516开发板的烧录

    开发板,需要连接USB口和串口,具体可参考Hi3516DV300开发板介绍。根据Hi3516DV300
    发表于 07-27 15:33

    openharmony开发版 openharmony开发板

    开发板已经非常多了,OpenHarmony不仅仅只能在海思系列芯片上运行,比较常见的有HiSpark、小熊派系列。这些开发板都是基于海思的Hi3861、Hi3516Hi3518芯片的。
    的头像 发表于 06-24 09:03 3008次阅读

    OpenHarmony3.0上编译C控制Hi3516开发板的LED闪烁

    开发还是需要 C,所以这篇文章,将在标准系统下编译 C 控制 Hi3516 开发板的 LED 闪烁。 环境准备 3.0 源码下载: re
    的头像 发表于 09-28 09:42 2970次阅读
    OpenHarmony3.0上编译C控制<b>Hi3516</b><b>开发板</b>的LED闪烁

    基于Hi3516开发板智能猫眼设计

    Hi3516开发板,使用开源OpenHarmony开发的RTSP协议流媒体应用,达到将Hi3516开发板中摄像头获取的数据通过RTSP协议传输到手机并显示 。
    的头像 发表于 03-30 10:30 2067次阅读