nv12编码支持

[busuanzi] 2022-12-20

字数统计: 846字 | 阅读时长≈ 4分

NV12摄像头

功能说明

新加入NV12格式的编码支持

/* A.6. Video Class-Specific VS Interface Descriptor Subtypes */
#define UVC_VS_UNDEFINED                                0x00
#define UVC_VS_INPUT_HEADER                             0x01
#define UVC_VS_OUTPUT_HEADER                            0x02
#define UVC_VS_STILL_IMAGE_FRAME                        0x03
#define UVC_VS_FORMAT_UNCOMPRESSED                      0x04
#define UVC_VS_FRAME_UNCOMPRESSED                       0x05
#define UVC_VS_FORMAT_MJPEG                             0x06
#define UVC_VS_FRAME_MJPEG                              0x07
#define UVC_VS_FORMAT_MPEG2TS                           0x0a
#define UVC_VS_FORMAT_DV                                0x0c
#define UVC_VS_COLORFORMAT                              0x0d
#define UVC_VS_FORMAT_FRAME_BASED                       0x10
#define UVC_VS_FRAME_FRAME_BASED                        0x11
#define UVC_VS_FORMAT_STREAM_BASED                      0x12

根据协议分析，NV12 依然属于UVC_VS_FORMAT_UNCOMPRESSED
需要通过guidFormat来判断

模块结构

略

数据结构

在UVC协议中的数据结构

%%{init: {'theme':'default'}}%%
classDiagram
Descriptor --> VideoControl
Descriptor --> VideoStream
VideoStream --> InputHeader
VideoStream --> OutputHeader
VideoStream --> Format
Format --> FormatYUV
Format --> FormatMJPEG
VideoStream --> Frame
Frame --> FrameYUV
Frame --> FrameMJPEG
class Format{
    getFrame(uint32_t);
    getId();
    getType();
    getFrameNum(); 
    setFrameNum(uint8_t);
}
class FormatYUV{
    getFrame(uint32_t);
    getId();
    getType();
    getFrameNum();
    setFrameNum(uint8_t);
    +getGuid();
}
class FormatMJPEG{
    getFrame(uint32_t);
    getId();
    getType();
    getFrameNum();
    setFrameNum(uint8_t);
}

之前没有对YUV格式做细致的区分，实际上以前我们支持的YUV仅仅时YUY2一种
新增一个接口getGuid 获取细分的格式

编解码器的数据结构

%%{init: {'theme':'default'}}%%
classDiagram
class X264Encoder{
    +m_fmt
    X264Encoder();
    getSize();
    encode();
    +init();
    +setFmt();
}
class MppEncoder{
    +m_fmt
    MppEncoder();
    getVideoInitSPS();
    init();
    putFrameData();
    getSize();
    encode();
    +setFmt();
}
coder --|> H264Encoder
coder --|> X264Encoder
coder --|> MppEncoder

H264作为服务端解码工具，添加自动识别格式的代码逻辑
X264合Mpp作为客户端编码工具，需要添加针对多种格式的支持(目前仅YUY2 NV12)
考虑到兼容性问题，这里不修改已有函数，新增两个设置函数，新增两个私有成员变量

协议中的guidFormat字段

struct uvc_format_uncompressed {
        __u8  bLength;
        __u8  bDescriptorType;
        __u8  bDescriptorSubType;
        __u8  bFormatIndex;
        __u8  bNumFrameDescriptors;
        __u8  guidFormat[16];
        __u8  bBitsPerPixel;
        __u8  bDefaultFrameIndex;
        __u8  bAspectRatioX;
        __u8  bAspectRatioY;
        __u8  bmInterfaceFlags;
        __u8  bCopyProtect;
} __attribute__((__packed__));

格式	guidFormat	对应X264编码	对应MPP编码
YUYV	32595559-0000-0010-8000-00aa00389b71	X264_CSP_I422	MPP_FMT_YUV422_YUYV
NV12	3231564e-0000-0010-8000-00aa00389b71	X264_CSP_NV12	MPP_FMT_YUV420SP

很明显取guidFormat的前4位作为ASCII码正好对应英文缩写

执行流程

类	新增字段	默认值	关联函数
H264Coder	m_fmt	AV_PIX_FMT_YUYV422	decode
X264Encoder	m_fmt	X264_CSP_I422	setFmt、X264Encoder、init
MppEncoder	m_fmt	MPP_FMT_YUV422_YUYV	setFmt、init

针对 X264Encoder/MppEncoder

新增加m_fmt函数进行编码格式的保存
根据 guidFormat 获取到的guid，针对X264Encoder/MppEncoder 调用setFmt来设置格式，然后调用init进行初始化操作
init取代直接使用固定值的方式，根据初m_fmt来进行参数设置

针对H264Coder

构造函数中，取消第二个AVFrame 的内存申请
decode 中取消强制转码为 AV_PIX_FMT_YUYV422 的操作，采用原始编码

/* Colorspace type */
#define X264_CSP_MASK           0x00ff  /* */
#define X264_CSP_NONE           0x0000  /* Invalid mode     */
#define X264_CSP_I420           0x0001  /* yuv 4:2:0 planar */
#define X264_CSP_YV12           0x0002  /* yvu 4:2:0 planar */
#define X264_CSP_NV12           0x0003  /* yuv 4:2:0, with one y plane and one packed u+v */
#define X264_CSP_NV21           0x0004  /* yuv 4:2:0, with one y plane and one packed v+u */
#define X264_CSP_I422           0x0005  /* yuv 4:2:2 planar */
#define X264_CSP_YV16           0x0006  /* yvu 4:2:2 planar */
#define X264_CSP_NV16           0x0007  /* yuv 4:2:2, with one y plane and one packed u+v */
#define X264_CSP_V210           0x0008  /* 10-bit yuv 4:2:2 packed in 32 */
#define X264_CSP_I444           0x0009  /* yuv 4:4:4 planar */
#define X264_CSP_YV24           0x000a  /* yvu 4:4:4 planar */
#define X264_CSP_BGR            0x000b  /* packed bgr 24bits   */
#define X264_CSP_BGRA           0x000c  /* packed bgr 32bits   */
#define X264_CSP_RGB            0x000d  /* packed rgb 24bits   */
#define X264_CSP_MAX            0x000e  /* end of list */
#define X264_CSP_VFLIP          0x1000  /* the csp is vertically flipped */
#define X264_CSP_HIGH_DEPTH     0x2000  /* the csp has a depth of 16 bits per pixel component */

这是x264.h的头文件
x86下原逻辑中的X264_CSP_I422 在NV12编码中，需要替换为X264_CSP_NV12
arm下 MPP_FMT_YUV422_YUYV 修改为 MPP_FMT_YUV420SP

arm 需要根据NV12编码修改下面的地方

MppFrameFormat KsType2Mpp(uint32_t type)
{
	switch (type) {
	case KSCAMERA_YUYV422:
		return MPP_FMT_YUV422_YUYV;
	default:
		return MPP_FMT_YUV420SP;
	}
}

问题因为Mpp编码几乎是复制了原来的老代码，引入了一组不必要的enum定义进行二次转换，这里需要统一修改下保持和x86下的一致性

本文作者： crazyboy
本文链接： http://crazyboy.www.crazyboy.info/blog/blog/2022/12/20/kylin/usb/redir/kylinusbredir3/code_nv12/
版权声明： 本博客所有文章除特别声明外，均采用 MIT 许可协议。转载请注明出处！