简介

VisioninSDK是一个移动端的跨平台实时视频处理库，提供了视频磨皮美颜、视频滤镜、人脸实时关键点追踪、人脸实时整形（瘦脸、大眼睛等）、人脸动态贴纸等功能的库。

注意：1、在运行demo时候，不要更改ios的bundlid和android的package

2、如果需要提前接入sdk做效果测试，请将ios工程的bundlid改成和demo一样，然后使用demo的license，安卓把package改成demo一样

3、ios sdk只提供了真机测试的库

演示视频

iOS接入文档

1. 美颜|滤镜|换背景

保证包含SDK库文件

#import "Visionin.h"

1.1 初始化

添加全局初始化方法，初始化方法为异步方法，尽量放在AppDelegate中：

[Visionin initialize:@"xxx"];

其中xxx为应用的证书，应用证书的获取请在开发者中心新建应用

首先，新建VSVideoFrame对象

VSVideoFrame* videoFrame = [[VSVideoFrame alloc] initWithPosition:AVCaptureDevicePositionFront pixelFormat:kCVPixelFormatType_420YpCbCr8BiPlanarFullRange view:self.view];

Position：表示为前摄像头或者后摄像头，AVCaptureDevicePositionFront或者AVCaptureDevicePositionBack
pixelFormat：输入视频帧格式，如果视频帧从摄像头来，则此处和摄像头的kCVPixelBufferPixelFormatTypeKey参数一致。目前支持格式类型：kCVPixelFormatType_420YpCbCr8BiPlanarFullRange、kCVPixelFormatType_32BGRA、kCVPixelFormatType_32RGBA，注意：iphone摄像头没有kCVPixelFormatType_32RGBA，该格式用于从视频文件解析出的视频帧
view：处理后视频预览窗口

然后调用startVideoFrame函数

[videoFrame startVideoFrame];

摄像头的captureOutput回调方法里获取到每一帧CMSampleBufferRef视频数据后，调用processVideoSampleBuffer处理视频帧

[videoFrame processVideoSampleBuffer:sampleBuffer];

如果关闭摄像头，需要调用stopVideoFrame函数。

注意：

startVideoFrame与stopVideoFrame必须成对调用，否则会破坏状态机导致processVideoSampleBuffer函数不可用；

1.2 参数设置

前后摄像头

前后摄像头切换时候，需要设置cameraPosition

横竖屏

VisioninSDK默认为竖屏模式，屏幕旋转或者横屏等模式下，需要设置outputImageOrientation，支持以下屏幕方向参数：

UIInterfaceOrientationMaskLandscapeRight
UIInterfaceOrientationMaskLandscapeLeft
UIInterfaceOrientationMaskPortrait
UIInterfaceOrientationMaskPortraitUpsideDown

注意：此处方向为StatusBar方向，非Device方向，获取StatusBar方向：

UIInterfaceOrientation orientation = [[UIApplication sharedApplication] statusBarOrientation]

镜像

VisioninSDK支持视频流、预览的镜像设置，可自由组合（不支持视频流镜像、预览非镜像的组合）：

mirrorFrontFacingCamera: 前置摄像头下视频流是否镜像
mirrorBackFacingCamera: 后置摄像头下视频流是否镜像
mirrorFrontPreview: 前置摄像头下预览是否镜像
mirrorBackPreview：后置摄像头下是否镜像

自定义美颜程度

磨皮：

[videoFrame setSmoothLevel:level];

level的值介于0-1.0之间，为0时不磨皮，默认值0.5

美白：

[videoFrame setBrightenLevel:level];

level的值介于0-1.0之间，为0时不美白，默认值0.5

如需关闭美颜，只要把所有参数设置为0即可

1.3 获取经过美颜后的视频流

获取不同格式视频流

VisioninSDk支持多种数据格式的获取，包括BGRA、YUV420P、NV21、NV12格式；

BGRA支持CVPixelBufferRef数据，其余格式只支持获取byte类型
要获取某种类型数据输出，需要设置对应的Block变量
不同的数据获取互斥，只能同时获取一种格式

下面以获取BGRA格式的CVPixelBufferRef为例说明，并实现了一个封装为CMSampleBufferRef例子

[videoFrame setBgraPixelBlock:^(CVPixelBufferRef pixelBuffer, CMTime time) {
    // 封装CMSampleBufferRef的例子
	CVPixelBufferLockBaseAddress(pixelBuffer, 0);
	CVPixelBufferRetain(pixelBuffer);		    
	CMSampleBufferRef sampleBuffer = NULL;
	CMSampleTimingInfo timimgInfo = kCMTimingInfoInvalid;
	CMVideoFormatDescriptionRef videoInfo = NULL;
	CMVideoFormatDescriptionCreateForImageBuffer(
                                             NULL, pixelBuffer, &videoInfo);
	CMSampleBufferCreateForImageBuffer(kCFAllocatorDefault,
                                   pixelBuffer,
                                   true,
                                   NULL,
                                   NULL,
                                   videoInfo,
                                   &timimgInfo,
                                   &sampleBuffer);
	CVImageBufferRef cvimgRef = CMSampleBufferGetImageBuffer(sampleBuffer);
	float _width = CVPixelBufferGetWidth(cvimgRef);
	float _height = CVPixelBufferGetHeight(cvimgRef);
	NSLog(@"width:%lf height:%lf", _width, _height);
	
	// 注意以下的释放代码
	CFRelease(sampleBuffer);
}];

自定义视频流尺寸

一般情况下，本地预览使用较高分辨率，而编码使用较低分辨率，VisioninSDK支持自定义输出视频流尺寸，如下：

[videoFrame setOutputSize:CGSizeMake(480, 640)];

1.4 滤镜

使用滤镜

VisioninSDK提供了丰富的滤镜，如果要使用滤镜功能，则调用如下

[videoFrame setExtraFilter:filterName];

修改滤镜参数

如果要改动滤镜参数，如修改高斯模糊的半径，则调用如下：

[videoFrame setExtraParameter:para];

关闭滤镜

[videoFrame closeExtraFilter];

滤镜列表

目前支持的滤镜有：

VS_GAUSSIAN_BLUR_FILTER 高斯模糊
VS_MEDIAN_BLUR_FILTER 中值滤波，同样可实现模糊效果
VS_FROSTED_BLUR_FILTER 类似毛玻璃的模糊效果
VS_SATURATION_FILTER 饱和度
其他调色相关的滤镜：origin, nature, clean, vivid, fresh, sweety, rosy, lolita, sunset, grass, coral, pink,urban, crisp, valencia, beach, vintage, rococo, walden, brannan, inkwell

1.5 使用VisioninSDK提供的摄像头

VisioninSDK提供了一个简单的摄像头，可以不使用VSVideoFrame直接使用VSVideoCamera，VSVideoCamera支持所有VSVideoFrame的功能

初始化

VSVideoCamera* videoCamera = [[VSVideoCamera alloc] initWithSessionPreset:AVCaptureSessionPresetHigh position:AVCaptureDevicePositionFront view:self.view];

SessionPreset：分辨率，如AVCaptureSessionPresetHigh、AVCaptureSessionPreset1280x720或者AVCaptureSessionPreset640x480
position：前摄像头或者后摄像头，AVCaptureDevicePositionFront或者AVCaptureDevicePositionBack
view：视频预览窗口

获取未处理的原始视频流

如果需要从VSVideoCamera获取没有经过美颜的视频流，需要实现VSCameraSampleDelegate协议

VSCameraSampleDelegate:

willOutputAudioSampleBuffer: 未经处理的音频流
willOutputVideoSampleBuffer: 未经处理的视频流

调用VSVideoCamera的setSampleDelegate方法

开启摄像头：

[videoCamera startCameraCapture];

2. 人脸关键点追踪

VisioninSDK支持国际通用的68个关键点的实时追踪，各个坐标序号如下所示：

2.1 开启

开启人脸关键点的追踪的功能只需要调用VSFacer函数的startFaceTracking

VSFacer* facer = [VSFacer shareInstance];
[facer startFaceTracking];

2.2 获取关键点

获取关键点使用VSFacer的getFacerMarks接口

float* markers = [[VSFacer shareInstance] getFacerMarks];

如果此时没有人脸，markers返回nil；
如果有人脸，则markers是一个68*2个元素的数组，markers[0]和marker[1]是第一个关键点的x坐标和y坐标，依次类推
返回的人脸坐标为像素坐标，不是归一化坐标

2.3 关闭关键点追踪

[[VSFacer shareInstance] stopFaceTracking];

如果不再使用该功能，请及时调用此接口关闭

注意: 调用此接口可以停止整形功能，但是不能停止贴纸道具

3. 使用人脸整形

3.1 启动

[[VSFacer shareInstance] startShaper];

整形依赖人脸关键点追踪，如果没有开启人脸情况启动整形，则会自动开启人脸追踪

3.2 调整整形参数

[[VSFacer shareInstance] setShapping:xxx strength:xxx];

整形强度0-1，目前支持的整形部位有：

大眼睛: SHAPER_CMD_EYE
瘦脸：SHAPER_CMD_FACE
瘦下巴：SHAPER_CMD_CHIN
瘦颧骨：SAHPER_CMD_CHEEK

3.3 关闭整形

[[VSFacer shareInstance] stopShaper];

如果不再使用该功能，请及时调用此接口关闭

4. 互动道具贴纸

AR互动道具可以在人脸上叠加各种好玩的道具，包括2D和3D道具

4.1 设置道具

设置道具使用VSProps的startProps接口：

[[VSProps shareInstance] startLocalProps:propsPath mirror:mirror]

其中propsPath为道具包在本地的全路径，mirror为表示是否镜像加载

VisioninSDK支持同时添加2个道具，用于主播自己选择了一个道具，此时观众又赠送了一个道具的情况。使用第二个道具的方法：

[[VSProps shareInstance] startLocalProps2:propsPath mirror:mirror]

4.2 停止使用道具

如果停止使用道具，则调用stopProps函数

[[VSProps shareInstance] stopProps]

停止第二个道具

[[VSProps shareInstance] stopProps2]

注意: 调用此接口不能停止人脸追踪和整形，要停止人脸追踪必须显示的调用stopFaceTracking接口

Android接入文档

1. 美颜|滤镜|换背景

1.1 初始化

####调用全局初始化方法：

Visionin.initialize(context, lisence);

注意：

第一个参数为Context类型，需要注意context的生命周期，如果context销毁可能引起VisioninSDK的错误，最好的方法是在Application中调用，或者使用getApplicationContext()
lisence与IOS sdk的lisence使用同一个即可，注意在__开发者中心中设置android的包名__

创建VSVideoFrame

VSVideoFrame是VisioninSDK所有功能的入口类，依赖Surface创建Opengl Context。

一般使用SurfaceView来提供Surface，并将处理后的数据绘制到SurfaceView上。
使用surfaceTexture()方法新建SurfaceTexture
设置Camera的PreviewTexture，然后开始摄像头的预览
VSVideoFrame的创建一定要放在SurfaceHolder回调方法中 ，不可以获取SurfaceView对象后直接用 surfaceView.getHolder().getSurface()来创建。

典型的VSVideoFrame的创建如下：

public void surfaceCreated(SurfaceHolder surfaceHolder) {
	try {
        videoFrame = new VSVideoFrame(surfaceHolder.getSurface());
        [videoFrame startVideoFrame];
    } catch (Exception e) {
        e.printStackTrace();
        return;
    }
    
    try {
        mCamera.setPreviewTexture(videoFrame.surfaceTexture());
        mCamera.startPreview();
    } catch (IOException e) {
        e.printStackTrace();
    }
}

调用start函数

videoFrame.start();

关闭摄像头

关闭摄像头，需要调用stop函数

注意：start与stop必须成对调用，否则会破坏状态机导致SDK不可用

销毁

在程序进入后台时，需要销毁VSVideoFrame，在重新打开程序时候需要重新创建VSVideoFrame

销毁VSVideoFrame调用videoFrame.destroy()

1.2 参数设置

前后摄像头

前后摄像头切换时候，需要调用setCameraPosition方法设置摄像头

前摄像头：VSVideoFrame.CAMERA_FACING_FRONT
后摄像头：VSVideoFrame.CAMERA_FACING_BACK

横竖屏

VisioninSDK默认为竖屏模式，屏幕旋转或者横屏等模式下，需要调用setOutputImageOritation方法设置方向，支持以下屏幕方向参数：

竖屏：Configuration.ORIENTATION_PORTRAIT
横屏：Configuration.ORIENTATION_LANDSCAPE

镜像

VisioninSDK支持视频流、预览的镜像设置，可自由组合（不支持视频流镜像、预览非镜像的组合）：

setMirrorFrontVideo方法: 前置摄像头下视频流是否镜像
setMirrorBackVideo: 后置摄像头下视频流是否镜像
setMirrorFrontPreview: 前置摄像头下预览是否镜像
setMirrorBackPreview：后置摄像头下是否镜像

自定义美颜程度

磨皮：

videoFrame.setSmoothLevel(level);

level的值介于0-1.0之间，为0时不磨皮，默认值0.5

美白：

videoFrame.setBrightenLevel(level);

level的值介于0-1.0之间，为0时不美白，默认值0.5

如需关闭美颜，只要把所有参数设置为0即可

关闭预览

如果您要自己压缩bitmap并预览，则可以把VisioninSDK提供的预览关闭，方法为：

videoFrame.removeOutputView();

如果要再重新使用VisisioninSDK的预览，方法为：

videoFrame.setOutputView();

###1.3 获取经过美颜后的视频流

获取不同格式视频流

VisioninSDk支持多种数据格式的获取，包括RGBA、YUV420P、NV21、NV12格式；

要获取某种类型数据输出，需要设置对应的Callback参数
不同的数据获取互斥，只能同时获取一种格式

下面以获取NV21格式视频为例说明，并实现了一个封装为Bitmap例子

videoFrame.setNV21Callback(new VSRawBytesCallback() {
	@Override
	public void outputBytes(byte[] bytes) {
		// width、height为输出视频尺寸，需提前设好
		int frameSize = width * height;
    	int[] rgba = new int[frameSize];
    	for (int i = 0; i < height; i++){
        	for (int j = 0; j < width; j++) {
            	int y = (0xff & ((int) data[i * width + j]));
            	int v = (0xff & ((int) data[frameSize + (i >> 1) * width + (j & ~1) + 0]));
            	int u = (0xff & ((int) data[frameSize + (i >> 1) * width + (j & ~1) + 1]));
            	y = y < 16 ? 16 : y;
            	int r = Math.round(1.164f * (y - 16) + 1.596f * (v - 128));
            	int g = Math.round(1.164f * (y - 16) - 0.813f * (v - 128) - 0.391f * (u - 128));
            	int b = Math.round(1.164f * (y - 16) + 2.018f * (u - 128));
            	r = r < 0 ? 0 : (r > 255 ? 255 : r);
            	g = g < 0 ? 0 : (g > 255 ? 255 : g);
            	b = b < 0 ? 0 : (b > 255 ? 255 : b);
            	rgba[i * width + j] = 0xff000000 + (r << 16) + (g << 8) + b;
        	}
        }
        Bitmap bmp = Bitmap.createBitmap(width, height, Bitmap.Config.ARGB_8888);
    	bmp.setPixels(rgba, 0, width, 0, 0, width, height);
	}
});

自定义视频流尺寸

一般情况下，本地预览使用较高分辨率，而编码使用较低分辨率，VisioninSDK支持自定义输出视频流尺寸，如下：

videoFrame.setOutputSize(360, 640);

1.4 滤镜

使用滤镜

VisioninSDK提供了丰富的滤镜，如果要使用滤镜功能，则调用如下(以高斯模糊为例)

videoFrame.setExtraFilter(VSVideoFrame.VS_GAUSSIAN_BLUR_FILTER);

修改滤镜参数

如果要改动滤镜参数，如修改高斯模糊的半径，则调用如下：

videoFrame.setExtraParameter(para);

关闭滤镜

videoFrame.closeExtraFilter()

滤镜列表

支持的滤镜同ios

2. 人脸关键点追踪

VisioninSDK支持国际通用的68个关键点的实时追踪，坐标序号同iOS

2.1 开启

开启人脸关键点的追踪的功能，首先调用初始化函数，初始化函数只需要调用一次，然后调用VSFacer函数的startFaceTracking

VSFacer.initialize(Context);
VSFacer.startFacerTracking();

2.2 获取关键点

获取关键点使用VSFacer的getFacerMarks接口

float[] markers = VSFacer.getFacerMarks(face_index);

如果此时没有人脸，markers返回null；
getFacerMarks的参数代表第几个人脸，0代表第一个人脸，依次类推，最多可支持8个人脸
如果有人脸，则markers是一个68*2个元素的数组，markers[0]和marker[1]是第一个关键点的x坐标和y坐标，依次类推
返回的人脸坐标为像素坐标，不是归一化坐标

2.3 关闭关键点追踪

VSFacer.stopFaceTracking();

如果不再使用该功能，请及时调用此接口关闭

注意: 调用此接口可以停止整形功能，但是不能停止贴纸道具

3. 使用人脸整形

3.1 启动

VSFacer.startFacerShaper();

整形依赖人脸关键点追踪，如果没有开启人脸情况启动整形，则会自动开启人脸追踪

目前的人脸整形包括大眼睛和瘦脸，未来会加入更多的整形功能

3.2 关闭整形

VSFacer.stopFacerShaper();

如果不再使用该功能，请及时调用此接口关闭

4. 互动道具贴纸

AR互动道具可以在人脸上叠加各种好玩的道具，包括2D和3D道具

4.1 设置道具

设置道具使用VSProps的startProps接口：

VSProps.startStProps(name);

name为道具名字

4.2 停止使用道具

如果停止使用道具，则调用stopProps函数

VSProps.stopStProps();

注意: 调用此接口不能停止人脸追踪和整形，要停止人脸追踪必须显示的调用stopFaceTracking接口

5. 变声和混音

创建VSAudioFrame

VSAudioFrame是VisioninSDK音频功能的入口类，同VSVideoFrame类一样，需要先调用全局初始化方法,再创建VSAudioFrame对象：

VSAudioFrame audioFrame = new VSAudioFrame();

####调用start函数

audioFrame.start();

####关闭音频

关闭音频与MIC，需要调用stop函数注意：同VSVideoFrame一样，start与stop必须成对调用，否则会破坏状态机导致SDK不可用_

####声音特效功能

VisioninSDK提供了音频特效的功能，目前提供了改变声音音调的变音功能，具体调用如下：

audioFrame.openSoundEffects();
audioFrame.setMixerPitch(5);

openSoundEffects为开启音频特效的方法，与之对应的有关闭音频特效的closeSoundEffects方法。 setMixerPitch为设置音调高低的方法，参数区间在-12到+12之间，值越大音调越高。

####背景音混音功能

VisioninSDK提供了音频输入与背景音的混音功能，具体流程如下：用setMP3Accompany方法选择并解码Mp3格式背景音文件，解码为耗时操作，如需在UI显示进度需要提前进行如下操作

*通过setmHandler设置接收进度消息的Handler *通过setProgressDialog方法设置progressDialog和DecodeProgressListener 注意:setmHandler方法需要在setMP3Accompany之前被调用；setMP3Accompany的两个String参数分别为背景音文件的路径和解码后的PCM格式文件的保存路径。

背景音文件解码完毕后，可以调用startAccompany来开始播放背景音并做混音处理，并通过stopAccompany方法来关闭背景音与混音。

其他具体操作与参数设置详见Demo。

####设置是否在录音时播放

通过setPlayWhileEncoding设置是否在录音时播放录音。

####切换输出流编码格式

通过setOutputFormat设置输出流的编码格式，目前提供AAC和PCM两种编码格式。VSAudioFrame类中以静态变量的形式提供了可用的参数，切换AAC流的参数为VSAudioFrame.OUTPUT_FORMAT_AAC；切换PCM流的参数为VSAudioFrame.OUTPUT_FORMAT_PCM。 注意：设置应该在start方法前完成。

####获取音频格式信息

通过getSAMPLERATE可以获取音频采样率通过getFORMAT_BIT可以获取音频采样大小通过getCHANNELS可以获取声道数

####获取输出的AAC格式音频流

通过调用VSSoundBytesCallback接口可以获取到转码后的AAC格式音频流。

以下是一段获取AAC流，并作为写入AAC文件的示例代码：

    audioFrame.setSoundBytesCallback(new VSSoundBytesCallback() {
        @Override
        public void outputBytes(byte[] bytes) {
            if (bytes != null) {
                try {
                    [your DataOutputStream].write(bytes, 0, bytes.length);
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
        }
    });

####获取输出的PCM格式音频流

同获取AAC格式音频流参数可调节

Files

README.md

Latest commit

History

README.md

File metadata and controls

简介

注意：1、在运行demo时候，不要更改ios的bundlid和android的package

2、如果需要提前接入sdk做效果测试，请将ios工程的bundlid改成和demo一样，然后使用demo的license，安卓把package改成demo一样

3、ios sdk只提供了真机测试的库

演示视频

iOS接入文档

1. 美颜|滤镜|换背景

1.1 初始化

添加全局初始化方法，初始化方法为异步方法，尽量放在AppDelegate中：

首先，新建VSVideoFrame对象

然后调用startVideoFrame函数

摄像头的captureOutput回调方法里获取到每一帧CMSampleBufferRef视频数据后，调用processVideoSampleBuffer处理视频帧

注意：

1.2 参数设置

前后摄像头

横竖屏

镜像

自定义美颜程度

1.3 获取经过美颜后的视频流

获取不同格式视频流

自定义视频流尺寸

1.4 滤镜

使用滤镜

修改滤镜参数

关闭滤镜

滤镜列表

1.5 使用VisioninSDK提供的摄像头

初始化

获取未处理的原始视频流

开启摄像头：

2. 人脸关键点追踪

2.1 开启

2.2 获取关键点

2.3 关闭关键点追踪

3. 使用人脸整形

3.1 启动

3.2 调整整形参数

3.3 关闭整形

4. 互动道具贴纸

4.1 设置道具

4.2 停止使用道具

Android接入文档

1. 美颜|滤镜|换背景

1.1 初始化

创建VSVideoFrame

调用start函数

关闭摄像头

销毁

1.2 参数设置

前后摄像头

横竖屏

镜像

自定义美颜程度

关闭预览

获取不同格式视频流

自定义视频流尺寸

1.4 滤镜

使用滤镜

修改滤镜参数

关闭滤镜

滤镜列表

2. 人脸关键点追踪

2.1 开启

2.2 获取关键点

2.3 关闭关键点追踪

3. 使用人脸整形

3.1 启动

3.2 关闭整形

4. 互动道具贴纸

4.1 设置道具

4.2 停止使用道具

5. 变声和混音

创建VSAudioFrame