开源高性能跨平台实时美颜滤镜库GPUPixel,视频图像开发利器
开发背景
做音视频开发绕不开的一个问题就是视频图像的处理,视频图像处理的诉求有很多,比如短视频直播时代的刚需:美颜,也有一些图像画质增强方面的需求。
图像处理框架有很多,传统的比如 OpenCV,一个非常经典伟大的图像处理库,另外针对各个平台也有一些特定平台的图像处理库,如iOS端大名鼎鼎的 GPUImage,Android端的 GPUImage-Android等等,他们都是非常优秀的开源库。
但是他们也有各种的缺点,比如 OpenCV 处理的速度可能较慢,不能满足实时视频或者移动端视频处理的需求,GPUImage 和 GPUImage-Android的使用又局限于一个平台,同时他们只提供基础的图像处理能力,像美颜等高级功能需要在框架的基础上进行二次开发。
做音视频开发也很多年了,渴望有个多端统一的图像处理方案,又能提供基础的图像处理能力,所以写了 GPUPixel,支持的平台包括iOS、Mac、Android、Windows和Linux。
项目简介
GPUPixel 使用C++11编写,摒弃了裸指针,有效的防止内存泄露等问题的产生。框架架构类似 GPUImage,基于OpenGL拥有极高的性能,完全满足移动端和实时图像处理场景的使用,单帧处理基本小于10ms。
而且容易编译和集成,多端接口统一,库文件也非常小。功能方面,内置的多种滤镜,如美颜,可以实现商业级别的效果。
支持图片和视频输入,输出格式支持RGBA, YUV420P等格式,非常方便为直播,音视频会议等提供美颜滤镜能力支持!
项目地址
https://github.com/pixpark/gpupixel
效果预览
架构流程
GPUPixel 的数据处理流程:
功能对比
可以看到 GPUPixel 功能方面相比GPUImage做了很大的补全,提供了基础美颜和多样的格式输入输出,如YUV420P, RGBA等,详细对比可以 参考这里
项目未来
项目目前也获得了一定的关注,但是和 GPUImage 等库相比使用量还比较少,另外 GPUPixel 还有不少功能和需要优化的点,比如增加背景替换,提供 Python 和 WebAssembly 封装支持等。
项目的 issue 也会积极处理,这个库会一直做下去,也希望有更多朋友参与进来。毕竟个人的力量有限,另外对于 GPU 处理图像还有很多问题也没有搞太懂,希望大家一块交流互相启发~
如果这个库对你有帮助,也希望多多支持,点赞转发这个项目,让更多人了解~🙏