javacv教程文档手册开发指南汇总篇

「爱情、让人受尽委屈。」 2022-11-27 08:56 318阅读 0赞

本章作为javacv技术栈系列文章汇总

# 前言 #

写了不少关于javacv的文章，不敢说精通 ，只能说对javacv很熟悉。虽然偶尔也提交pull request做做贡献，但是javacv包含的库实在太多了。有些库也不太可能每个应用场景都会用到，所以平时主要还是以ffmpeg音视频处理为主，顺带着写一点opencv图像处理，图像检测识别和tessert文字识别等等。

# javacv是什么？javacv技术栈能做什么？ #

一个老生常谈的问题，相信大家各种搜索引擎搜一下应该知道它能做了什么了。  
首先是音视频处理，编解码，装封装，只要ffmpeg可以的javacv就可以，他们没有什么不同。  
再者是图像处理和图像识别，可以借助opencv图像检测识别和tessert字符识别，他们也没有什么不同，只是javacv通过jni让它们跨平台了而已，不需要自己再去封装了。  
剩下的包含矩阵计算，深度学习等方面的内容，了解不多，不多赘述。

# javacv技术栈的应用场景 #

很多人好奇，现在javacv常被用在哪些应用场景下？  
javacv跨平台，不仅可以在windows，linux，macos等服务器或者客户都安机器上工作，在各种嵌入式板子上也不在话下。

嵌入式领域：  
很多人把javacv用在树莓派等等的一些基于arm芯片的板子上，外挂摄像头或者音频设备就可以实现音视频上传，图像处理，图像识别等等操作。

流媒体：  
利用javacv的流媒体优势，可以轻松实现音视频采集，推流，编解码，装封装等等操作。

深度学习：  
deeplearn4j为主的利用java大数据能力进行深度学习，这方面了解不多，但是它确实挺出名的。

人脸检测识别：  
网上搜到javacv最多的文章就是关于人脸检测识别的了，javacv官网的首页demo就是人脸检测的例子，opencv能做到的它都可以。

文字识别：  
利用Tesseract-OCR可以轻松实现字符库训练，字符识别。还可以借助javacv特有的流媒体属性和嵌入式开发特性实现摄像头的字符识别，视频图像的字符识别等场景。

依赖配置问题可以参考博主另一篇文章：[JavaCV更新到1.5.x版本后的依赖问题说明以及如何精简依赖包大小][JavaCV_1.5.x]

# JavaCV入门指南系列 #

*  [JavaCV入门指南：序章（看完本章后，不想看原理的小伙伴可直接跳转到《快速上手篇》）][JavaCV]
 *  [JavaCV入门指南：调用FFmpeg原生API和JavaCV是如何封装了FFmpeg的音视频操作][JavaCV_FFmpeg_API_JavaCV_FFmpeg]
 *  [JavaCV入门指南：调用opencv原生API和JavaCV是如何封装了opencv的图像处理操作][JavaCV_opencv_API_JavaCV_opencv]
 *  [JavaCV入门指南：帧抓取器(FrameGrabber)的原理与应用][JavaCV_FrameGrabber]
 *  [JavaCV入门指南：帧录制器/推流器(FrameRecorder)的原理与应用][JavaCV_FrameRecorder]
 *  [JavaCV入门指南：帧过滤器(FrameFilter)的原理与应用][JavaCV_FrameFilter]
 *  [JavaCV入门指南：FrameConverter转换工具类及CanvasFrame图像预览工具类][JavaCV_FrameConverter_CanvasFrame]（完结篇）
 *  《快速上手篇》（为了区别，单独划分）：
 *  [JavaCV入门指南之快速上手篇：快速上手视频拉流、推流、录制文件、录屏、截图和编解码复用解复用等常用音视频处理操作][JavaCV 1]

# javaCV实战系列 #

*  [javacv开发详解之1：调用本机摄像头视频][javacv_1]
 *  [javaCV开发详解之2：推流器实现，推本地摄像头视频到流媒体服务器以及摄像头录制视频功能实现(基于javaCV-FFMPEG、javaCV-openCV)][javaCV_2_javaCV-FFMPEG_javaCV-openCV]
 *  [javaCV开发详解之3：收流器实现，录制流媒体服务器的rtsp/rtmp视频文件(基于javaCV-FFMPEG)][javaCV_3_rtsp_rtmp_javaCV-FFMPEG]
 *  [javaCV开发详解之4：转流器实现（也可作为本地收流器、推流器，新增添加图片及文字水印，视频图像帧保存），实现rtsp/rtmp/本地文件转发到rtmp流媒体服务器(基于javaCV-FFMPEG)][javaCV_4_rtsp_rtmp_rtmp_javaCV-FFMPEG]
 *  [javaCV开发详解之5：录制音频(录制麦克风)到本地文件/流媒体服务器(基于javax.sound、javaCV-FFMPEG)][javaCV_5_javax.sound_javaCV-FFMPEG]
 *  [javaCV开发详解之6：本地音频(话筒设备)和视频(摄像头)抓取、混合并推送(录制)到服务器(本地)][javaCV_6]
 *  [javaCV开发详解之7：让音频转换更加简单，实现通用音频编码格式转换、重采样等音频参数的转换功能（以pcm16le编码的wav转mp3为例）][javaCV_7_pcm16le_wav_mp3]
 *  [javaCV开发详解之8：转封装在rtsp转rtmp流中的应用（无须转码，更低的资源消耗，更好的性能，更低延迟）][javaCV_8_rtsp_rtmp]
 *  [javaCV开发详解之9：基于gdigrab的windows屏幕画面抓取/采集（基于javacv的屏幕截屏、录屏功能）][javaCV_9_gdigrab_windows_javacv]
 *  [javaCV开发详解之10：基于dshow调用windows摄像头视频和音频，想要获取屏幕画面首选gdigrab][javaCV_10_dshow_windows_gdigrab]
 *  [javaCV开发详解之11：视频文件转gif动态图片实现，也支持摄像机、桌面屏幕、流媒体等视频源转gif][javaCV_11_gif_gif]
 *  [javacv开发详解之gif补充篇：如何使用批量的多张图片制作gif动态图，再也不用担心不会制作动态图了][javacv_gif_gif]
 *  [javaCV开发详解之12：视频转apng动态图片实现，支持透明通道，支持摄像机、桌面屏幕、流媒体等视频源转apng动态图][javaCV_12_apng_apng]
 *  [javacv开发详解之apng补充篇：如何使用批量的多张图片制作apng动态图，再也不用担心不会制作动态图了][javacv_apng_apng]
 *  [javaCV开发详解之13：使用FFmpeg Filter过滤器处理音视频][javaCV_13_FFmpeg Filter]
 *  [javaCV开发详解之14：音频重采样][javaCV_14]
 *  [javaCV开发详解之15：视频帧像素格式转换][javaCV_15]
 *  [javaCV开发详解之16：使用一张图片推流和一张图片录制成视频文件][javaCV_16]
 *  [javaCV开发详解之17：GIF和APNG动态图片推流和录制成视频文件（以gif转mp4为例）][javaCV_17_GIF_APNG_gif_mp4]
 *  [javaCV开发详解之18：音视频转码（音频编解码和视频编解码）][javaCV_18]
 *  [JavaCV开发详解之19：如何开启GPU硬件加速，使用JavaCV进行音视频的硬解码和硬编码][JavaCV_19_GPU_JavaCV]
 *  [JavaCV开发详解之20：如何使用JavaCV制作ico图标，图片和视频生成ico图标，视频流录制ico图标][JavaCV_20_JavaCV_ico_ico_ico]
 *  [JavaCV开发详解之21：如何使用JavaCV接入gb28181的ps流并推流到流媒体服务和接入海康大华sdk回调h264/hevc裸流][JavaCV_21_JavaCV_gb28181_ps_sdk_h264_hevc]
 *  [JavaCV开发详解之22：flv,live\_flv格式说明,http-flv拉流和http-flv推流及rtmp拉流和rtmp推流全面分析和开发实战][JavaCV_22_flv_live_flv_http-flv_http-flv_rtmp_rtmp]
 *  [JavaCV开发详解之23：hls视频录制，m3u8切片录制和fmp4切片录制详解][JavaCV_23_hls_m3u8_fmp4]
 *   *  [javacv开发详解之23补充篇1：hls切片录制，rtsp拉流录制生成hls切片，m3u8清单/ts切片录制详解，解决hls\_time无效问题][javacv_23_1_hls_rtsp_hls_m3u8_ts_hls_time]
 *   *  [javacv开发详解之23补充篇2：hls切片转封装录制，无需转码进行ts切片，m3u8清单/ts切片录制][javacv_23_2_hls_ts_m3u8_ts]
 *   *  [JavaCV开发详解之23补充篇3：hls切片录制，自动根据日期时间格式生成切片ts文件和目录][JavaCV_23_3_hls_ts]
 *  [JavaCV开发详解之24：使用javacv录制dash视频分片，mpeg-dash视频录制和制作][JavaCV_24_javacv_dash_mpeg-dash]
 *  [JavaCV开发详解之25：使用javacv保存raw视频像素格式(yuv或者rgb)，并使用ffplay播放raw][JavaCV_25_javacv_raw_yuv_rgb_ffplay_raw]
 *  [JavaCV开发详解之26：使用javacv对视频进行连续截图和覆盖截图，支持png,jpg,bmp等格式快速连续截图，适用于视频快照][JavaCV_26_javacv_png_jpg_bmp]
 *  [JavaCV开发详解之27：使用javacv把视频切割成多个视频分片文件，以mp4为例，把视频切割成MP4分片文件][JavaCV_27_javacv_mp4_MP4]
 *  [JavaCV开发详解之28：如何使用javacv进行多图推流和多图合成视频文件,以批量jpg图片推流rtmp和jpg合成flv视频文件为例][JavaCV_28_javacv_jpg_rtmp_jpg_flv]
 *  [JavaCV开发详解之29：使用javacv将多个视频拼接合成单个视频，多个音频拼接合成单个音频][JavaCV_29_javacv]
 *  [JavaCV开发详解之30：如何使用javacv拉取rtsp视频流，rtsp解复用器详解。如何把rtsp调教的服服帖帖，让rtsp拉流不再丢包][JavaCV_30_javacv_rtsp_rtsp_rtsp_rtsp]
 *  [JavaCV开发详解之31：如何计算pts/dts时间戳，在视频转码和转复用中如何自行计算pts/dts时间戳][JavaCV_31_pts_dts_pts_dts]
 *  [JavaCV开发详解之32：使用filter滤镜实现中文字符叠加][JavaCV_32_filter]
 *  [JavaCV开发详解之33：使用filter滤镜实现动态日期时间叠加][JavaCV_33_filter]
 *  [JavaCV开发详解之34：使用filter滤镜实现无限循环滚动字符叠加，跑马灯特效][JavaCV_34_filter]
 *  [JavaCV开发详解之35：使用filter滤镜实现画中画，以屏幕画面叠加摄像头画面为例][JavaCV_35_filter]

# JavaCV及音视频相关补充篇 #

*  [javacv开发详解补充篇：解决转流后视频画面快进慢放，时间跳动过大，监控视频时间戳重新计算pts和dts][javacv_pts_dts]
 *  [javaCV开发详解补充篇：基于avfoundation的苹果Mac和ios获取屏幕画面及录屏/截屏以及摄像头画面和音频采样获取实现][javaCV_avfoundation_Mac_ios]
 *  [javaCV开发详解之GIF动态图片录制补充篇：windows桌面屏幕画面录制成gif动态图片，支持桌面任意取域生成gif，可扩展支持MacOS/安卓/linux等平台，可扩展支持apng动态图片][javaCV_GIF_windows_gif_gif_MacOS_linux_apng]
 *  [音视频编解码问题：javaCV如何快速进行音频预处理和解复用编解码（基于javaCV-FFMPEG）][javaCV_javaCV-FFMPEG]
 *  [音视频编解码问题：16/24/32位位音频byte\[\]转换为小端序short\[\],int\[\]，以byte\[\]转short\[\]为例][16_24_32_byte_short_int_byte_short]
 *  [实现给图片增加图片水印或者文字水印（也支持视频图像帧添加水印）][Link 1]
 *  [java原生实现屏幕设备遍历和屏幕采集（捕获）等功能][java]
 *  [流媒体直播实时视频延迟时间排查和剖析][Link 2]

# javacv进阶ffmpeg系列 #

*  [javacpp-FFmpeg系列之1：视频拉流解码成YUVJ420P，并保存为jpg图片][javacpp-FFmpeg_1_YUVJ420P_jpg]
 *  [javacpp-FFmpeg系列之2：通用拉流解码器，支持视频拉流解码并转换为YUV、BGR24或RGB24等图像像素数据][javacpp-FFmpeg_2_YUV_BGR24_RGB24]
 *  [javacpp-FFmpeg系列之3： 图像数据转换（BGR与BufferdImage互转，RGB与BufferdImage互转）][javacpp-FFmpeg_3_ _BGR_BufferdImage_RGB_BufferdImage]
 *  [javacpp-FFmpeg系列补充：FFmpeg解决avformat\_find\_stream\_info检索时间过长问题][javacpp-FFmpeg_FFmpeg_avformat_find_stream_info]

# javacv进阶opencv系列 #

*  [javaCV图像处理之1：实时视频添加文字水印并截取视频图像保存成图片，实现文字水印的字体、位置、大小、粗度、翻转、平滑等操作][javaCV_1]
 *  [javaCV图像处理之2：实时视频添加图片水印，实现不同大小图片叠加，图像透明度控制][javaCV_2]
 *  [javacv图像处理3：使用opencv原生方法遍历摄像头设备及调用（方便多摄像头遍历及调用，相比javacv更快的摄像头读取速度和效率，方便读取后的图像处理）][javacv_3_opencv_javacv]
 *  [javacv图像处理系列：国内车辆牌照检测识别系统（万份测试准确率99.7%以上）][javacv_99.7]

# javacv人脸检测识别 #

opencv人脸检测识别：

*  [JavaCV进阶opencv图像检测识别：摄像头画面人脸检测][JavaCV_opencv]
 *  [JavaCV进阶opencv图像检测识别：ffmpeg视频图像画面人脸检测][JavaCV_opencv_ffmpeg]
 *  [JavaCV进阶opencv图像处理：批量人脸图像分类训练][JavaCV_opencv 1]
 *  [JavaCV进阶opencv图像处理：摄像头图像人脸识别][JavaCV_opencv 2]

# 二维码识别 #

*  [二维码识别 JavaCV进阶opencv图像处理：扫描并识别摄像头中的二维码][JavaCV_opencv 3]
 *  [JavaCV进阶opencv图像处理：10行代码快速实现扫描识别图片中的二维码][JavaCV_opencv_10]
 *  [JavaCV进阶opencv图像处理：扫描并识别视频中的二维码][JavaCV_opencv 4]

# javacv进阶tesserac文字识别系列 #

*  [javaCV文字识别之1：基于google的tesserac ocr识别图片中的文字，跨平台支持英文中文简体繁体等各种字符识别][javaCV_1_google_tesserac ocr]
 *  [javaCV文字识别之2：视频文字识别和视频提取字幕文字字符][javaCV_2 1]

持续更新

[JavaCV_1.5.x]: https://eguid.blog.csdn.net/article/details/112574330
[JavaCV]: https://blog.csdn.net/eguid_1/article/details/82875343
[JavaCV_FFmpeg_API_JavaCV_FFmpeg]: https://blog.csdn.net/eguid_1/article/details/83663035
[JavaCV_opencv_API_JavaCV_opencv]: https://blog.csdn.net/eguid_1/article/details/106900098
[JavaCV_FrameGrabber]: https://blog.csdn.net/eguid_1/article/details/106785754
[JavaCV_FrameRecorder]: https://blog.csdn.net/eguid_1/article/details/106845023
[JavaCV_FrameFilter]: https://blog.csdn.net/eguid_1/article/details/106925168
[JavaCV_FrameConverter_CanvasFrame]: https://blog.csdn.net/eguid_1/article/details/106900981
[JavaCV 1]: https://blog.csdn.net/eguid_1/article/details/111538199
[javacv_1]: http://blog.csdn.net/eguid_1/article/details/51659578
[javaCV_2_javaCV-FFMPEG_javaCV-openCV]: http://blog.csdn.net/eguid_1/article/details/52678775
[javaCV_3_rtsp_rtmp_javaCV-FFMPEG]: http://blog.csdn.net/eguid_1/article/details/52680802
[javaCV_4_rtsp_rtmp_rtmp_javaCV-FFMPEG]: http://blog.csdn.net/eguid_1/article/details/52691707
[javaCV_5_javax.sound_javaCV-FFMPEG]: http://blog.csdn.net/eguid_1/article/details/52702385
[javaCV_6]: http://blog.csdn.net/eguid_1/article/details/52804246
[javaCV_7_pcm16le_wav_mp3]: http://blog.csdn.net/eguid_1/article/details/52982108
[javaCV_8_rtsp_rtmp]: https://blog.csdn.net/eguid_1/article/details/83025621
[javaCV_9_gdigrab_windows_javacv]: https://eguid.blog.csdn.net/article/details/105775362
[javaCV_10_dshow_windows_gdigrab]: https://eguid.blog.csdn.net/article/details/105817269
[javaCV_11_gif_gif]: https://eguid.blog.csdn.net/article/details/106648234
[javacv_gif_gif]: https://eguid.blog.csdn.net/article/details/114296734
[javaCV_12_apng_apng]: https://eguid.blog.csdn.net/article/details/106660093
[javacv_apng_apng]: https://eguid.blog.csdn.net/article/details/114296456
[javaCV_13_FFmpeg Filter]: https://eguid.blog.csdn.net/article/details/106753961
[javaCV_14]: https://eguid.blog.csdn.net/article/details/106813330
[javaCV_15]: https://eguid.blog.csdn.net/article/details/106823269
[javaCV_16]: https://eguid.blog.csdn.net/article/details/106895868
[javaCV_17_GIF_APNG_gif_mp4]: https://eguid.blog.csdn.net/article/details/106903197
[javaCV_18]: https://eguid.blog.csdn.net/article/details/107004088
[JavaCV_19_GPU_JavaCV]: https://eguid.blog.csdn.net/article/details/107068783
[JavaCV_20_JavaCV_ico_ico_ico]: https://eguid.blog.csdn.net/article/details/107248007
[JavaCV_21_JavaCV_gb28181_ps_sdk_h264_hevc]: https://eguid.blog.csdn.net/article/details/109179344
[JavaCV_22_flv_live_flv_http-flv_http-flv_rtmp_rtmp]: https://eguid.blog.csdn.net/article/details/112003829
[JavaCV_23_hls_m3u8_fmp4]: https://eguid.blog.csdn.net/article/details/112174881
[javacv_23_1_hls_rtsp_hls_m3u8_ts_hls_time]: https://eguid.blog.csdn.net/article/details/115319460
[javacv_23_2_hls_ts_m3u8_ts]: https://eguid.blog.csdn.net/article/details/114652697
[JavaCV_23_3_hls_ts]: https://eguid.blog.csdn.net/article/details/116941691
[JavaCV_24_javacv_dash_mpeg-dash]: https://eguid.blog.csdn.net/article/details/112226520
[JavaCV_25_javacv_raw_yuv_rgb_ffplay_raw]: https://eguid.blog.csdn.net/article/details/112253776
[JavaCV_26_javacv_png_jpg_bmp]: https://eguid.blog.csdn.net/article/details/112254190
[JavaCV_27_javacv_mp4_MP4]: https://eguid.blog.csdn.net/article/details/112254797
[JavaCV_28_javacv_jpg_rtmp_jpg_flv]: https://eguid.blog.csdn.net/article/details/112298320
[JavaCV_29_javacv]: https://eguid.blog.csdn.net/article/details/113695531
[JavaCV_30_javacv_rtsp_rtsp_rtsp_rtsp]: https://eguid.blog.csdn.net/article/details/113539016
[JavaCV_31_pts_dts_pts_dts]: https://eguid.blog.csdn.net/article/details/115721791
[JavaCV_32_filter]: https://eguid.blog.csdn.net/article/details/116000026
[JavaCV_33_filter]: https://eguid.blog.csdn.net/article/details/115999478
[JavaCV_34_filter]: https://eguid.blog.csdn.net/article/details/110086918
[JavaCV_35_filter]: https://eguid.blog.csdn.net/article/details/116726672
[javacv_pts_dts]: https://eguid.blog.csdn.net/article/details/109179042
[javaCV_avfoundation_Mac_ios]: https://eguid.blog.csdn.net/article/details/105839113
[javaCV_GIF_windows_gif_gif_MacOS_linux_apng]: https://eguid.blog.csdn.net/article/details/106668678
[javaCV_javaCV-FFMPEG]: http://blog.csdn.net/eguid_1/article/details/52875793
[16_24_32_byte_short_int_byte_short]: http://blog.csdn.net/eguid_1/article/details/52790848
[Link 1]: http://blog.csdn.net/eguid_1/article/details/52973508
[java]: https://blog.csdn.net/eguid_1/article/details/64922443
[Link 2]: https://eguid.blog.csdn.net/article/details/105966743
[javacpp-FFmpeg_1_YUVJ420P_jpg]: https://blog.csdn.net/eguid_1/article/details/81369055
[javacpp-FFmpeg_2_YUV_BGR24_RGB24]: https://blog.csdn.net/eguid_1/article/details/82735524
[javacpp-FFmpeg_3_ _BGR_BufferdImage_RGB_BufferdImage]: https://blog.csdn.net/eguid_1/article/details/82767187
[javacpp-FFmpeg_FFmpeg_avformat_find_stream_info]: https://blog.csdn.net/eguid_1/article/details/82754352
[javaCV_1]: http://blog.csdn.net/eguid_1/article/details/53236923
[javaCV_2]: http://blog.csdn.net/eguid_1/article/details/53259649
[javacv_3_opencv_javacv]: http://blog.csdn.net/eguid_1/article/details/58027720
[javacv_99.7]: http://blog.csdn.net/eguid_1/article/details/73064826
[JavaCV_opencv]: https://blog.csdn.net/eguid_1/article/details/107420243
[JavaCV_opencv_ffmpeg]: https://blog.csdn.net/eguid_1/article/details/107475481
[JavaCV_opencv 1]: https://blog.csdn.net/eguid_1/article/details/115075541
[JavaCV_opencv 2]: https://blog.csdn.net/eguid_1/article/details/115074678
[JavaCV_opencv 3]: https://eguid.blog.csdn.net/article/details/115909555
[JavaCV_opencv_10]: https://eguid.blog.csdn.net/article/details/115909160
[JavaCV_opencv 4]: https://eguid.blog.csdn.net/article/details/115910193
[javaCV_1_google_tesserac ocr]: https://blog.csdn.net/eguid_1/article/details/106024626
[javaCV_2 1]: https://eguid.blog.csdn.net/article/details/106044521