一、ffmpeg、ffplay、ffprobe區別
ffmpeg：超快音視頻編碼器（類似愛剪輯）
ffplay：簡單媒體播放器
ffprobe：簡單多媒體流分析器
二、幫助文檔查看
2.1 ffmpeg查看幫助文檔
基本信息：ffmpeg -h
高級信息：ffmpeg -h long
所有信息：ffmpeg -h full
2.2 ffplay、ffprobe幫助文檔
ffplay：ffpay -h
ffprobe：ffprobe -h
注意：ffmpeg、ffplay、ffprobe部分參數通用，部分不通用
三、ffmpeg命令處理流程
如下一條命令將1920×1080的MP4文件轉碼成1280×720的flv文件
ffmpeg -i test_1920x1080.mp4 -acodec copy -vcodec libx264 -s 1280x720 test_1280x720.flv
將test_1920×1080的文件解復用成音頻和視頻（demuxer）
將數據包解碼成數據幀（decoder）
將幀處理成不同分辨率（filter）
將處理后的數據幀編碼成數據包（encoder）
將編碼后的音頻和視頻數據包輸出到文件（muxer）
四、 ffmpeg命令
4.1 命令分類查詢
命令分頁：windows下可采取
ffmpeg -formats | more
命令查找：
# windows
ffmpeg -formats | findstr flv
#linux
ffmpeg -formats | grep flv
查詢具體分類所支持的參數
# 語法
ffmepg -h type=name
# 示例1
ffmpeg -h muxer=flv
# 示例2
ffmpeg -h filter=atempo
【免費分享】整理了一些學習資料、教學視頻和學習路線圖，資料包括《Andoird音視頻開發必備手冊+音視頻學習視頻+學習文檔資料包+大廠面試真題+2022最新學習路線圖》等有需要可以點擊
FFmpegWebRTCRTMPRTSPHLSRTP播放器-音視頻流媒體高級開發
formats：如圖所示（此命令包含muxers和demuxers），其中第一個參數為支持的復用器。其中D為支持解復用器，E為支持復用器
devices
- dshow：支持錄制設備（比如攝像頭、麥克風）lavfi：虛擬設備sdl,sdl2：代表支持sdl輸出vfwcap：攝像頭采集
- codes
其中第一個參數代表每個字母代表含義如下：
D…：解碼支持
.E…：編碼支持
…V…：視頻編解碼器（Video）
…A…：音頻編解碼器（Audio）
…S…：字母編解碼器（Subtitle）
…I…：內幕幀編解碼器，不需要參考別的幀（Intra frame-only ）
…L.：有損的壓縮（Lossy）
…S：無損的壓縮（Lossless）
decoders
encoders
bsfs
protocols
filters
pix_fmts
layouts
sample_fmts
colors
4.2 ffmpeg轉封裝
4.2.1 截取視頻
- -i 設定輸入流
- -f 設定輸出格式
- -ss 開始時間
- -t 時間長度(毫秒)
ffmpeg -i .test.mp4 -codec copy -ss 10 -t 20 -f flv
4.2.2音頻處理
- -aframes 設置要輸出的音頻幀數
- -b:a 音頻碼率
- -ar 設定采樣率
- -ac 設定聲音的Channel數
- -acodec 設定聲音編解碼器，如果用copy表示原始編解碼數據必須被拷貝。
- -an 不處理音頻
- -af 音頻過濾器
ffmpeg -i test.mp4 -b:a 192k -ar 48000 -ac 2 -acodec libmp3lame -aframes 200 out2.mp3
4.2.3 視頻處理
-vframes 設置要輸出的視頻幀數
-b 設定視頻碼率
-b:v 視頻碼率
-r 設定幀速率
-s 設定畫面的寬與高
-vn 不處理視頻
-aspect aspect 設置橫縱比 4:3 16:9 或 1.3333 1.7777
-vcodec 設定視頻編解碼器，如果用copy表示原始編解碼數據必須被拷貝。
-vf 視頻過濾器
ffmpeg -i test.mp4 -vframes 300 -b:v 300k -r 30 -s 640x480 -aspect 16:9 -vcodec libx265
4.2.4 提取音頻數據
# 保留封裝格式
ffmpeg -i test.mp4 -acodec copy -vn audio.mp4
# 保留編碼格式
ffmpeg -i test.mp4 -acodec copy -vn test.aac
# 強制格式
ffmpeg -i test.mp4 -acodec libmp3lame -vn test.mp3
4.2.5 提取視頻數據
# 保留封裝格式
ffmpeg -i test.mp4 -vcodec copy -an video.mp4
# 保留編碼格式
ffmpeg -i test.mp4 -vcodec copy -an test.h264
# 強制格式
ffmpeg -i test.mp4 -vcodec libx264 -an test_force.h264
4.2.6 提取YUV
-pix_fmt
-s
# 提取3秒數據，分辨率和源視頻一致
ffmpeg -i test_1280x720.mp4 -t 3 -pix_fmt yuv420p yuv420p_orig.yuv
# 提取3秒數據，分辨率轉為320x240
ffmpeg -i test_1280x720.mp4 -t 3 -pix_fmt yuv420p -s 320x240 yuv420p_320x240.yuv
4.2.7 提取RGB
# 提取3秒數據，分辨率轉為320x240
ffmpeg -i test.mp4 -t 3 -pix_fmt rgb24 -s 320x240 rgb24_320x240.rgb
# RGB和YUV之間的轉換
ffmpeg -s 320x240 -pix_fmt yuv420p -i yuv420p_320x240.yuv -pix_fmt rgb24 rgb24_320x240_2.rgb
4.2.8 提取PCM
ffmpeg -i buweishui.mp3 -ar 48000 -ac 2 -f s16le 48000_2_s16le.pcm
ffmpeg -i buweishui.mp3 -ar 48000 -ac 2 -sample_fmt s16 out_s16.wav
ffmpeg -i buweishui.mp3 -ar 48000 -ac 2 -codec:a pcm_s16le out2_s16le.wav
ffmpeg -i buweishui.mp3 -ar 48000 -ac 2 -f f32le 48000_2_f32le.pcm
ffmpeg -i test.mp4 -t 10 -vn -ar 48000 -ac 2 -f f32le 48000_2_f32le_2.pcm
4.2.9 保持編碼格式
ffmpeg -i test.mp4 -vcodec copy -acodec copy test.ts
ffmpeg -i test.mp4 -codec copy test.ts
4.2.10 改變編碼格式
ffmpeg -i test.mp4 -vcodec libx265 -acodec libmp3lame out.mkv
4.2.11 改變幀率
ffmpeg -i test.mp4 -r 15 -codec copy output.mp4(錯誤命令)
ffmpeg -i test.mp4 -r 15 output2.mp4
4.2.12 修改視頻碼率
ffmpeg -i test.mp4 -b 400k output_b.mkv(音頻也被重新編碼)
ffmpeg -i test.mp4 -b:v 400k output_b.mkv
4.2.13 修改音頻碼率
ffmpeg -i test.mp4 -b:a 192k output.mp4
# 不重新編碼video
ffmpeg -i test.mp4 -b:a 192k -vcodec copy output.mp4
4.2.14 修改音視頻碼率
ffmpeg -i test.mp4 -b:v 400k -b:a 192k out.mp4
4.2.15 修改視頻分辨率
ffmpeg -i test.mp4 -s 480x270 output_480x270.mp4
4.2.16 修改音頻采樣率
ffmpeg -i test.mp4 -ar 44100 output_44100hz.mp4
4.2.17 裁剪視頻，并轉化成ts和flv格式，然后合并視頻流
# 找三個不同的視頻每個視頻截取10秒內容
ffmpeg -i JAVA.mp4 -ss 00:05:00 -t 10 -codec copy 1.mp4
ffmpeg -i cpp.mp4 -ss 00:05:00 -t 10 -codec copy 2.mp4
ffmpeg -i go.mp4 -ss 00:05:00 -t 10 -codec copy 3.mp4
# 如果音視頻格式不統一則強制統一為 -vcodec libx264 -acodec aac
# 將上述1.mp4/2.mp4/3.mp4轉成ts格式
ffmpeg -i 1.mp4 -codec copy -vbsf h264_mp4toannexb 1.ts
ffmpeg -i 2.mp4 -codec copy -vbsf h264_mp4toannexb 2.ts
ffmpeg -i 3.mp4 -codec copy -vbsf h264_mp4toannexb 3.ts
# 分離某些封裝格式（例如MP4/FLV/MKV等）中的H.264的時候，需要首先寫入SPS和PPS，否則會導致分離出來的數據沒有SPS、PPS而無法播放。H.264碼流
的SPS和PPS信息存儲在AVCodecContext結構體的extradata中。需要使用ffmpeg中名稱為“h264_mp4toannexb”的bitstream filter處理
# 轉成flv格式
ffmpeg -i 1.mp4 -codec copy 1.flv
ffmpeg -i 2.mp4 -codec copy 2.flv
ffmpeg -i 3.mp4 -codec copy 3.flv
# 拼接視頻流
# 以MP4格式進行拼接
# 方法1：只有第一個個視頻，所以此法不行
ffmpeg -i "concat:1.mp4|2.mp4|3.mp4" -codec copy out_mp4.mp4
# 方法2：音頻正常，視頻從第二個視頻開始就便緩慢，不同步
ffmpeg -f concat -i mp4list.txt -codec copy out_mp42.mp4
# 以TS格式進行拼接
# 方法1：正常播放
ffmpeg -i "concat:1.ts|2.ts|3.ts" -codec copy out_ts.mp4
# 方法2：正常播放
ffmpeg -f concat -i tslist.txt -codec copy out_ts2.mp4
# 以FLV格式進行拼接
# 方法1：只有第一個個視頻，所以此法不行
ffmpeg -i "concat:1.flv|2.flv|3.flv" -codec copy out_flv.mp4
# 方法2：正常播放
ffmpeg -f concat -i flvlist.txt -codec copy out_flv2.mp4
# 修改音頻編碼
ffmpeg -i 2.mp4 -vcodec copy -acodec ac3 -vbsf h264_mp4toannexb mod_1.ts
ffmpeg -i "concat:1.ts|2.ts|3.ts" -codec copy out1.mp4 結果第二段沒有聲音
# 修改音頻采樣率
ffmpeg -i 2.mp4 -vcodec copy -acodec aac -ar 96000 -vbsf h264_mp4toannexb 2.ts
ffmpeg -i "concat:1.ts|2.ts|3.ts" -codec copy out2.mp4 第二段播放異常
# 修改視頻編碼格式
ffmpeg -i 1.mp4 -acodec copy -vcodec libx265 1.ts
ffmpeg -i "concat:1.ts|2.ts|3.ts" -codec copy out3.mp4
# 修改視頻分辨率
ffmpeg -i 1.mp4 -acodec copy -vcodec libx264 -s 800x472 -vbsf h264_mp4toannexb 1.ts
ffmpeg -i "concat:1.ts|2.ts|3.ts" -codec copy out4.mp4
把每個視頻封裝格式也統一為ts，拼接輸出的時候再輸出你需要的封裝格式
視頻分辨率可以不同，但是編碼格式需要統一
音頻編碼格式需要統一，音頻參數(采樣率/聲道等)也需要統一
4.2.18 截取圖片
-y 覆蓋
-f 格式
image2 格式
-vframes 幀，日光IP大于1那么輸出加%03d test%03d.jpg
-s 格式帶線啊哦
# 截取圖片
ffmpeg -i test.mp4 -y -f image2 -ss 00:00:02 -vframes 1 -s 640x360 test.jpg
ffmpeg -i test.mp4 -y -f image2 -ss 00:00:02 -vframes 1 -s 640x360 test.bmp
# 轉化視頻位圖片，每幀一張圖
ffmpeg -i test.mp4 -t 5 -s 640x360 -r 15 frame%03d.jpg
# 圖片轉換為視頻
ffmpeg -f image2 -i frame%03d.jpg -r 25 video.mp4
# 從視頻中生成GIF圖片
ffmpeg -i test.mp4 -t 5 -r 1 image1.gif
ffmpeg -i test.mp4 -t 5 -r 25 -s 640x360 image2.gif
# 將 GIF 轉化為 視頻
ffmpeg -f gif -i image2.gif image2.mp4
4.2.19 視頻錄制
- 查看設備,windows最好裝下https://sourceforge.net/projects/screencapturer/files/
ffmpeg -list_devices true -f dshow -i dummy
[dshow @ 033bd280] DirectShow video devices (some may be both video and audio devices)
[dshow @ 033bd280] "Integrated Camera"
[dshow @ 033bd280] Alternative name "@device_pnp_\?usb#vid_04f2&pid_b6d9&mi_00#6&850bcba&1&0000#{65e8773d-8f56-11d0-a3b9-00a0c9223196}global"
[dshow @ 033bd280] "screen-capture-recorder"
[dshow @ 033bd280] Alternative name "@device_sw_{860BB310-5D01-11D0-BD3B-00A0C911CE86}{4EA6930A-2C8A-4AE6-A561-56E4B5044439}"
[dshow @ 033bd280] DirectShow audio devices
[dshow @ 033bd280] "楹﹀厠椋?(Realtek(R) Audio)"
[dshow @ 033bd280] Alternative name "@device_cm_{33D9A762-90C8-11D0-BD43-00A0C911CE86}wave_{2290534C-E8B7-4A5D-93CC-94AF1DA12D4D}"
[dshow @ 033bd280] "virtual-audio-capturer"
[dshow @ 033bd280] Alternative name "@device_sw_{33D9A762-90C8-11D0-BD43-00A0C911CE86}{8E14549B-DB61-4309-AFA1-3578E927E935}"
# 查看視頻錄制的可選參數
ffmpeg -f dshow -list_options true -i video="screen-capture-recorder"
# 查看音頻錄制的可選參數
ffmpeg -f dshow -list_options true -i audio="virtual-audio-capturer“
ffmpeg -f dshow -list_options true -i audio="麥克風 (Realtek Audio)"
音視頻錄制
# 錄制視頻（默認參數）
# 桌面
ffmpeg -f dshow -i video="screen-capture-recorder" v-destop.mp4
# 攝像頭
ffmpeg -f dshow -i video="Integrated Camera" -y v-camera.flv (要根據自己攝像頭名稱)
# 錄制聲音（默認參數）
# 系統
ffmpeg -f dshow -i audio="virtual-audio-capturer" a-system.aac
# 系統+麥克風聲音：
ffmpeg -f dshow -i audio="麥克風 (Realtek(R) Audio)" -f dshow -i audio="virtual-audio-capturer" -filter_complex
amix=inputs=2:duration=first:dropout_transition=2 record_audio.aac(中文會亂碼)
# 同時錄制聲音和視頻（默認參數）
ffmpeg -f dshow -i audio="麥克風 (Realtek Audio)" -f dshow -i audio="virtual-audio-capturer" -filter_complex amix=inputs=2:duration=first:dropout_transition=2 -f dshow -i video="screen-capture-recorder" -y av-out.flv(中文會亂碼)
指定參數錄制
ffmpeg -f dshow -i audio="virtual-audio-capturer" -f dshow -video_size 1920x1200 -framerate 30 -pixel_format yuv420p -i video="screen-capture-recorder" -vcodec h264_qsv -b:v 3M -y av-out.flv
4.3 ffmpeg轉碼
4.4 ffmpeg流媒體
4.4.1 ffmpeg和ffplay拉取直播流
ffplay rtmp://server/live/streamName
# 對于不是rtmp的協議 -c copy要謹慎使用
ffmpeg -i rtmp://server/live/streamName -c copy dump.flv
4.5 ffmpeg濾鏡
4.5.1 濾鏡分類
按照處理的類型，可分為：
音頻filter
視頻filter
字幕filter
按照編解碼的的位置劃分：
prefilter：解碼前
intrafilters：解碼時
postfilter：解碼后
FFmpeg 中 filter 分為：
source filter （只有輸出）
audio filter
video filter
Multimedia filter
sink filter （只有輸入）
除了 source 和 sink filter，其他 filter 都至少有一個輸入、至少一個輸出。
4.5.2 裁剪語法
將輸入視頻幀的寬度和高度從x和y值表示的位置裁減到指定的寬度和高度，x和y是輸出的左上角坐標，協調系統的中心是輸入視頻幀的左上角。
如果使用了可選的keep_aspect參數，將會改變輸出SAR（樣本寬比）以補償新的DAR（顯示長寬比）
語法：
crop=ow[:oh[:x[:y[:keep_aspect]]]]
4.5.3 裁剪實例
# 可以直接看效果
# iw/3裁剪的寬度為源寬度的1/3，ih裁剪的高度為源高度，iw/3*2從圖像的寬2/3處開始裁剪，0從源高度就開始裁剪
ffplay -i input.jpg -vf crop=iw/3:ih:iw/3*2:0
ffmpeg -i input.jpg -vf crop=iw/3:ih:iw/3*2:0 out.jpg
裁剪 100x100 的區域，起點為(12,34)
ffplay -i input.jpg -vf crop=100:100:12:34
# 相同效果:
ffplay -i input.jpg -vf crop=w=100:h=100:x=12:y=34
裁剪中心區域，大小為 100x100
ffplay -i input.jpg -vf crop=100:100
裁剪中心區域，大小為輸入視頻的 2/3
ffplay -i input.jpg -vf crop=iw*2/3:ih*2/3
裁剪中心區域的正方形，高度為輸入視頻的高
ffplay -i input.jpg -vf crop=ih
裁剪偏移左上角 100 像素
ffplay -i input.jpg -vf crop=iw-100:ih-100:100:100
裁剪掉左右 10 像素，上下 20 像素
ffplay -i input.jpg -vf crop=iw-2*10:ih-2*20
裁剪右下角區域
ffplay -i input.jpg -vf crop=in_w/2:in_h/2:in_w/2:in_h/2
4.5.4 添加文字水印
五、ffplay命令
5.1 ffplay命令格式
ffplay [options] input_file
5.2 ffplay播放控制
5.3 ffplay主要選項
5.4 ffplay高級選項
5.5 其他選項
http://www.ffmpeg.org/ffplay.html
5.6 播放示例
播放本地文件
ffplay -window_title “test time” -ss 2 -t 10 -autoexit test.mp4
ffplay buweishui.mp3
播放網絡流
ffplay -window_title “rtmp stream” rtmp://202.69.69.180:443/webcast/bshdlive-pc
強制解碼器
mpeg4解碼器：ffplay -vcodec mpeg4 test.mp4
h264解碼器：ffplay -vcodec h264 test.mp4
禁用音頻或視頻
禁用音頻：ffplay test.mp4 -an
禁用視頻：ffplay test.mp4 -vn
播放YUV數據
ffplay -pixel_format yuv420p -video_size 320x240 -framerate 5 yuv420p_320x240.yuv
播放RGB數據
ffplay -pixel_format rgb24 -video_size 320x240 -i rgb24_320x240.rgb
ffplay -pixel_format rgb24 -video_size 320x240 -framerate 5 -i rgb24_320x240.rgb
播放PCM數據
ffplay -ar 48000 -ac 2 -f f32le 48000_2_f32le.pcm
-ar set audio sampling rate (in Hz) (from 0 to INT_MAX) (default 0)
-ac set number of audio channels (from 0 to INT_MAX) (default 0)
5.7 過濾器
視頻旋轉
ffplay -i test.mp4 -vf transpose=1
視頻反轉
ffplay test.mp4 -vf hflip
ffplay test.mp4 -vf vflip
視頻旋轉和反轉
ffplay test.mp4 -vf hflip,transpose=1
視頻變速播放
ffplay -i test.mp4 -vf setpts=PTS/2
音視頻同時變速
ffplay -i test.mp4 -vf setpts=PTS/2 -af atempo=2
5.8參考資料
http://www.ffmpeg.org/ffmpeg-filters.html
播放PCM數據
ffplay -ar 48000 -ac 2 -f f32le 48000_2_f32le.pcm
-ar set audio sampling rate (in Hz) (from 0 to INT_MAX) (default 0)
-ac set number of audio channels (from 0 to INT_MAX) (default 0)
5.7 過濾器
視頻旋轉
ffplay -i test.mp4 -vf transpose=1
視頻反轉
ffplay test.mp4 -vf hflip
ffplay test.mp4 -vf vflip
視頻旋轉和反轉
ffplay test.mp4 -vf hflip,transpose=1
音頻變速播放
ffplay -i test.mp4 -af atempo=2
視頻變速播放
ffplay -i test.mp4 -vf setpts=PTS/2
音視頻同時變速
ffplay -i test.mp4 -vf setpts=PTS/2 -af atempo=2
5.8參考資料
http://www.ffmpeg.org/ffmpeg-filters.html
