Audio og video udvikling og læring

 Vi antager først, at nogen har nul fundament i lyd og video og aldrig har lært nogen digital signalbehandlingsrelateret viden. Det matematiske fundament er grundlæggende gymnasieniveau, men han er bekendt med C / C ++ udvikling, i det mindste fortrolig med kompilering og fejlretning af IDE under en bestemt platform.

Fokuser på de to open source-projekter ffmpeg og webRTC, hvor man primært ser på videodelen af ​​ffmpeg og lyddelen af ​​webRTC.

Først og fremmest, start med videodekodning. Dette er den enkleste. Den grundlæggende kode til opkald til ffmpeg-videodekodning er kun omkring 100 linjer. Videoafkodning behøver kun at forstå h.264, 80% + scener er i dette kodningsformat, forstå grundlæggende H.264 sps pps NAL og andre filformatkoncepter, forstå princippet om YUV-billedformat og forstå konvertering af YUV til RGB , Så du kan lave billedgengivelse, du kan opnå en simpel videoafspiller. (Dybest set i første fase)

For at lære om videokodning anbefales det derefter at starte med x264, et simpelt opkald til x264-kodningskode er mindre end 100 linjer. Kodning er mere kompliceret end afkodning, idet dekodning ikke kræver nogen parametre, der skal konfigureres, og kodning har et stort antal parametre, der skal konfigureres. I starten skal du bare forstå et par grundlæggende begreber, såsom billedhastighed, almindelige flowkontrolmetoder ABR CRF, GOP, I / B Hvad betyder henholdsvis / P Frame. (Bekendt med X264-kodning igen)

Audio-kodens codec svarer til videoens. I den indledende fase skal du kun forstå de to kodere EAAC + og Silk, forstå begreberne lydkanal, samplingshastighed osv. Og forstå Wave-filformatet. Kan være en simpel lydafspiller. (Lav en lydafspiller)

Den komplekse del af lyd er ikke codec, men lydeffekten. Se på Audio Processing-modulet i webRTC og forstå følgende begreber: denoising NS, echo cancellation AEC, mute detection VAD, automatisk gain control AGC og den indbyggede webRTC. Selvom algoritmen ikke er den bedste, kan den løse 90% + af problemerne, og det er værd at lære. (Lær webrtc lydbehandling)

Efter at have lært dette er jeg nødt til at tænke over et spørgsmål, om jeg vil tage en ingeniørrute eller en algoritmisk rute. Hvis det er en algoritmisk rute, skal jeg lære matematik. Bag digital signalbehandling ligger et stort antal grundlæggende matematiske teorier. Hvis det er en ingeniørrute, skal du lære udvikling på tværs af platforme, lære indsamling, afspilning og behandling af lyd og video under flere platforme og lære at samle sprogoptimering under flere platforme. (Platformrelateret)

Lyd og video er et meget dybt felt, og du vil aldrig afslutte læringen i en levetid, men dette felt har den fordel, at hastigheden af ​​videnopdatering er relativt langsom, de lærte ting ikke er lette at fjerne og akkumulering af erfaring er meget vigtigt. v

Vores andet produkt:

Professionelt lynbeskyttelsessystem til Tower	Professionel FM-radiostationsudstyrspakke	FMUSER FU-1000C 1000W FM-sender med USB-lydindgangsgrænseflade
FMUSER 200W FM-radioudsendelsespakke	Hotel IPTV-løsning	FMUSER FSN-1000T V5.0 1KW FM Radio Broadcast Sender