>> Есть метрики навроде VMAF и PSNR, гуглится на раз. Насчёт информации на
>> русском языке не уверен.
> отдельный вопрос, каково их отношение к видимому глазом качеству.По ссылке[1] с википедии[2], которая заодно третья ссылка в ddg при поиске по запросу "VMAF":
> VMAF was specifically formulated by Netflix to correlate
> strongly with subjective MOS scores. Using machine learning
> techniques, a large sample of MOS scores were used as ground
> truth to train a quality estimation model. It is a full-reference,
> perceptual video quality metric that aims to approximate human
> perception of video quality.
Если по русски, то это ML наученный предсказывать человеческие оценки качества.
И дальше там результат сравнения работы VMAF с субъективным восприятием, который в конечном итоге сводится к:
> a) The results exhibit a strong correlation between subjective Mean Opinion Score and the computed objective VMAF score with a correlation of 0.948. This compares well with the Netflix results of 0.963 and 0.939 for the NFLX-TEST and VQEGHD3 datasets, respectively. Even though the original VMAF was trained on 1080p data we demonstrate its applicability to 4K video.
> b) While VMAF is a strong predictor of subjective opinion of a collection of viewers on the quality of video content, with a RMSE of 12.7, our results show that the computed value more often (85 percent of the time) over-estimates the subjective quality.
> c) The results indicate that if a video service operator were to encode video to achieve a VMAF score of about 93 then they would be confident of optimally serving the vast majority of their audience with content that is either indistinguishable from original or with noticeable but not annoying distortion.
0.95 корреляции -- это очень неплохо, но VMAF всё же часто переоценивает качество.
Подход ясен, моё любопытство удовлетворено. Но все эти числа и выводы не стоит рассматривать как истину в последней инстанции: там выборка 18 человек всего (для оттачивания методики измерения надо бы несколько десятков, хотя бы), плюс не написано что это за выборка, каким образом она создавалась. Дети до пяти лет с близорукостью высокой степени? Студенты второго курса на дизайнерских специальностях? Раз не описана выборка, значит скорее всего репрезентативности выборки не уделялось должного внимания, а это значит что результат может кардинально отличаться от реальности. То есть, я бы на месте video service operator ещё бы подумал, стоит ли обращать внимание на рекомендацию в пункте (c).
С другой стороны -- это второстепенное исследование, которое пытается оценить применимость VMAF для оценивания 4K видео (VMAF был заточен под 1K, согласно статье). В википедии есть ссылки на статьи 2012/13 годов, с которых всё начиналось, так что лучше туда идти за подробностями в отношении надёжности этой метрики.
[1] https://www.realnetworks.com/sites/default/files/vmaf_reprod...
[2] https://en.wikipedia.org/wiki/Video_Multimethod_Assessment_F...
