NTU-CSIE MMAI 2008 Group 16 Project 討論版

一、FaceDetect:
　　將影片解碼成圖片後，用網路上的tool針對每個畫面偵測
　　速度: 一張672 x 272的圖片需時10秒 => 慢，但因為我們是offline service，所以先不急著提升
　　效果: 初步看來，若畫面有人正面的臉，而且不算太少，大多可以找到，noise不算太高
　　待做: 測效能

二、Temporal matching:
　　利用shot detecion, time interval, face position作為連結不同face的資訊
　　分別對三者定threshold，依序篩選
　　待做: 更有道理的模型

三、Face Recognition:
　　做Fisher Linear Discriminant，再以Agglomerative hierarchical clustering + 條件機率判斷是否要將兩個小群合起來
　　待做: 測效能

四、Key Image Selection:
　　目前還不確定方向，研擬中

五、UI(待做):
　　1. 將media player嵌入網頁中，並找到指令讓media player可以從指定秒數開始播放影片
　　2. 圖形化的播放按鈕
　　　

可能會在Temporal Matching以及Face Recognition之間再做filtering
把一些太小群的人臉濾掉

by tino

12/16 新增

  老師給的toolkit是有各式各樣model的大包toolkit，而下面的這個網址內容是專門針對hmm的toolkit，版本也比較新。

  http://www.cs.ubc.ca/~murphyk/Software/HMM/hmm.html

Face Detection & Recognition Tool

http://www.idiap.ch/~marcel/demos.php

Face Recognition Paper

http://www.idiap.ch/~marcel/lectures.php
http://www.face-rec.org/algorithms/#Video

12/14新增

 Face Detection in Matlab:較為準確，但是速度較慢，且output必須改過http://www.mathworks.com/matlabcentral/fileexchange/13701

fdlibmex --- fast and simple face detection:準確率不高，但是速度較快。http://www.mathworks.com/matlabcentral/fileexchange/20976

目前的問題有:

1. 上面兩個現成的程式，input的格式僅提供圖檔。
2. output的制定

目標：

1. 自動在影片中擷取出人臉，並且將同一人的臉歸為同一類
2. 找出影片中的主角，並且合出(或選出)主角的key face image作為代表
3. 跨影片或圖片的人臉比對
4. 將部分影片或圖片的人臉標上人名,再對所有影片的人臉做比對,建立出一個用人名搜尋影片的系統

步驟：

1. 對每個frame作人臉定位
2. 將每個frame擷取出來的人臉做配對
3. 判斷人物在影片中的比重，並找出重要的片段(ex:特寫鏡頭)
4. 在重要的段落中合出(或選出)主角的key face image
5. 跨影片或影片對圖片的人臉配對

需要技術：

1. face detection(使用傳統對image的方式即可)
2. face feature extraction and classification

by tino

後來又在想了一下，有了以下的想法：

(1)   在大自然的圖片中，有很多有特色的照片，比如說綠油油的生態照片，看了會覺得很舒服，似乎有某種”令人感到舒服”特徵的東西在裡面，那是否能夠將這會讓能感到舒服的特徵抽取出來呢？然後將這些特中fusion到你的照片中，創照出屬於你自己的”舒服”照片

(2)   在實際應用中，某些人在照同樣的相片，相片總讓人會覺得很協調的感覺。這些專業的照片和一般人的照片是否有一些不同的特徵在裡面，而我們可以抽取出來，進一步的利用這些特徵來矯正一般人照出來的照片呢？

想做人臉辨識，出發點其實是和朋友討論到未來立法院的議事錄影會放上網路，
想幫那些影片自動標出有哪些立委在影片的哪些段落中出現，
讓觀看影片的人有更方便的系統和介面直接找到他想看的部分。

不過影片的人臉辨識，也有許多其他的應用，
像有些人會想看某些藝人在金馬獎頒獎的畫面，可是一整部影片很長，
不曉得他想看的部份出現在哪裡，或者有沒有在這部影片中，
所以會有人特別把比較多人想看的部分再剪成一個小片段，
不過這樣就會多出很多重複性很高的影片，而且也需要有人特別去剪出來。

再舉個例子，聽說"赤壁"整部片中只有林志玲的部分值得看(不是我說的，我沒看過 XD)，
如果系統提供人臉辨識的功能，並且把每個人在影片中的比重用一張key image的大小示意，
這樣就不會發生使用者把整部片看完後才發現裡面沒有他想看的人物。
（不過可能會讓某些影片變得很少人去點閱 XD）

以上這些功能只需做到影片內部的人臉配對，
如果能做到跟外部影片或圖片配對，那應用就更廣了，
甚至可以用來提升文字找影片的能力，打一個人名就能找到內容有他的所有影片

by tino

現在我們比較看到的影像合成,大部分都是在相片上的應用。

concept:
有時在不同的兩支影片中,假設是F1及F2.
在F1中出現了一個object A, 剛好有一連續的action
在F2中出現了另一個object B, 也有一連續的action
若恰巧A,B兩個連續的action放在一起的時候可以產生有別於F1及F2的意義（通常是KUSO的）
這樣可以產生不少有趣的影片

questions:
    如何將A,B完整的剪輯出來,然後另外放在一個場景中

      我有一個關於圖片抽取的想法， 我可以選擇100張心靈洗滌的自然照片，從中去抽取出擁有心靈洗滌的特徵圖片，比如說有某種特定的材質，顏色等等。 接著我們可以利用這些材質特色對圖片進行辨識，看看這些圖片是否擁有心靈洗滌的特徵。

             接著我們可以抽取出類似冰冷、柔和等等的feature，對一張或一組圖片進行分析，以找出類似感覺的照片。

人臉辨識在圖片處裡的領域發展已久，不曉得在影片處裡方面是否也有相關研究？
影片的人臉辨識，除了可以把運用在圖片的技巧用到影片上來外，
或許還可以利用影片的特性，做到之前圖片做不到的事情。

可能的步驟：

1. 1.  在每個frame中定位出人臉
2. 2.  將每個frame的人臉做配對，把同一個人的臉放一起
3. 3.  將同個人的臉合成一張正面
4. 4.  跨影片或影片對圖片的人臉配對，
   ex: 已有一組全系的畢業大頭照並配對好人名，就可以對所有系上活動影片自動找出裡面出現誰，在幾分幾秒的地方
5. 5.  加速!?

可能的方向：

1. 1.  先用處裡圖片的技巧，把每個frame切出人臉
2. 2.  可以利用temporal & spacial information & 一般圖片的技巧將臉分群
3. 3.  image morphism
4. 4.  圖片similarity or 人臉專有的feature

可能的問題：

1. 非常多....

by tino