Multimedia Project ─ 2014 MSR challenge for Image retrieval system

ACM : 2014 Grand Challenge @ ICME (with 1M dataset) http://www.icme2014.org/msr-bing-image-retrieval-challenge

Here are results from my proposed method experiment, and Slides

Best Case

在此實驗中,提出幾個Single unit query , 這幾個單字找出的結果都很好。

根據我們的觀察,這些單字屬於識別度比較高的詞,意即在英文中,這些字詞具有較明顯的意思。

Worst Case

這裡顯示出我們測試出來最差的case,就搜索出來的結果圖片觀察,我們沒辦法得知跟Query的主要關係

根據我們對使用者的調查了解,user是擷取網路文章來當作Query,故user也不知道實際上要取得甚麼照片

但我們對Query的解釋是,這些Query原本就不容易理解。

a cool wet afternoon

NONE

the lost and bewildered tourist

a story as old as time

Semantic Case

Semantic即是語義,我們可以說在同一個單字裡面,擁有很多種意思,常常使用者在下Query的時候,往往找出來的結果會跟user的想法有所落差。

好比:table,對user來說,我們可能希望找出來的是桌子,但Query出來的圖片都是跟表格相關。這個現象告訴我們table的語意含有不一樣的意思,會造成在搜尋的過程中,user想法跟結果有所落差。

table

chinese

Hard Recognition

這裡想要表達的意思是,像以下兩種Query範例中,根據Query出來的結果我們可以將其視為是難以辨識的,意思就是不知要找出什麼樣的主題,像這種類型的Query在真實的狀況中,也是很有可能發生的,但如何來解決這樣的狀況,也是很值得討論的。

long and winding road

a wet and stinky dog

Query auto fix

在真實的狀況下,user很容易發生Misspelled word 的機率是很高的,但往往這些錯誤會造成Query過程中precise下降,好比以下的範例,user可能想要找有關teddy bear,但卻下了tiddy bear,經過我們使用wiki suggestion 來Correct Query之後,user不僅可以照卻找到自己想要的圖片,也能提高precise。

Expansion Analysis

由於我們的方法使用了Query expansion,所以這個現象在我們的觀察之下,以hot dog為例,當找完與hot dog相符的圖片之後,透過Query expansion,將hot跟dog分別作expansion,但在這範例中,我們可以看到下面的圖片找出一堆女郎,這些是透過hot expnasion的結果。

此時發生的問題就是:我們需要在進行另外的工作替hot 跟 dog 加以分析彼此之間的關係以及彼此相關程度。