文字知識探勘 與 自動化資訊組織
研究成果

曾元顯, < samtseng@ntnu.edu.tw >

緣由與目的：

近十幾年來，由於通訊網路與資訊科技普遍運用之故， 數位文件的生產與累積的速度極為快速， 產生了大量數位文件的管理、組織、存取與利用的各種問題與需求。

為解決這些問題、滿足使用上的需求，筆者近來從事 「自動化資訊組織與主題分析」、「文字知識探勘」的研究， 運用的技術主要為：
  • 資訊檢索 (Information Retrieval)
  • 自然語言處理 (Natural Language Processing)
  • 機器學習 (machine Learning)
等橫跨圖書館學、資訊科學、資訊工程的方法與理論。

「知識探勘」（knowledge discovery, KD）是擷取隱晦、 有用、未被發掘、有潛在價值的規則、資訊或知識的一種過程。 (Usama Fayyad, Gregory Piatetsky-Shapiro, Padhraic Smyth, and Ramasamy Uthurasamy, Advances in Knowledge Discovery and Data Mining, AAAI Press/ The MIT Press, 1996.)
在實務上， 此過程需要運用資訊組織與分析等探勘技術，透過與使用者的互動， 來反覆探索資料庫或文件庫，以發現新的、有趣的訊息或規律， 再經由人工解讀結果，讓發現的規律訊息變成有用的資訊或知識。

根據資料特性的不同，「知識探勘」可分為 「資料探勘」（data mining, DM）與「文字探勘」 （text mining, TM）。 前者處理結構化（structured）資料，即每筆資料有共同欄位可記錄於資料庫者， 而後者處理非結構化（unstructured）資料，即每筆資料沒有共通的結構性可言， 經常為長短不一、記載訊息的自由文字。

知識探勘的步驟大致分為：
  • 資料蒐集
  • 資料清理
  • 資料轉換
  • 探勘技術運用
  • 結果呈現與解讀
而知識探勘採用的方法，主要有：
  • 關聯分析（association）
  • 分類（classification）
  • 歸類（clustering）
  • 摘要（summarization）
  • 預測（prediction）
  • 序列分析（sequence analysis）
由於資料特性的不同，資料探勘（DM）與文字探勘（TM）在 步驟與方法的技術細節上都有所差異。
TM 運用的技術，幾乎都跟詞彙的頻率與出現篇數有關， 但這兩項資訊在 DM 中極少用到。
DM 主要運用於大型資料庫上，提供資料庫管理系統額外的資料分析與統計功能； 而 TM 主要運用在大量的文件庫上，供作資訊搜尋、訊息過濾、事件關聯、 趨勢預測、犯罪分析、案例追蹤、知識萃取、知識管理、決策輔助等之用。
DM 在傳統資料庫的運用上已算相當成熟， TM 最近才在各領域受到重視。

圖書館學在資訊組織與主題分析的理論與實務上， 有長期而重要的貢獻。 以專利文獻而言，其資訊組織與主題分析採用的步驟大致如下：
  • 選題：確立研究主題之專利分析範圍及目的
  • 篩選：選定專利資料庫、建立檢索策略、下載相關專利
  • 轉換：分欄擷取、資料整備，對結構化欄位資訊進行量化分析與圖表製作
  • 摘要：依照目的、方法、效用等分項製作專利閱讀分析摘要表，進行專利文字的內容分析
  • 歸類：對專利領域做主題歸類、對專利文件分類
  • 呈現：以多重分類表交叉分析，製作技術功效分佈矩陣或專利地圖
  • 解讀：判讀量化圖表與專利地圖，進行技術分析與趨勢預測
其方法主要有：
  • 特徵詞彙擷取
  • 資訊檢索
  • 權威控制
  • 詞彙關聯
  • 內容摘要
  • 主題歸類
  • 文件分類
就步驟與方法而言， 「資訊組織與主題分析」與「文字探勘」有很多不謀而合之處。 因此，文字探勘跟資訊組織與主題分析，幾乎可說是同義詞，只是
圖書館學較重視一般目的、標準化的作業與架構；
知識探勘較重視特殊目的、自動化技術的運用。

本文摘錄了筆者近年的研究成果，以便傳播、交流心得。 歡迎各方惠賜意見或建議。

研究成果與開發之系統 / Research Results and Developed Systems

相關著作：
  1. Yuen-Hsien Tseng, Yeong-Ming Wang, Yu-I Lin, Chi-Jen Lin and Dai-Wei Juang, "Patent Surrogate Extraction and Evaluation in the Context of Patent Mapping", accepted for publication in Journal of Information Science, 2007 (SSCI and SCI)

  2. Yuen-Hsien Tseng, Chi-Jen Lin, and Yu-I Lin, "Text Mining Techniques for Patent Analysis", Information Processing and Management, Vol. 43, No. 5, 2007, pp. 1216-1247. (SCI, SSCI, EI)

  3. Yuen-Hsien Tseng, Yu-I Lin, Chun-Hsien Kuo, and Yi-Yang Lee, "Verification of Increasing Trend Detection," Proceedings of the 11th International Conference of the International Society for Scientometrics and Informetrics, June 25-27, 2007, Madrid, Spain, pp.942-943.

  4. Yuen-Hsien Tseng, Chen-Yang Tsai, and Ze-Jing, Chuang, "On the Robustness of Document Re-Ranking Techniques: A Comparison of Label Propagation, KNN, and Relevance Feedback," Proceedings of the Sixth NTCIR Workshop on Evaluation of Information Access Technologies: Information Retrieval, Question Answering, and Cross-Lingual Information Access, May 15-18, 2007, Tokyo, Japan, pp.129-132.

  5. Yuen-Hsien Tseng, Chen-Yang Tsai, and Da-Wei Juang, "Invalidity Search for USPTO Patent Documents Using Different Patent Surrogates," Proceedings of the Sixth NTCIR Workshop on Evaluation of Information Access Technologies: Information Retrieval, Question Answering, and Cross-Lingual Information Access, May 15-18, 2007, Tokyo, Japan, pp. 390-392.

  6. 曾元顯, 林瑜一, "文字探勘技術在教育評鑑研究發展趨勢分析之應用", 教育評鑑國際學術研討會, 台北, 國立台灣師範大學, 2006 年 11 月 11 日, 頁 519-533.

  7. Yuen-Hsien Tseng, Chi-Jen Lin, Hsiu-Han Chen and Yu-I Lin, "Toward Generic Title Generation for Clustered Documents," Proceedings of Asia Information Retrieval Symposium, Oct. 16-18, Singapore, pp. 145-157, 2006. (Lecture Notes in Computer Science, Vol. 4182, SCI)

  8. 曾元顯, "分類不一致對文件自動分類效果的影響", 「大學圖書館」, 第 9 卷第 1 期, 2005 年 3 月, 頁2-19.

  9. 曾元顯, "專利文字之知識探勘：技術與挑戰", 現代資訊組織與檢索研討會, 台北, 淡江大學, 2004 年 11 月 19 日.

  10. 曾元顯, "數位文件之資訊組織與主題分析自動化之技術與應用", 「台北市立圖書館館訊」, 2002 年 12 月, 第 20 卷, 第 2 期, 頁 23-35.

  11. Yuen-Hsien Tseng, "Automatic Thesaurus Generation for Chinese Documents", Journal of the American Society for Information Science and Technology, Vol. 53, No. 13, Nov. 2002, pp. 1130-1138.

  12. 曾元顯, "文件主題自動分類成效因素探討", 「中國圖書館學會會報」, 2002 年 6 月, 第 68 期, 頁 62-83.

  13. Yuen-Hsien Tseng, "Automatic Cataloguing and Searching for Retrospective Data by Use of OCR Text", Journal of the American Society for Information Science and Technology (Previously known as Journal of the American Society for Information Science, JASIS), Vol. 52, No. 5, April 2001, pp. 378-390.

  14. 曾元顯, "中文手機新聞簡訊自動摘要", 第十六屆自然語言與語音處理研討會, 台北, 2004 年 9 月 2-3 日, 頁 177-189.

  15. Yuen-Hsien Tseng and William John Teahan, "Verifying a Chinese Collection for Text Categorization," Proceedings of the 27th International ACM SIGIR Conference on Research and Development in Information Retrieval - SIGIR '04, July 25 - 29 Sheffield, U.K., 2004, pp.556-557.

  16. Yuen-Hsien Tseng, Da-Wei Juang and, Shiu-Han Chen "Global and Local Term Expansion for Text Retrieval," Proceedings of the Fourth NTCIR Workshop on Evaluation of Information Retrieval, Automatic Text Summarization and Question Answering, June 2-4, 2004, Tokyo, Japan.

  17. 曾元顯, 莊大衛, "文件自我擴展於自動分類之應用", 第十五屆計算機語言學研討會, 2003 年 9 月 18-19 日, 頁 129-141.

  18. Yuen-Hsien Tseng and Da-Wei Juang, "Document-Self Expansion for Text Categorization," Proceedings of the 26th International ACM SIGIR Conference on Research and Development in Information Retrieval - SIGIR '03, July 28 - Aug. 1, Toronto, Canada, 2003, pp.399-400.

  19. Da-Wei Juang and Yuen-Hsien Tseng, "Uniform Indexing and Retrieval Scheme for Chinese, Japanese, and Korean," Proceedings of the Third NTCIR Workshop on Evaluation of Information Retrieval, Automatic Text Summarization and Question Answering, Oct. 8-10, 2002, Tokyo, Japan, pp.137-141.

  20. 曾元顯, 數字文件關鍵特徵的自動擷取方法, 中華人民共和國發明專利，專利號：ZL 00 1 22602.9.
    (Yuen-Hsien Tseng, "Automatic Key Feature Extraction from Digital Documents", PRC Patent No: ZL 00 1 22602.9. Application date: August 4, 2000. Effective from April 26, 2006 to August 4, 2020.)

  21. 曾元顯, 數位文件關鍵特徵之自動擷取方法, 中華民國發明專利第 153789 號.
    (Yuen-Hsien Tseng, "Automatic Key Feature Extraction from Digital Documents", ROC Patent No: 153789, Effective from April 11, 2002 to January 14, 2020.)

相關計畫：

  1. 曾元顯, 「專利主題萃取之研究開發」研究計畫, 財團法人工業技術研究院, 2007/07/01-2007/11/30, 準備中。

  2. 曾元顯, 「文字探勘之視覺化模式與系統的研發」, 國科會95學年度提升產業技術及人才培育研究計畫報告, NSC 95-2622-E-003-009-CC3, 2006/11/01-2007/10/31, 準備中。

  3. 曾元顯, 「農業創新研究前沿分析方法之開發」研究計畫, 財團法人國家實驗研究院 科技政策研究與資訊中心, 2006/08-2006/12。

  4. 曾元顯, 「文字探勘技術之發展與其在科學與技術文獻分析之應用」, 國科會95學年度專題研究計畫報告, NSC 95-2221-E-003 -016 -, 準備中。

  5. 曾元顯, 「引用網路分析等先進資訊工具於政策研究分析之應用」研究計畫, 財團法人國家實驗研究院 科技政策研究與資訊中心, 2005/12-2006/07。

  6. 曾元顯, 「分類不一致對文件自動分類影響的研究」, 國科會94學年度專題研究計畫報告, NSC 94-2213-E-003 -012 -。

  7. 曾元顯, 「手機新聞簡訊自動摘要之研究」, 國科會93學年度研究計畫報告, NSC 93-2213-E-030-007-。

  8. 曾元顯, 「少量訓練文件之自動分類研究」, 國科會92學年度研究計畫報告, NSC 92-2213-E-030-017-。

  9. 曾元顯, 「中文索引典之自動建構及其應用」, 國科會91學年度研究計畫報告, NSC 91-2413-H-030-012-。

  10. 曾元顯, 「中文OCR文件錯誤詞彙之自動偵測與更正及其在資訊檢索上的應用」, 國科會90學年度研究計畫報告, NSC 90-2413-H-030-004- .

  11. 曾元顯, 「多模態音樂檔案快速關鍵旋律自動擷取及其應用」, 國科會89學年度研究計畫報告, NSC 89-2413-H-030-016- .

  12. 曾元顯, 「多國語文OCR文件之資訊擷取與檢索」, 國科會89學年度研究計畫報告, NSC 89-2413-H-030-006- .

  13. 曾元顯, 「雜訊文件關鍵詞自動擷取及應用」, 國科會88學年度研究計畫報告, NSC 88-2413-H-030-017- .

Established on June 1, 1997, last modified on Sep. 1, 2007 by
Yuen-Hsien Tseng <samtseng@ntnu.edu.tw>