學術產出-Theses
Article View/Open
Publication Export
-
題名 凸函數最佳化在統計問題上的應用
Convex optimization: A statistical application作者 劉世凰 貢獻者 薛慧敏<br>郭訓志
劉世凰關鍵詞 凸函數最佳化
互補差餘條件
受限最大概似估計量日期 2009 上傳時間 5-Sep-2013 15:10:45 (UTC+8) 摘要 近年來，凸函數最佳化相關的理論與實務已漸趨完善並廣泛應用在各種不同的領域上。已知針對限制條件下之最大概似估計量（Maximum Likelihood Estimator，簡寫MLE）求解的統計問題，一般都是先求解在無限制條件下之全域最大概似估計量（global MLE），若所求得之解能滿足給定的限制條件時，則代表我們的確得到所要的結果；但若所求得之解不能滿足限制條件時，我們就必須考量於此限制條件下之求解區域的最大概似估計量（local MLE），而其計算通常趨於複雜。在本研究中，我們嘗試藉由凸函數最佳化的理論與方法在受限最大概似估計量的求解上。首先針對一組2X2列聯表（contingency table）資料，給定限制條件為勝算比（odds ratio，簡寫OR）不小於1情況下，欲求各聯合機率之受限最大概似估計量。接下來則討論針對3X2列聯表資料，給定兩個區域勝算比（local OR）皆不小於1之限制條件，求取各聯合機率的受限最大概似估計量。我們最終整理歸納出一套分析方法，並將此歸納結果拓展到對於任意J不小於2之JX2列聯表中之受限最大概似估計量計算問題上。本研究中所提出的求解方法包括將決策變數重新參數化，忽略原始的線性限制等式，並另外在原始目標問題中加入某個懲罰項，使其新的最佳化問題滿足凸函數最佳化問題的條件。接下來利用凸函數最佳化之理論，列出其Karush-Kuhn-Tucker 條件，再藉其中的互補差餘條件(complementary slackness)來分析求得理論最佳解。最後我們得出當懲罰項之相對應的係數為n時，則其所求得之最佳解即為此統計問題中之受限最大概似估計量。 參考文獻 一、英文文獻1.Agresti, A. (2007), An Introduction to Categorical Data Analysis, 2nd ed., John Wiley and Sons, NY.2.Aldrich, J. (1997), R.A. Fisher and the making of maximum likelihood 1912–1922. Statistical Science, 12(3), 162-176.3.Boyd, S. and Vandenberghe, L. (2004), Convex Optimization, CambridgeUniversity Press.4.Casella, G. and Berger, R. L. (2001), Statistical Inference, 2nd ed., Duxbury Press.5.Gao, W. and Shi, N. Z. (2005), Estimating cell probabilities under order-restrictedodds ratios. Computational Statistics & Data Analysis, 49(1), 77-84.6.Harville, D. A. (1997), Matrix Algebra From A Statistician’s Perspective, Springer, NY. 7.Huber, P. J. (1964), Robust estimation of a location parameter. The Annals of Mathematical Statistics, 35(1), 73-101.8.Iwasa, M. and Moritani, Y. (2002), Concentration probabilities for restricted and unrestricted MLEs. Journal of Multivariate Analysis, 80(1), 58-66.9.Jensen, J. L. W. V. (1906), Sur les fonctions convexes et les inegalites entre les valeurs moyennes. Acta Mathematica, 30, 175-193.10.Karmarkar, N. (1984), A New Polynomial Time Algorithm for Linear Programming. Combinatorica, 4(4), 373-395.11.Kuhn, H. W. and Tucker, A. W. (1951), Nonlinear programming, Proceedings of 2nd Berkeley Symposium, University of California Press.12.Lindo System Inc. , http://www.lindo.com/ .13.Mehrotra, S. (1992), On the implementation of a primal-dual interior point method. SIAM Journal on Optimization, 2(4), 575-601.14.Nemirovski, A. (2001), Lectures on Modern Convex Optimization, Analysis, Algorithms, and Engineering Application, Society for Industrial and Applied Mathematics. 15.Rockafellar, R. T. (1970), Convex analysis, Princeton University Press.16.Ross, S. M. (1999), An Introduction to Mathematical Finance: Options and Other Topics, Cambridge University Press.17.Scharf, L. L. (1991), Statistical Signal Processing. Detection, Estimation, and Time Series Analysis, Addison Wesley. With C´edric Demeure. 18.Schölkopf, B. and Smola, A. (2001), Learning with Kernels: Support Vector Machines, Regularization, Optimization, and Beyond, MIT Press.19.Tibshirani, R. (1996), Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society, Series B, 58(1), 267-288.20.Tikhonov, A. N. and Arsenin, V. Y. (1977), Solutions of Ill-Posed Problems.V, H. Winston & Sons. Translated from Russian.21.Vapnik, V. (1995), The Nature of Statistical Learning Theory, Springer, NY.22.Vapnik, V. (1998), Statistical Learning Theory, John Wiley and Sons, NY.23.Whittle, P. (1971), Optimization under constraints, John Wiley and Sons, NY.二、中文文獻1. 廖慶榮（2006），作業硏究，華泰文化。 描述 碩士
國立政治大學
統計研究所
97354014
98資料來源 http://thesis.lib.nccu.edu.tw/record/#G0097354014 資料類型 thesis dc.contributor.advisor 薛慧敏<br>郭訓志 zh_TW dc.contributor.author (Authors) 劉世凰 zh_TW dc.creator (作者) 劉世凰 zh_TW dc.date (日期) 2009 en_US dc.date.accessioned 5-Sep-2013 15:10:45 (UTC+8) - dc.date.available 5-Sep-2013 15:10:45 (UTC+8) - dc.date.issued (上傳時間) 5-Sep-2013 15:10:45 (UTC+8) - dc.identifier (Other Identifiers) G0097354014 en_US dc.identifier.uri (URI) http://nccur.lib.nccu.edu.tw/handle/140.119/60432 - dc.description (描述) 碩士 zh_TW dc.description (描述) 國立政治大學 zh_TW dc.description (描述) 統計研究所 zh_TW dc.description (描述) 97354014 zh_TW dc.description (描述) 98 zh_TW dc.description.abstract (摘要) 近年來，凸函數最佳化相關的理論與實務已漸趨完善並廣泛應用在各種不同的領域上。已知針對限制條件下之最大概似估計量（Maximum Likelihood Estimator，簡寫MLE）求解的統計問題，一般都是先求解在無限制條件下之全域最大概似估計量（global MLE），若所求得之解能滿足給定的限制條件時，則代表我們的確得到所要的結果；但若所求得之解不能滿足限制條件時，我們就必須考量於此限制條件下之求解區域的最大概似估計量（local MLE），而其計算通常趨於複雜。在本研究中，我們嘗試藉由凸函數最佳化的理論與方法在受限最大概似估計量的求解上。首先針對一組2X2列聯表（contingency table）資料，給定限制條件為勝算比（odds ratio，簡寫OR）不小於1情況下，欲求各聯合機率之受限最大概似估計量。接下來則討論針對3X2列聯表資料，給定兩個區域勝算比（local OR）皆不小於1之限制條件，求取各聯合機率的受限最大概似估計量。我們最終整理歸納出一套分析方法，並將此歸納結果拓展到對於任意J不小於2之JX2列聯表中之受限最大概似估計量計算問題上。本研究中所提出的求解方法包括將決策變數重新參數化，忽略原始的線性限制等式，並另外在原始目標問題中加入某個懲罰項，使其新的最佳化問題滿足凸函數最佳化問題的條件。接下來利用凸函數最佳化之理論，列出其Karush-Kuhn-Tucker 條件，再藉其中的互補差餘條件(complementary slackness)來分析求得理論最佳解。最後我們得出當懲罰項之相對應的係數為n時，則其所求得之最佳解即為此統計問題中之受限最大概似估計量。 zh_TW dc.description.tableofcontents 第壹章 緒論............................................ 1 第一節 研究背景......................................... 1 第二節 研究動機......................................... 1 第三節 研究目的........................................... 2 第四節 研究流程........................................... 2 第貳章 凸函數最佳化問題.................................... 3 第一節 線性規劃基本介紹.................................... 3 第二節 線性規劃中之對偶理論................................ 4第三節 凸函數最佳化問題與其Lagrange對偶問題................. 6 第四節 凸函數最佳化問題中其強對偶性質成立條件............... 9第五節 Karush-Kuhn-Tucker 條件在凸函數最佳化問題上的應用.... 10第參章 凸函數最佳化在2×2列聯表之應用 ...................... 17 第一節 2×2列聯表與勝算比的介紹...................... 17 第二節 2×2列聯表之受限最大概似估計量與相關文獻探討..... 18 第三節 實際資料驗證分析............................. 24第肆章 凸函數最佳化在3×2列聯表之應用....................... 36 第一節 3×2列聯表之受限最大概似估計量................. 36 第二節 實際資料驗證分析............................. 42 第伍章 結論與建議........................................ 63 參考文獻................................................ 65 附錄A.2.1 （2.3.2）之推導證明............................ 67 附錄A.3.1 （3.2.1）目標式與限制函式之凸函數驗證............. 68 附錄A.3.2 （3.2.2）限制函式之凸函數驗證.................... 71 附錄A.3.3 （3.2.3） 目標式與限制函式之凸函數驗證........... 72 附錄A.3.4 （3.2.9）目標式之凸函數驗證...................... 73 zh_TW dc.format.extent 671514 bytes - dc.format.mimetype application/pdf - dc.language.iso en_US - dc.source.uri (資料來源) http://thesis.lib.nccu.edu.tw/record/#G0097354014 en_US dc.subject (關鍵詞) 凸函數最佳化 zh_TW dc.subject (關鍵詞) 互補差餘條件 zh_TW dc.subject (關鍵詞) 受限最大概似估計量 zh_TW dc.title (題名) 凸函數最佳化在統計問題上的應用 zh_TW dc.title (題名) Convex optimization: A statistical application en_US dc.type (資料類型) thesis en dc.relation.reference (參考文獻) 一、英文文獻1.Agresti, A. (2007), An Introduction to Categorical Data Analysis, 2nd ed., John Wiley and Sons, NY.2.Aldrich, J. (1997), R.A. Fisher and the making of maximum likelihood 1912–1922. Statistical Science, 12(3), 162-176.3.Boyd, S. and Vandenberghe, L. (2004), Convex Optimization, CambridgeUniversity Press.4.Casella, G. and Berger, R. L. (2001), Statistical Inference, 2nd ed., Duxbury Press.5.Gao, W. and Shi, N. Z. (2005), Estimating cell probabilities under order-restrictedodds ratios. Computational Statistics & Data Analysis, 49(1), 77-84.6.Harville, D. A. (1997), Matrix Algebra From A Statistician’s Perspective, Springer, NY. 7.Huber, P. J. (1964), Robust estimation of a location parameter. The Annals of Mathematical Statistics, 35(1), 73-101.8.Iwasa, M. and Moritani, Y. (2002), Concentration probabilities for restricted and unrestricted MLEs. Journal of Multivariate Analysis, 80(1), 58-66.9.Jensen, J. L. W. V. (1906), Sur les fonctions convexes et les inegalites entre les valeurs moyennes. Acta Mathematica, 30, 175-193.10.Karmarkar, N. (1984), A New Polynomial Time Algorithm for Linear Programming. Combinatorica, 4(4), 373-395.11.Kuhn, H. W. and Tucker, A. W. (1951), Nonlinear programming, Proceedings of 2nd Berkeley Symposium, University of California Press.12.Lindo System Inc. , http://www.lindo.com/ .13.Mehrotra, S. (1992), On the implementation of a primal-dual interior point method. SIAM Journal on Optimization, 2(4), 575-601.14.Nemirovski, A. (2001), Lectures on Modern Convex Optimization, Analysis, Algorithms, and Engineering Application, Society for Industrial and Applied Mathematics. 15.Rockafellar, R. T. (1970), Convex analysis, Princeton University Press.16.Ross, S. M. (1999), An Introduction to Mathematical Finance: Options and Other Topics, Cambridge University Press.17.Scharf, L. L. (1991), Statistical Signal Processing. Detection, Estimation, and Time Series Analysis, Addison Wesley. With C´edric Demeure. 18.Schölkopf, B. and Smola, A. (2001), Learning with Kernels: Support Vector Machines, Regularization, Optimization, and Beyond, MIT Press.19.Tibshirani, R. (1996), Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society, Series B, 58(1), 267-288.20.Tikhonov, A. N. and Arsenin, V. Y. (1977), Solutions of Ill-Posed Problems.V, H. Winston & Sons. Translated from Russian.21.Vapnik, V. (1995), The Nature of Statistical Learning Theory, Springer, NY.22.Vapnik, V. (1998), Statistical Learning Theory, John Wiley and Sons, NY.23.Whittle, P. (1971), Optimization under constraints, John Wiley and Sons, NY.二、中文文獻1. 廖慶榮（2006），作業硏究，華泰文化。 zh_TW
