學術產出-Theses

Article View/Open

Publication Export

Google ScholarTM

政大圖書館

Citation Infomation

題名 基於同儕網路的資料共享平台之計算工作分配策略研究
A Study on Job Dispatch Strategies for our P2P Data Sharing and Computing Platform
作者 黃榮彥
Huang, Rone-Yan
貢獻者 蔡子傑
Tsai, Tzu-Chieh
黃榮彥
Huang, Rone-Yan
關鍵詞 開放資料
大數據
P2P同儕網路
P2P資料管理平台
P2P計算
資料機密性
Open data
Big data
P2P network architecture
P2P data management platform
P2P computing
Data confidentiality
日期 2021
上傳時間 1-Nov-2021 11:58:36 (UTC+8)
摘要 開放資料是近年來受到各界關注的熱門議題,透過將資料進行公開與共享,能為公眾創造更大的價值。而基於大數據的概念而誕生的各式研究,使得開放資料轉化成為有組織、有意義的資訊。然而,實務上在資訊的發布或是資料的檢索,都會發生許多的困難。
在本論文中,我們基於P2P同儕網路架構,並以智慧醫療大數據外溢保單的資訊系統為例,所實作的一個創新的開放式P2P資料管理平台,於其中提出計算工作分配的工作分配策略。我們依據不同的目標制定不同的節點工作分配方式,使大數據工作的分配更有效率完成。讓大數據相關演算法運用此平台進行快速運算,使資料提供者的資料能大幅提升其實用性與影響力。
我們在這個P2P資料平台分析了可能改善原始P2P架構的設計,並整合至平台的各個模組,在這個平台,將能讓參與者上傳資料、確保資料機密性、可靠度與正確性。未來也期待平台能持續結合更多的應用情境,至更為成熟的發展。
Open data is a hot issue that has attracted much attention in recent years. By publishing and sharing data, it can create great value for the public. There are various related researches that have proved to transform open data into organized and meaningful information. However, in practice, many difficulties arise in the release of information or the retrieval of data.
In this thesis, we design a P2P network architecture and implement an innovative open P2P data management platform, and take as an example, the smart medical big data spillover insurance policy. We propose task allocation strategies for P2P computing. According to user demands, an appropriate task allocation algorithm can be chosen to let computing work be finished efficiently. Thus, the value and influence for open data and big data can be greatly increased in practice.
Our P2P data management platform has more flexibility than the original P2P architecture and can be integrated into various of the computing modules. This platform allows participants to upload data and can ensure the data confidentiality, reliability and accuracy of the data. In the future, it is also expected that the platform can continue to integrate more application scenarios and achieve more values.
Keywords: open data, big data, P2P network architecture, P2P data management platform, P2P computing, data confidentiality.
參考文獻 [1] OmniPHR: A Distributed architecture Model to integRate personal health records /Alex Roehrs,Cristiano André da Costa,Rodrigo da Rosa Righi /Journal of Biomedical Informatics 71(2017)70–81
[2] Peer-to-peer Distributed Computing framework / Prashan DharMapala ,Lumeshkantha Koneshvaran,Darshanun Sivasooriyathevan
[3] https://en.wikipedia.org/wiki/Distributed _hash_table : DHT(Distributed Hash Table):
[4] Kademlia: A Peer-to-Peer Information System Based on the XOR Metric / Petar Maymounkov and David Mazi"eres / New York University
[5] 上手Hadoop不可不知的關鍵概念, https://www.ithome.com.tw/Node/73978
[6] 穿透NAT的同儕網路資料發佈與檢索平台之研究,謝育霖,2020
[7] Smart Contracts, Available: https://www.investopedia.com/terms/s/smart-contracts.asp
[8] Python3 implementation of the Kademlia DHT data store, Available: https://github.com/dakk/kad.py
描述 碩士
國立政治大學
資訊科學系
104971023
資料來源 http://thesis.lib.nccu.edu.tw/record/#G0104971023
資料類型 thesis
dc.contributor.advisor 蔡子傑zh_TW
dc.contributor.advisor Tsai, Tzu-Chiehen_US
dc.contributor.author (Authors) 黃榮彥zh_TW
dc.contributor.author (Authors) Huang, Rone-Yanen_US
dc.creator (作者) 黃榮彥zh_TW
dc.creator (作者) Huang, Rone-Yanen_US
dc.date (日期) 2021en_US
dc.date.accessioned 1-Nov-2021 11:58:36 (UTC+8)-
dc.date.available 1-Nov-2021 11:58:36 (UTC+8)-
dc.date.issued (上傳時間) 1-Nov-2021 11:58:36 (UTC+8)-
dc.identifier (Other Identifiers) G0104971023en_US
dc.identifier.uri (URI) http://nccur.lib.nccu.edu.tw/handle/140.119/137670-
dc.description (描述) 碩士zh_TW
dc.description (描述) 國立政治大學zh_TW
dc.description (描述) 資訊科學系zh_TW
dc.description (描述) 104971023zh_TW
dc.description.abstract (摘要) 開放資料是近年來受到各界關注的熱門議題,透過將資料進行公開與共享,能為公眾創造更大的價值。而基於大數據的概念而誕生的各式研究,使得開放資料轉化成為有組織、有意義的資訊。然而,實務上在資訊的發布或是資料的檢索,都會發生許多的困難。
在本論文中,我們基於P2P同儕網路架構,並以智慧醫療大數據外溢保單的資訊系統為例,所實作的一個創新的開放式P2P資料管理平台,於其中提出計算工作分配的工作分配策略。我們依據不同的目標制定不同的節點工作分配方式,使大數據工作的分配更有效率完成。讓大數據相關演算法運用此平台進行快速運算,使資料提供者的資料能大幅提升其實用性與影響力。
我們在這個P2P資料平台分析了可能改善原始P2P架構的設計,並整合至平台的各個模組,在這個平台,將能讓參與者上傳資料、確保資料機密性、可靠度與正確性。未來也期待平台能持續結合更多的應用情境,至更為成熟的發展。
zh_TW
dc.description.abstract (摘要) Open data is a hot issue that has attracted much attention in recent years. By publishing and sharing data, it can create great value for the public. There are various related researches that have proved to transform open data into organized and meaningful information. However, in practice, many difficulties arise in the release of information or the retrieval of data.
In this thesis, we design a P2P network architecture and implement an innovative open P2P data management platform, and take as an example, the smart medical big data spillover insurance policy. We propose task allocation strategies for P2P computing. According to user demands, an appropriate task allocation algorithm can be chosen to let computing work be finished efficiently. Thus, the value and influence for open data and big data can be greatly increased in practice.
Our P2P data management platform has more flexibility than the original P2P architecture and can be integrated into various of the computing modules. This platform allows participants to upload data and can ensure the data confidentiality, reliability and accuracy of the data. In the future, it is also expected that the platform can continue to integrate more application scenarios and achieve more values.
Keywords: open data, big data, P2P network architecture, P2P data management platform, P2P computing, data confidentiality.
en_US
dc.description.tableofcontents 目錄
第一章 簡介 1
1.1 背景 1
1.2 動機 2
1.3 研究目標與挑戰議題 2
1.4 貢獻 2
1.5 章節組織規劃小結 3
第二章 相關研究 4
2.1 P2P DHT Network 4
2.2 Kademlia Algorithm 5
2.3 密碼學-加解密 6
2.4 跨網域位址轉換 7
2.5 分散式計算 6
2.6 保單外溢效應與智慧醫療開放資料 6
第三章 系統架構與設計 10
3.1 系統平台互動架構規劃 10
3.2 資料表欄位架構設計 12
3.3 網路位址轉換協定與存取模組 14
3.4 檢索過濾模組與加解密模組 14
3.5 計算與報酬模組 16
3.5.1 計算節點工作分配問題 17
3.5.2 工作分配策略 17
3.5.3 最少花費優先再選最短時間工作分配策略 20
3.5.4 最短時間優先再選最少花費工作分配策略 20
3.5.5 總時間與花費成本平方和優先分配策略 21
3.5.6 正規化總時間與花費成本平方和優先分配策略 21
第四章 系統實作 23
4.1 專案實作背景 23
4.2 程式下載與系統啟動 23
4.3 使用者註冊 24
4.4 系統登入 24
4.5 基本資料維護主畫面 25
4.6 紀錄發布 25
4.7 紀錄檢索 26
4.8 資料分析與計算 26
4.9 計算節點工作分配 28
4.9.1 原始情況的演算法推導 28
4.9.2 原始版本的演算法虛擬碼設計 29
4.9.2.1 最低花費加權策略 29
4.9.2.2 最短時間加權策略 30
4.9.2.3 最小時間與花費平方和加權策略 30
4.9.2.4 正規化後最小時間與花費平方和加權策略 31
4.9.3 加入時間與花費限制條件虛擬碼設計 32
4.9.4 增加具備一個轉包節點的演算法虛擬碼設計 33
4.9.5 例外處理與提供花費預算與時間預算的建議 35
4.10 源碼專案內容 35
第五章 模擬測試結果與平台介面展示 36
5.1 模擬測試結果 錯誤! 尚未定義書籤。 36
5.1.1 實驗一:原型實驗結果 36
5.1.2 實驗二:加入時間與花費限制條件 41
5.1.3 實驗三:每個節點增加一個計算節點 45
5.1.4 例外處理,提供花費預算與時間預算的建議 49
5.2 平台介面介紹 51
5.2.1 平台程式主介面 51
第六章 結論與未來展望 59
6.1 結論 59
6.2 未來展望 59
參考資料 61
zh_TW
dc.format.extent 2417373 bytes-
dc.format.mimetype application/pdf-
dc.source.uri (資料來源) http://thesis.lib.nccu.edu.tw/record/#G0104971023en_US
dc.subject (關鍵詞) 開放資料zh_TW
dc.subject (關鍵詞) 大數據zh_TW
dc.subject (關鍵詞) P2P同儕網路zh_TW
dc.subject (關鍵詞) P2P資料管理平台zh_TW
dc.subject (關鍵詞) P2P計算zh_TW
dc.subject (關鍵詞) 資料機密性zh_TW
dc.subject (關鍵詞) Open dataen_US
dc.subject (關鍵詞) Big dataen_US
dc.subject (關鍵詞) P2P network architectureen_US
dc.subject (關鍵詞) P2P data management platformen_US
dc.subject (關鍵詞) P2P computingen_US
dc.subject (關鍵詞) Data confidentialityen_US
dc.title (題名) 基於同儕網路的資料共享平台之計算工作分配策略研究zh_TW
dc.title (題名) A Study on Job Dispatch Strategies for our P2P Data Sharing and Computing Platformen_US
dc.type (資料類型) thesisen_US
dc.relation.reference (參考文獻) [1] OmniPHR: A Distributed architecture Model to integRate personal health records /Alex Roehrs,Cristiano André da Costa,Rodrigo da Rosa Righi /Journal of Biomedical Informatics 71(2017)70–81
[2] Peer-to-peer Distributed Computing framework / Prashan DharMapala ,Lumeshkantha Koneshvaran,Darshanun Sivasooriyathevan
[3] https://en.wikipedia.org/wiki/Distributed _hash_table : DHT(Distributed Hash Table):
[4] Kademlia: A Peer-to-Peer Information System Based on the XOR Metric / Petar Maymounkov and David Mazi"eres / New York University
[5] 上手Hadoop不可不知的關鍵概念, https://www.ithome.com.tw/Node/73978
[6] 穿透NAT的同儕網路資料發佈與檢索平台之研究,謝育霖,2020
[7] Smart Contracts, Available: https://www.investopedia.com/terms/s/smart-contracts.asp
[8] Python3 implementation of the Kademlia DHT data store, Available: https://github.com/dakk/kad.py
zh_TW
dc.identifier.doi (DOI) 10.6814/NCCU202101634en_US