Incremental data extraction ETL(δ)

Marcin Gorawski, Mariusz Ciepluch

Abstract


To aquire a goal of increasing data availability for data analysis in data warehouses authors propose functionality build-up of exploited ETL systems by adding incremental source data (δ) extraction process. Such ETL(δ) system allows keeping of full history of changes made in source data, and actualization can be made in parallel with data access.

Keywords


data warehouse; ETL; extraction; continuous data integration

Full Text:

PDF (Polski)

References


Bruckner R., List B., Schiefer J.: Striving towards Near Real-Time Data Integration for Data Warehouses. DaWaK 2002, pp. 317-32.

Raden N.: Real time: get Real. Take the idea of a real-time data warehouse with a grain of salt, then realize the possibilities. Intelligent Enterprise, vol. 6, no. 10, 2003.

Gorawski M., Jabłoński P.: Uniwersalne środowisko graficzne do modelowania procesów ekstrakcji i odtwarzania. Studia Informatica, vol. 26, 3(64), s. 7-28, 2005.

Gorawski M., Marks P.: Grouping and Joining Transformations in Data Extraction Process. XXI Autumn Meeting of the Polish Information Processing Society, Conference Proceedings, Wisła, Poland, ISBN 83-922646-0-6, PIPS pp. 105-113, 2005.

Gorawski M., Piekarek M.: Rozproszony proces ekstrakcji danych z protokołem SimpleRMI. Bazy Danych - Modele, Technologie, Narzędzia, Eds. S. Kozielski, WKiŁ, ISBN 83-206-1572-0, s. 43-50, 2005.

Gorawski M., Marks P.: Data Loading based on UB-Tree Index Implemented in Design-Resume/JavaBeans Environment. Studia Informatica, vol. 25, 1(57), pp. 141-154, 2004.

Gorawski M., Piekarek M.: Rozwojowe środowisko ETL/JavaBeans wzbogacone o rozproszone sortowanie danych. Praca zbiorowa "Współczesne problemy sieci komputerowych" WNT, s. 173-180, 2004.

Gorawski M: Ekstrakcja i integracja danych w czasie rzeczywistym. Praca zbiorowa. "Współczesne problemy systemów czasu rzeczywistego", WNT, s. 435- 445, 2004.

Gorawski M.: 3 perspektywy procesu ekstrakcji danych. Praca zbiorowa "Strategie informatyzacji i zarządzanie wiedzą", Eds. Szyjewski Z., Nowak J., Grabara J.,WNT, ISBN-83-2004-3014-3, s. 295-341, 2004.

Gorawski M.: Charakterystyka procesu ekstrakcji danych. Studia Informatica, vol. 24, 4(56), s. 212-232,2003.

Gorawski M, Piekarek M.: Rozwojowe środowisko ETL/Java Beans. Studia Informatica, vol. 24,4(56), s. 288-302, 2003.

Gorawski M., Siódemak P.: Graficzne projektowanie aplikacji ETL. Studia Informatica, vol. 24,4(56), s. 345-367, 2003.

Gorawski M.: Modelowanie procesu ekstrakcji danych. IV Konferencja Metody i systemy komputerowe w badaniach naukowych i projektowaniu inżynierskim, 26-28 listopada, 2003, Kraków, Poland, ONT, Ed. Tadeusiewicz R., Ligęza A., Szymkat M., ISBN 83-916420-1-1, s. 165-170,2003.

Rosana L. de B. A. Rocha, Cardoso L., Souza J.: An Improved Approach in Data Warehousing ETLM Process for Detection of Changes in Source Data. SBBD 2003, pp. 253-266.

Gorawski M., Ciepluch M.: Ocena wydajności systemu przyrostowej ekstrakcji danych ETL( S). II Konferencja Bazy Danych - Modele, Technologie, Narzędzia. (BDAS 2006).




DOI: http://dx.doi.org/10.21936/si2006_v27.n1.574