2023-08-31

 
const currentPage = dv.current().file;
const dailyPages = dv.pages('"0-Daily"').sort(k=>k.file.name, "asc");
const currentPageName = currentPage.name;
const index = dailyPages.findIndex((e) => {return e.file.name === currentPageName});
if (index < 1) {
	dv.table(["File", "Created", "Size"],[]);
} else {
	const lastIndex = index - 1;
	const lastPage = dailyPages[lastIndex].file;
	const allPages = dv.pages().values;
	const searchPages = [];
	
	const lastTime = dv.parse(lastPage.name);
	const currentTime = dv.parse(currentPage.name);
 
	for (let page of allPages) {
		const pageFile = page.file;
		if (pageFile.cday > lastTime && pageFile.cday <= currentTime) {
		  searchPages.push(pageFile);
		}
	}
	dv.table(["File", "Created", "Size"], searchPages.sort((a, b) => a.ctime > b.ctime ? 1 : -1).map(b => [b.link, b.ctime, b.size]));
}
 

数据仓和数据湖

数据仓库(Data Warehouse)和数据湖(Data Lake)都是用于大数据存储和分析的重要的数据平台,但两者有以下几点主要区别:

1. 数据来源不同
   数据仓库中的数据通常来自经过提取、转换、加载(ETL)等预处理后的数据,用于业务分析和决策支持。数据湖中的数据可来自各种源系统,既可以是结构化数据,也可以是半结构化或非结构化的数据。
2. 数据处理不同
   数据仓库在数据载入时要进行数据清洗、转换,使其符合预定的模型。数据湖采用的是Schema on Read模式,即在数据使用时再赋予Schema,数据加载时不需要转换。
3. 数据组织不同
   数据仓库按照事务数据的季度、年份等维度进行预先定义的分类。数据湖数据以原始格式存储,用户可以充分利用各类数据。
4. 访问方式不同
   数据仓库通常只能通过SQL进行访问。数据湖可以通过各种查询语言、分析工具进行访问。
5. 使用场景不同
   数据仓库更适用于定期的、标准化的分析报告。数据湖更适用于交互式的数据探索和建模。
6. 成本不同
   构建数据仓库需要投入较高成本。数据湖具有更低的存储成本和计算成本。

总体来说,数据仓库更适合传统的业务分析报表,数据湖具有存储和分析非结构化数据的优势,可支持更广泛的大数据分析应用。两者可实现互补共存。