找回密码
 立即注册

微信扫码 , 快速开始

QQ登录

只需一步,快速开始

搜索

建议修改素材库【索引】方式,加速【素材分析】

 楼主| 自由螺旋 2021-10-24 09:52:10 显示全部楼层 阅读模式
本帖最后由 自由螺旋 于 2021-10-24 10:04 编辑

现有现象: 素材超过10000后,每秒钟索引1个素材,效率过低。
建议:
修改当前素材索引方式,改为如下方式:
第一步 遍历本地素材库,使用本地数据库sqllite建立文件索引;
第二步 遍历完成后再使用数据解析引擎进行数据解析和生成缩略图等耗时操作;

这样素材的索引和解析分开后,解析完全可以并行操作;

以下是本人配置单:
cpu:  i9-10850k
rem:  64g
v-card: rtx3070
hdd: 2X4t  Raid0
sdd:256+1t

素材库位于raid0,大部分是hdr
这个索引速度完全接受不了,比bridge快一些,但感觉技术思路跟bridge差不多
目前索引不知道什么时候完事儿。
而一旦先索引后处理的话,首先用户体验就上来了,用户知道了素材总量,其次,并行解析素材就可以预估时间了。
如图,目前就吃满了一个cpu,这只有古董级的软件才能干出来这种事情。

微信截图_20211024100223.png

回复

使用道具 举报

大神点评2

admin 2021-10-25 10:36:12 显示全部楼层
感谢反馈支持
回复

使用道具 举报

fantasynew 2022-9-29 18:39:35 显示全部楼层
同样情况,CPU单核都跑不满,导入和分析逻辑需要优化。
回复

使用道具 举报

评论2
赞0