Batch Importer (Bib/Acq)
(UXPROD-47)
|
|
| Status: | Closed |
| Project: | UX Product |
| Components: | None |
| Affects versions: | None |
| Fix versions: | Lotus (R1 2022) | Parent: | Batch Importer (Bib/Acq) |
| Type: | New Feature | Priority: | P2 |
| Reporter: | Taisiya Trunova | Assignee: | Ann-Marie Breaux (Inactive) |
| Resolution: | Done | Votes: | 0 |
| Labels: | NFR, cornell-priority, data-import, epam-folijet, performance | ||
| Remaining Estimate: | Not Specified | ||
| Time Spent: | Not Specified | ||
| Original estimate: | Not Specified | ||
| Issue links: |
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Release: | Lotus R1 2022 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Epic Link: | Batch Importer (Bib/Acq) | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Front End Estimate: | Out of scope | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Front-End Confidence factor: | Medium | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Back End Estimate: | Jumbo: > 45 days | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Development Team: | Folijet | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| PO Rank: | 124 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Description |
|
Team estimation - 45 days
Current situation or problem: 1.Kafka producer closed after sending 2.WARN message when no handler found 3. Kafka cache resource consumption 5. High resource consumption to get job(s) status/progress NOTE: Several stories in this feature are related to Spring; those may move to Morning Glory; need input from architects on whether Spring Kafka Template can be use in DI modules. Probably will need an architecture spike in Lotus, and then the Spring stories may move to Morning Glory Proposed solution/stories *3.*Remove Kafka cache. Modules that do not do persistent changes will sometimes (on duplicates read) do unnecessary calls. Can be optimized further upon adding distributed in-memory cache (ex hazelcast) (blocked by 6 PUT LINK TO FEATURE in p.6) Links to additional information: Data Import Stabilization plan - Vladimir Shalaev - FOLIO Wiki Questions |
| Comments |
| Comment by Ann-Marie Breaux (Inactive) [ 01/Dec/21 ] |
|
Kateryna Senchenko please add an ARCH story here for Vladimir Shalaev, so that we can have the Spring details sorted in Lotus, and then perhaps work on the implementation for Morning Glory |
| Comment by Kateryna Senchenko [ 07/Dec/21 ] |
|
Hi Ann-Marie Breaux, created ARCH-10 and blocked our implementations stories, do you mind if I move them to Morning Glory? |
| Comment by Ann-Marie Breaux (Inactive) [ 07/Dec/21 ] |
|
Hi Kateryna Senchenko A few questions:
|
| Comment by Ann-Marie Breaux (Inactive) [ 12/Jan/22 ] |
|
Hi Kateryna Senchenko Do we have a story or task to measure performance after all of the changes in this feature, and update the file size metrics and recommendations? If yes, what's the Jira number, and do we expect that PTF or Folijet will do that assessment work? If no, can we add a story or task? We have a couple blocked stories on this feature that may not be needed, but we have to have a solid understanding of the performance gains that have been made before we decide on doing them or closing them. And of course the community will also be eager to have any updated performance info. Thank you! |
| Comment by Kateryna Senchenko [ 14/Jan/22 ] |
|
Hi Ann-Marie Breaux, that's a good point, we've been talking for a while now with tech guys regarding procedure of performance testing - we'd like to be able to test it ourselves using Rancher perf env and maybe writing some JMeter tests. As for Lotus improvements - I created MODDATAIMP-622 for now - we'll try to measure performance ourselves on Rancher perf env, and might involve PTF team as well. It would be nice though to start working on it right after code freeze, before the releases, so that we had some buffer for unexpected things (PTF usually starts testing at the time around bugfest). |