The project aims to improve the cultivation of patient-derived cell cultures in OOC (Organ-on-Chip) equipment by applying real-time machine learning algorithms to microfluidics and using light-field microscopy, transepithelial electrical resistance, and O2 sensor data.

During first reporting period, we have developed decision tree for data classification and produced first imaging data of successful and unsuccessful OOC cultivation data for developing AI models for supervising OOC cultivation. We identified possible approaches to the generation of synthetic data for training AI models. Due to the nature of the real-world data, the most promising approach is to generate synthetic data by means of generating simple geometric shapes and subsequently deforming them. We are currently conducting a survey of literature on that topic. We have investigated integrated objective/camera units for integration in the instrument from various providers with particular focus on evaluation of image quality, digital zoom capabilities and lighting conditions. We have started working on defining the procurement specification for XYZ gantry with a suitable XY step for continuous channel imaging and Z-step for successful autofocus on the aforementioned imaging units. Additionally, during this period, we engaged in public dissemination of project topic in student council of Riga Technical University organised online interview in Spiikiizi studio, titled “What if?”

Information published 31.03.2022

‍

During this reporting period, we have generatedadditionally 230 pictures of both lung and gut on chip models by applying bothstable and primary cell lines. For each picture information such as model ID,cell type, seeding density, time of image, decision (good, bad, acceptable),artefacts were prepared.  EDI investigated state-of-the-art approaches inliterature to the generation of synthetic images of biological cells bydeforming simple geometric shapes. Furthermore, EDI investigated the use ofgenerative adversarial networks (GANs) for simulation-to-real transfer, whichis needed to render synthetic images more realistic. CellboxLabs conductedseveral hours interview with potential end users in industry about OOC realtime microscopy option in combination with AI to confirm the necessity of suchsystem. Additionally, CellboxLabs made purchases for microscopes to conducttests with them. They made a purchase for the parts of the XYZ table andcurrently are working on a design for the XYZ table that would allow us to makean XYZ motion system with motion and small position errors.

Information published 30.06.2022

‍

During this reporting period, LBMC have generated additionally 250 pictures of both lung and gut on chip models by applying both stable and primary cell lines. For each picture information such as model ID, cell type, seeding density, time of image, decision (good, bad, acceptable), artefacts were prepared EDI researched deep neural network model architectures to find the best fit for the AimOOC task. Wealso looked for models pre-trained on medical images. A classification model was trained on the first data received from the partners, concluding tha tadditional data is needed for a good result. Therefore, options for dataa ugmentation that will allow for synthetic multiplication of training examples were also researched and summarized. As part of the project, a contract was concluded and the design of a precision XYZ table was carried out. The construction of the XYZ table was started.

Information published 30.09.2022

‍

EDI researched methods of improving and multiplying trainingdata. We studied methods included in the various Python libraries andframeworks, choosing and testing the ones best suited to the project images.EDI continued work on the generation of synthetic medical data, looking intothe use of generative adversarial networks and novel diffusion models. A dataaugmentation algorithm was prepared.

During this reporting period, CellboxLabs has producedadditional organs on chip devices, while LBMC has generated additional picturesof lung cancer on chip models by applying both stable and primary cell lines.For each picture information such as model ID, cell type, seeding density, timeof image, decision (good, bad, acceptable), artefacts were prepared. CellboxLabs developed necessary firmware to control stage and take photos

Finally project supervisors participated in Radio Radiobroadcast - The known in the unknown Preclinical studies - organs on a chip andlaboratory mice, where they explained to the general public in popularscientific language about technology they are developing

Information published 30.12.2022

‍

After finishing work on the data augmentation method algorithm and the development of feature extraction algorithms, EDI continues work on the classification models, dividing the cell images according to time and cell lines. Models are trained according to the decision tree prepared in the earlier stages of the project. To improve model accuracy, we are currently working on two main tasks:
1. images are trained by dividing them into smaller units - quadrilaterals without losing image details and increasing the number of images;
2. work is being done on generating synthetic images with the help of Stable Diffusion to increase the amount of data and, thus, the accuracy of the classifier. 

During this period Cellbox Labs have produced 32additional organ on a chip devices and started to work on Task 4.1 Firmware integration with algorithm, alongside continued work on TEER and oxygen sensors. To accelerate the initial adoption of the algorithm-driven flow-rate adjustments in the channels, a dedicated user interface for manually inputting the desired flow rate will be made. The AI-algorithm developed by EDI is currently utilizing flow-rate data, as opposed to shear-force data in the image tagging, subsequently to keep in line with the syntax, flow-rate data will be used.

While LBMC was able to produce around 900 additional microscope pictures using lung on a chip, lung cancer on a chip, and gut on a chip model by visualization system developed in WP2. Moreover, bright field(BF) pictures and Hoechst staining pictures were also produced and overlapped with BF pictures to aid the machine learning process.

Furthermore, CellboxLabs took part in two seminars organized by LBMC and Riga Technical University. The first seminar was on therole of biomedical research in the knowledge economy andbiotech start-up success stories, while the second seminar wasfocused on the transition from university to industry. During these seminars,CellboxLabs presented their project ideas and direction to a wider scientificand industry audience.

Information published 31.03.2023

‍

During thistime additional 1601 pictures were generated by cultivating gut on a chip, lungon a chip and lung cancer on a chip from stable and primary cells. All pictureswere classified by established criteria. EDI worked on improving the accuracyof image classifiers. Various deep neural network architectures were trainedusing both data supplemented with classic data augmentation methods, and imagessynthesized with diffusion models. Upon receiving new data from partners, EDIalso created new datasets for training, continuously increasing the number ofreal images used. The trained models were validated on real images, and theresults of these experiments were described in the conference paper"Synthetic Image Generation With a Fine-Tuned Latent Diffusion Model forOrgan on Chip Cell Image Classification", which was accepted at the SPA2023: Signal Processing - Algorithms, Architectures, Arrangements, andApplications conference. To enhance synthetic data, EDI researched additionalimage generation approaches that still rely on diffusion models, but synthesizeimages not from random noise, but by modifying existing real images. Working onintegrating the trained models with the prototype developed in the project, EDIstudied the parameters of the embedded computing platforms to arrive at aversion usable in the prototype. Additionally, project topic and results werereported by oral presentation in LU PSK The 3rd international scientificconference “Quality of Health Care and Social Welfare” and MPS world summit2023 by poster presentation. First tests of OOC growing by implementingestablished algorithm were started.

Information published 30.06.2023

‍

During thisperiod, we produced additional 1857 bright field imaging pictures at differenttime points and quality for algorithm from lung cancer, normal lung andendothelial cell lines.

EDI worked onoptimizing the classification algorithm by applying several image generationapproaches at the data augmentation stage of the training. Such techniques asStable Diffusion-based inpainting, LoRA training, and image interpolation wereapplied to augment the dataset of real images. Validation of these approacheswas started.

EDI and LBMCpresented the goals and current results of AimOOC project at Scientist's Night2023 event on September 29.

CellboxLabs CEOhas an interview about technology in company in journal Forbes, CTO visitedRigas Technical University Engineering school, were he explained our technologyto pupils and Arturs Abols provided an interview to startin.lvto inform industry and journal Medicus Bonus to inform medical doctors aboutorgan on a chip technology and application within this project.

Information published 30.09.2023

‍

During the project, we successfully captured over4,000 bright field images from both successful and unsuccessful experimentsinvolving organ-on-a-chip (OOC) models derived from six distinct cell lines atvarious time points. These images have been made publicly available in awell-known repository, enhancing the accessibility of our data. Furthermore,our team has submitted a comprehensive article detailing our data collectionmethodologies and findings.

In addition to our imaging achievements, we havedeveloped a real-time bright field imaging system specifically designed for OOCapplications. This innovative system was implemented effectively throughout theproject's duration. Moreover, we created a machine learning algorithm tailoredto analyze the images we acquired, as well as synthetically generated images.The development and potential applications of this algorithm are elaborated ina separate article that we have submitted.

A significant milestone was reached when we testedthis algorithm and the associated automated decision-making processes onpatient-derived iPSC lung-on-a-chip and lung cancer-on-a-chip models. Theoutcomes of these tests have led to the insightful conclusion that while themodel based on stable cell lines is robust, it requires further refinementusing data derived from patient models.

The culmination of our project's achievements wasshowcased at three international conferences, where our team presented theresults and methodologies. Furthermore, we prepared and submitted two researcharticles, offering a deeper dive into our findings. The project's final report,including detailed accounts of all tasks undertaken and their outcomes, hasalso been compiled and submitted, marking the successful completion of thisambitious project.

Information published 30.11.2023

Projekta mērķis ir  uzlabot no pacienta ņemtu šūnu kultūru audzēšanu OOC (Organ-on-Chip) iekārtās, piemērojot reālā laika mašīnmācīšanās algoritmus mikrofluidikai, un balstoties uz gaišā lauka mikroskopijas, transepitēlija elektriskās pretestības un O2 sensoru datiem.

Pirmajā pārskata periodā esam izstrādājuši lēmumu koku datu klasifikācijai un izveidojuši pirmos datus par veiksmīgiem un neveiksmīgiem OOC audzēšanas eksperimentiem, lai izstrādātu AI modeļus OOC audzēšanas uzraudzībai. Mēs identificējām iespējamās pieejas sintētisko datu ģenerēšanai AI modeļu apmācībai. Ņemot vērā reālo datu raksturu, visdaudzsološāk pieeja ir sintētisko datu ģenerēšana, ģenerējot vienkāršas ģeometriskas formas un pēc tam tās deformēt. Šobrīd mēs veicam literatūras analīzi par šo tēmu. Mēs esam izpētījuši dažādu kompāniju objektīvus/kameras integrēšanai instrumentā, īpašu uzmanību pievēršot attēla kvalitātes, digitālām iespējām un apgaismojuma apstākļiem. Mēs esam sākuši darbu pie iepirkuma specifikācijas noteikšanas XYZ galdiņam ar piemērotu XY soli nepārtrauktai kanālu novērošanai un Z-soli veiksmīgai automātiskai fokusēšanai. Turklāt šajā laika posmā mēs iesaistījāmies projekta tēmas publicēšanā Rīgas Tehniskās universitātes studentu padomes organizētajā tiešsaistes intervijā Spiikiizi studijā ar nosaukumu “Kas būtu, ja?”.

Informācija publicēta 31.03.2022.

‍

EDI veica literatūras analīzi par jaunākajāmpieejām bioloģisko šūnu sintētisko attēlu ģenerēšanai, deformējot vienkāršasģeometriskas formas. Tika pētīta ģenerējošo tīklu-pretinieku (GAN) izmantošanasintētisku attēlu transformēšanai (tulkošanai) uz reāliem, kas ir nepieciešama,lai padarītu sintētiskos attēlus reālistiskākus.

Šajā pārskata periodā mēs esam ieguvuši papildus 230 gan plaušu, gan zarnu uz čipa attēlus, izmantojot gan stabilās, gan primārās šūnu līnijas. Katram attēlam tika sagatavota informācija, kā piemēram, modeļa ID, šūnas tips, sēšanas blīvums, attēla uzņemšanas laiks, lēmums (labs, slikts, pieņemams), artefakti.

Tika veikts iepirkumus mikroskopiem un veikta to testēšana. Tika uztaisīts  iepirkumu XYZ galdiņa detaļām un sākts darbs pie XYZ galdiņa dizaina ar augstu precizitāti.

Informācija publicēta 30.06.2022.

‍

Šajā pārskata periodā LBMC ir izveidojuši papildus 250attēlus gan plaušu, gan zarnas uz čipa modeļiem, izmantojot gan stabilās, ganprimārās šūnu līnijas. Katram attēlam tika sagatavota informācija, par modeļaID, šūnas tipu, sēšanas blīvumu, attēla laiku, lēmumu (labs, slikts, pieņemams)un artefaktiem. EDI veica izpēti par dziļo neironu tīklu modeļu arhitektūrām, piemeklējot AimOOC uzdevumam atbilstošāko. Tika meklēti arī modeļi, kas priekštrennēti uz medicīnas attēliem. Tika apmācīts klasifikācijas modelis uz pirmajiem datiem, kas saņemti no partneriem, secinot, ka labam rezultātam nepieciešami papildus dati. Tādēļ tika arī izpētītas un apkopotas datu paplašināšanas iespējas, kas ļaus sintētiski pavairot apmācības piemērus. Cellbox Labs projekta ietvaros ir noslēguši līgumu un veikta precīzijas XYZ galdiņa projektēšana. Ir uzsākta XYZ galdiņa konstruēšana.

Informācija publicēta 30.09.2022.

‍

EDI pētījaapmācības datu uzlabošanas un pavairošanas metodes. Tika apkopotas unanalizētas dažādās Python bibliotēkās un ietvaros iekļautāspaplašināšanas metodes, izvēloties un testējot projekta attēliem vislabākpiemērotās. Turpināts darbs pie sintētisku medicīnas datu ģenerēšanas, apzinotne tikai ģenerējošo tīklu-pretinieku lietošanu, bet arī modernāku difūzijasmodeļu lietošanu. Sagatavots algorimts datu kopas paplašināšanai. Šajāziņošanas periodā CellBoxLabs ir izveidojis papildus orgāni uz čipa ierīcēs,savukārt LBMC ir izveidojis papildus attēlus ar plaušu vēzis uz čipa modeļos,izmantojot gan stabilas, gan primārās šūnu līnijas. Katram attēlam tiksagatavota arī informācijai, piemēram, modeļa ID, šūnu tips, sēšanas blīvums,attēla laiks, lēmums (labs, slikts, pieņemams). Cellbox Labs ir arī izveidojušiprogrammatūru, lai kontrolētu xy galdiņu un uzņemto foto attēlus.

Kā arī projektadalībnieki piedalījās radio pārraidē - Zināmais nezināmajā: Pirmsklīniskiepētījumi - orgāni uz čipa un laboratoriju peles, kur viņi plašai sabiedrībaipaskaidroja populārajā zinātniskajā valodā par attīstītajām tehnoloģijām.

Informācija publicēta 30.12.2022.

‍

Noslēdzot darbu pie datu augmentācijas metodes, EDIturpina darboties pie klasifikācijas modeļu apmācības, sadalot pieejamos šūnuattēlus pēc laika un šūnu līnijām, atbilstoši iepriekš izstrādātajam lēmumukokam. Rezultātu uzlabošanai, šobrīd notiek darbs pie sekojošiem uzdevumiem:
1. attēli tiek apmācīti, sadalot tos mazākās vienībās - četrstūros, nezaudējotattēla detaļas un palielinot attēlu skaitu;
2. tiek veikts darbs pie sintētisko attēlu ģenerēšanas ar Stabilas difūzijaspalīdzību, lai palielinātu datu apjomu un līdz ar to arī klasifikatoraprecizitāti.

Šajā periodā Cellbox Labs ir izveidojis 32 papilduorgānu čipu iekārtas un uzsāka darbu pie 4.1. uzdevuma programmaparatūrasintegrācijas ar algoritmu, kā arī turpināja darbu pie TEER un skābekļasensoriem. Lai paātrinātu ar algoritmu vadīto plūsmas ātruma regulējumusākotnējo pielietojumu, tiks izveidots īpašs lietotāja interfeiss vēlamāplūsmas ātruma manuālai ievadīšanai. EDI izstrādātais AI algoritms pašlaikizmanto plūsmas ātruma datus, nevis bīdes spēka datus attēla marķēšanā, tāpēc pirmajāinterfeisa versijā tiks izmantoti plūsmas ātruma dati.

LBMC izveidoja papildus 900 gaismas mikroskopa (BF)attēlus, izmantojot esošās plaušas uz čipa, plaušu vēzis uz čipa un zarnas uzčipa, izmantojot WP2 izstrādāto vizualizācijas sistēmu. Turklāt tika izveidotiarī BF attēli un Hoechst krāsojums, kas pārklājās ar BF attēliem, lai palīdzētualgoritmā izstrādē.

TurklātCellboxLabs piedalījās divos LBMC un Rīgas Tehniskās Universitātes rīkotajossemināros. Pirmais seminārs bija parbiomedicīnas pētījumu lomu zināšanu ekonomikā unbiotehnoloģiju jaunuzņēmumu veiksmes stāstiem, bet otrais seminārsbija veltīts pārejai no universitātes uz industriju. Šajos seminārosCellboxLabs iepazīstināja ar savām projektu idejām un virzienu plašākaizinātnes un industrijas auditorijai.

Informācija publicēta 31.03.2023.

‍

Šajā laikā tika uzģenerēts papildus 1601attēls, kultivējot zarnas, plaušas un plaušu vēzi uz čipa no stabilām unprimārajām šūnām. Visi attēli tika klasificēti pēc noteiktiem kritērijiem. EDI strādāja pie attēlu klasifikatoru precizitātesuzlabošanas. Tika trenētas dažādas dziļo neironu tīklu arhitektūras, izmantojotgan ar klasiskām datu paplašināšanas metodēm papildinātos datus, gan ardifūzijas modeļiem sintezētos attēlus. Saņemot jaunus datus no partneriem, EDIveidoja arī jaunas apmācībai izmantojamas datukopas, arvien paplašinot arīapmācībā izmantoto reālo attēlu skaitu. Apmācīti modeļi validāti uz reāliemattēliem, un šo eksperimentu rezultāti aprakstīti konferences rakstā"Synthetic Image Generation With a Fine-Tuned Latent Diffusion Model forOrgan on Chip Cell Image Classification", kas pieņemts konferencē SPA2023: Signal Processing - Algorithms, Architectures, Arrangements, andApplications. Sintētisko datu uzlabošanai, EDI pētīja papildus attēluģenerēšanas pieejas, kas joprojām balstās uz difūsijas modeļiem, bet sintezēattēlus nevis no nejauša trokšņa, bet gan modificē esošos reālos attēlus.Strādājot pie apmācīto modeļu integrācijas arprojektā izstrādāto prototipu, EDI pētījā iegulto skaitļošanas platformuparametrus, lai nonāktu līdz prototipā izmantojamam variantam. Papildustika ziņots par projekta tēmu un rezultātiem mutiskā prezentācijā LU PSK 3.starptautiskajā zinātniskajā konferencē “Veselības aprūpes un sociālāslabklājības kvalitāte” un MPS pasaules samita 2023 posteru sesijā. Tika uzsāktipirmie OOC audzēšanas testi, pielietojot izveidoto algoritmu.

Informācija publicēta 30.06.2023.

‍

Šajā periodāmēs ieguvām papildus 1857 mikroskopijas attēlus dažādos laika punktos algoritmaoptimizēšanai no plaušu vēža, normālām plaušu un endotēlija šūnu līnijām.

EDI strādājapie klasifikācijas algoritma optimizācijas, pielietojot vairākas attēluģenerēšanas pieejas apmācības datu paplašināšanai. Izmantojot uz StabiloDifūziju balstītās iezīmēšanas, LoRA apmācības un attēlu interpolācijaspieejas, tika izveidotas vairākas paplašinātas datu kopas, un iesākta uz tāmtrenēto klasifikācijas modeļu validācija.

Zinātniekunakts 2023. ietvaros EDI un LBMC prezentēja AimOOC projekta mērķus un līdz šimiegūtos rezultātus.

Visbeidzot,CellboxLabs CEO sniedza interviju žurnālā Forbes par tehnoloģijām, ko uzņēmumsattīsta, CTO viesojās Rīgas Tehniskās Universitātes Inženieru skolā, kur viņšskolēniem skaidroja mūsu tehnoloģijas un projekta vadītājs Artūrs Ābols sniedzainterviju startin.lv, lai informētu industrijaspārstāvjus un žurnālam Medicus Bonus, lai informētu ārstus par orgāni uz čipatehnoloģiju un pielietojumu šī projekta ietvaros.

Informācija publicēta 30.09.2023.

‍

Projekta laikā mēs veiksmīgi uzņēmām vairāk nekā4000 gaismas mikroskopa attēlu gan no veiksmīgiem, gan neveiksmīgiemeksperimentiem, kuros bija iesaistīti orgāni uz čipa (OOC) modeļi, kas iegūtino sešām atšķirīgām šūnu līnijām dažādos laika punktos. Šie attēli ir publiskipieejami repozitorijā, tādējādi uzlabojot mūsu datu pieejamību. Turklāt mūsukomanda ir iesniegusi visaptverošu rakstu, kurā sīki aprakstīta mūsu datuvākšanas metodoloģiju.

Papildus mūsu attēlveidošanas sasniegumiem mēsesam izstrādājuši reālā laika gaismas mikroskopa attēlveidošanas sistēmu, kasīpaši izstrādāta OOC pielietojumam. Šī novatoriskā sistēma tika efektīviizmantota visa projekta laikā. Turklāt mēs izveidojām mašīnmācīšanās algoritmu,kas pielāgots iegūto attēlu, kā arī sintētiski ģenerēto attēlu analīzei. Šīalgoritma izstrāde un iespējamie pielietojumi ir aprakstīti atsevišķā rakstā,ko esam iesnieguši.

Tika sasniegts nozīmīgs rezultāts, kad mēspārbaudījām šo algoritmu un ar to saistītos automatizētos lēmumu pieņemšanasprocesus pacientu atvasinātos iPSC plaušu uz čipa un plaušu vēža uz čipamodeļos. Šo testu rezultāti ir noveduši pie secinājuma, ka, lai gan modelis,kas balstīts uz stabilām šūnu līnijām, ir stabils, tas prasa turpmāku pilnveidošanu,izmantojot datus, kas iegūti teši no pacientu modeļiem.

Mūsu projekta sasniegumi tika prezentēta trīsstarptautiskās konferencēs, kurās mūsu komanda prezentēja rezultātus unmetodiku. Turklāt mēs sagatavojām un iesniedzām divus pētniecības rakstus,piedāvājot dziļāku ieskatu mūsu atklājumos. Tika apkopots un iesniegts arīprojekta noslēguma ziņojums, kurā ietverts detalizēts visu veikto uzdevumu unto rezultātu pārskats, kas liecina par šī vērienīgā projekta veiksmīgupabeigšanu.

Informācija publicēta 30.11.2023.