EICU 모델 리뷰 및 개선

빨리 가든지 아니면 죽든지 재입시하든지 이런 것들을 다 바꿔서 좀 적어라 이런 얘기한 것 같고 사망자 제외하는 건 좀 위험하니까 하지 말라고 합니다. 사망자 제외하는 건.

그 다음에 랜드마크 설계하라고 하는 게 24시간 모델을 하시죠. 설계가 자세히 설계를 했고 그 다음에 72시간 기준도 너무 자의적이니까.

48시간, 96시간 정도 민간도로 해야 되겠다고 생각했었고 그 다음에 어쨌든 우리가 해놓은 이 코트 뭔가 좀 안 맞는 부분들도 다 정리해야 되겠다 해서 들어간 거고 그래서 여기 나와 있는 이 아래쪽들은 다 어쨌든 웬만한 리뷰어가 지적하는 내용도 다 바꾸려고 된 거라고 했어요.

그리고 제일 충격적인 건 이 ICU의 결과가 너무 달라졌다 생각나요. 너무 충격적인 거예요. 원래 만드신 리믹이야 제가 볼 때 약간 약간 차이나는 게 어쩔 수 없다고 치더라도 이 ICU에서 한 건 좀 제대로 안 된 것 같아요. 왜냐하면 대항기록이나 특퍼런트 케이블이 모든 병원에 국한 된 게 아니더라고요.

저는 대항기록이 EICU, 사실 저도 엄청 명밀하게 찾아본 적이 없었는데 이번에 명밀하게 보게 됐는데 명밀하게 보니까 이게 결국에는 대항기록이 몇 개 없어 그리고 특히 토마트 테이블도 한계가 있다 보니까 결국 우리가 이걸 대항기반으로 하게 되면 애초에 원래 제가 알기로 EICU 200개 구원을 EICU가

그런데 그중에 84개 병원밖에 가져오지 않는 게 대초에 이 ICU 데이터 자체가 모든 병원을 다 커버한다는 부분이 되었지만 이 우리가 섹시스

QS3 기준을 넘는 순간 이미 셀렉션이 발생한다는 것을 인정해야 합니다. 그리고 당연히 코어트도 두 개의 중증도 차있다는 것을 알게 되었지만 EICU가 훨씬 더 환자들이 보호 환자들이며 이미 훨씬 더 안 좋은 환자들입니다.

그래서 이런 이런저런 것들도 적어놨으니 참고할 수 있는데 이거 보시라고 제가 얘기해서 적어야 됩니까. 그래서 이런 것들 적어가지고 해야 되는데 결국에 중내로 가보면 제가 볼 때 이게 제일 중요한 것 같아요. 우리가 이것도 왜 중요한 거지? 이거 혹시 알고 계셨어요?

이건 내가 이연옥 고생한테 물어봐야 돼. 테스트세에 누출되고 있는 거? 어... 어... 몰랐습니다.

이것 때문에 또 하시를 한 것 같아요. 그래서 이 테스트셋 노출되는 것 때문에 우리가 조금...

이 모델이 예측하는 데 있어서 원래는 테스트를 아예 안 보여줘야 되는데 일부가 노출됐다는 얘기라고 생각하시면 될 것 같고 그래서 이런 것들을 그냥 인정해야 될 것 같아요

그래서 제가 대부분 다시 다 해야 된다고 생각했고요.

그래서 여기 나와 있는 제연성과 보고책에 지적한 게 그런 의미에서인 것 같아요. 좀 더 똑바로 한 것 같나요? 그렇기 때문에 이걸 다 코드를 아까 말씀드렸지만 제가 한 번 더 돌려보라고 말씀드렸는데 제대로 돌아가는지를 봐야 합니다.

원래 우리가 이것도 같이 내다 내줘야 되거든요. 이게 요새 머신러닝이나 딥러닝 하는 건 눈에 넣을 때는 요거를 반드시 작성했으면 좋겠어요. 바이포드 AI 체크리스트가 운영하십니다.

이것도 일단 제가 교우들한테 만들어달라고 했는데 이것도 한번 정확하게 점검을 해봐야 되고요 그래서 제가 말씀드릴 수 있는 거는

일단 전체로 다 엎었다는 거예요. 그 다음에 이현욱 선생님이 코드를 한 번 더 전동하시면서 지금 돌아가는지를 확인했습니다. 그 다음에 총체적으로는 이거를 보시면서 제가 이 바꿔놓은 결과를 한 번 더 좀 다 검토를 해봐야 합니다.

이렇게 보면 결과가 생각보다 우리가 APS3랑 비교하는 것도 좀 넣어달라는 게 있어서 정리를 했었는데 이런 것들도 다 정해서 새로 다 만들어야 될 것 같긴 해요. 그래서 아마 제가 본 것 중에 가장 재미있는 결과는 이거이긴 하거든요.

이 그림은 아마 원래 없던 그림인데 이게 뭐냐면 아까 EICU가 병원이 몇 개라고 있어요. 200개라고 할 때 엄청나요. 그런데 200개 중에서 전부 다 우리가 가져오지는 못했다고 얘기했고 그중에 일부만 가져와서 공룡을 한 건데 그런데 중요한 것은 이게 쉽게 얘기해서 미믹에서 개발한 모델을 EICU에 넣었을 때 AUROC가 얼마나 나오는지를 병원별로 조개서 한 거예요. 아니요.

병원별로 정보가 나눠져 있거든요. 그래서 병원 정보를 다 나눠가지고 이 병원에서는 쉽게 얘기하면 A.U.R.O.C가 이렇게 나온다는 거고 이 병원에서는 이렇게 나온다는 거고 병원이 쭉 나열돼 있는 거에요. 좋은 병원부터 만한 병원까지

그리고 이걸 평균 내니까 지금 이 정도 나온다는 거예요. 사실 이 말은 우리가 개발한 모델이 어떤 특정 병원에선 잘 들을 수도 있는데 보시면 거의 안 듣는 이 영적은 모르는 거예요.

0.5보다 더 한 정도 용원도 있어야 할 줄 알고 계세요. 여기가 0.5였는 거에요. 그러니까 결국에는 이게 이 용문의 기준을 아주 조심스럽게 가져가야 된다고 하긴 했어요. 아마 개발을 했지만 이게 다른 용원에 적용될 때는 진짜 조심해야 된다라는 오히려 그런 메시지는 많이 담을 것 같더라고요.

그래서 이걸 제가 하나하나 다 설명해드리기는 좀 어렵고 한번 읽어보시고 돌려보시고 문의를 차근차근 해야 될 것 같다. 근데 제가 이걸 다 돌리는 이유는 뭐냐면

지금 아마 이거를 다시 처음부터 닫자고 이렇게 하는 게 너무 오래 걸릴 것 같아서 지금 만들어드린 이걸 기본으로 제한테 질문해 주시거나 추가로 분석한 부분이 있으시면 저한테 얘기해 주세요. 제가 서버에서 돌릴 테니까. 다만 어쨌든 저희가 이거를 9월 언제까지?

6일까지는 내야 되기 때문에 그전까지는 내용 정리를 완벽하게 해줘야 될 것 같아요. 그래서 하실 일은 보내드렸던 파일을 다 이해하고 제대로 돌아가는지를 확인하는 일인 것 같습니다.

혹시 보시다가 조금 의문이 나거나 얘기할 수 있을 게 좀 있었던가요? 지금 리뷰어의 코멘트는 총 31개입니다.

쪼개고 앞에도 엄청나게 답변은 다행인데 무려 31개의 그 이야기를 하고 있습니다. 그래서 아마 오늘 만약에 이걸 안 보고 오셨으면 제가 별로 할 말은 없어요. 왜냐하면 이걸 보고 오셔야 제가 얘기를 하기 때문에 어쨌든 저희가 주요 변경사항은 여기 너무 낮습니다. 이거 보시면 되는데 첫 번째가 다음 영상에서 만나요.

제가 중환자실 변동 전원으로 이름을 바꿨다는 거예요. 그리고 코호트는 24시간 기준으로 정리를 했다는 거예요. 그 당시 때 저희가 72시간 잘랐다가 또 욕먹은 거거든요, 사실 얘기하잖아요. 24시간으로 정리를 했다는 거예요. 그리고 병원 내 상황은 제외하지 않고 결과 변수로 넣었다는 거예요.

그리고 주요 결과비인 분수는 그냥 복합지표로 만들었다는 겁니다. 그 복합지표는 아까 전원 또는 전원하고 나서 다시 전시 또는 전실 후에 제 입원이나 사망이 없는 경우로 다시 정리를 할 겁니다.

그 다음에 아까 얘기했던 이 우리가 해놓은 이 평가가 잘못해서 이 시계에서 테스트셋이 눈출되지 않도록 정리했다는 거예요. 마지막으로 완전 사례 분석을 원래 했었는데 그렇게 안 하고 별측합 처리 방식으로 기본을 잡았다고 바꿨습니다. 이거 다시 적한 부분이 별측합이 없는 것도 그러니까...

그러니까 값이 다 있는 환자로 하는 것도 셀렉션 바이러스가 크니까 결제값 대처법을 쓴 거를 주 분석으로 올리라고 우리는 했기 때문에 기존에 이렇게 나와 있는 것도 생각하시면 되고요. 그런데 이렇게 하면 웃긴 게 이전 거보다 더 좋아졌어요. 전제가 보게.

AORC가 0.8이 안되지 않았나요? 제 기억에. 안 됐던 것 같고요. 그런데 지금 보면 AORC가 0.8일까지 올라왔어요. 그래서 이거 해보면 원래 APS3랑 비난바당하다고 얘기했었던 것 같은데 APS3 쓰는 것보다는 나아요. 제가 볼게요.

APS-3보다는 어쨌든 아파치 스코어보다는 같다고 해보는 거예요. 그래서 또 추가로 나오는 게 아까 제가 보여드렸던 그 그림이 병원 간의 적용 가능성이 불균일하다는 게 중요해요. 이게 진짜 중요한 부분이거든요. 이 정리한 부분을 보면.

그렇기 때문에 이건 임상 적용에 관계가 있다는 것을 보여줍니다. 그래서 기조를 조금 수정하자면 이렇습니다. 우리가 개발한 모델은 기본적으로 머신러닝 모델에 기조해서 최대한 열심히 개발했는데 하나의 병원에서 개발된 것을 다른 병원에 적용하는 데 있어서는 잘 되는 병원도 있지만 결국 잘 안 되는 병원도 있고 이렇다 보니까 쉽게 얘기하면 이걸 임상에 바로 쓰기는 쉽지 않을 것 같다고 작성하거나 아니면 임상 적용을 위해서는 조금 더...

데이터를 정리하거나 또 다른 장어로 필요할 것 같다고 적어야 될 것 같다는 거예요. 근데 여기 남아있는 요게 요양 말씀드려요. 아까 한글판도 보여드렸는데 한글판도 같이 보셔야 해요. 그래서 남아있는 1번부터는 하나하나 친하게 적혀있는 게 리뷰의 지적이에요. 예를 들면, 트랜스퍼지 차지가 아니다. 그 다음에 트랜스퍼 세이프티는 이메이션되지 않았다. 그 다음에 인하스피럴 데스는 어쨌든 서바이벌

바이오스에 이야기할 수 있다. 랜드마크 타임과 프레딕션, 호아이전 이런 말도 있고, 그 다음에 이거 익스크루션 하는 것도 약간 인컨시스턴트하다 라는 표현도 하고 있고요. 그 다음에 밑에 보면 섹시스가 랜드마크에 의해서 생기는 거, 이것도 좀 조심해서 해야 된다는 얘기죠. 섹시스 3, 인플렌디션에 반드시 정확하게 설명해야 된다는 얘기죠. 이런 것도 나와 있기 때문에 제가 보기에는 최대한 제가 수정하고 보정하고 몇 번을 지금 확인을 해서 지금 드린 거긴 한데

한번 정리하셔서 확인하신 다음에 그 생각에 이걸 이해하시고 또 추가로 해야 될 게 있으면 저랑 같이 빠르게 진행하는 게 좋은 과학과의 부탁을 했습니다.

알겠습니다. 얘기하시겠습니까? 저 한 가지 제가 보면서 이해 안 됐던 부분이 있었는데 그 사망자는 이제 제외를 안 하게 된 거잖아요, 사망자를. 맞죠? 근데 그 컴퓨팅 리스크 분석이 또 나와 있길래 그건 혹시 왜 한 건지가 궁금해서. 컴퓨팅 리스크 분석도 이분이 제가 볼 때 하나 하기를 원하는 것처럼 그런 부분입니다.

컴퓨팅 리스크가 무슨 말인지는 아마 요거는 조금 아이숙한 모델이실 수는 있어요. 근데 이게 뭐냐면 죽으면 전실할 수 없잖아요 쉽게 얘기하면.

그러니까 저희가 이 환자가 죽고 죽게 되면은 물론 죽는 사건이 안 좋으니까 죽었겠지만 죽게 되면은 당연히 정신을 할 수 없기 때문에 보통 되게 쉽게 얘기하면 후회한 논문에서는 이 죽음에 관련된 거를 쉽게 얘기해서 우리가 원하는 아웃컴과 경쟁하게 해서 계산할 수 있는 모델이거든요.

그걸로도 한번 봐달라는 의미를 보면 예를 들면 저희가 이걸 안 하지 않았나요? 네, 원래 안 했었습니다. 그러니까요. 그래서 제가 이게 안 하려고 하니까 계속 리뷰어가 조금 이 부분도 지적을 하는 것 같아서 그럼 그냥...

그냥 못할 건 아니기 때문에 원래 이 전화를 제가 엄청 대단하게 보고 있지는 않았기 때문에 그냥 이 정도 하면 되겠지라고 생각했는데 생각보다 리뷰어의 지적을 더 가만히 보면서 이 사람들이 원하는 거 맹만하면 다 해줘야 되겠다는 생각을 했기 때문에 한 것도 좀 있습니다.

그래서 지금 두 번째 라운드잖아요. 첫 번째 라운드에서 넘어갔으면 제가 이렇게까지는 안 했을 것 같은데 첫 번째 라운드를 넘어갔는데도 불구하고 지금 대부분이 앞에서 지정한 거를 안 했잖아 라는 지적이 많아요. 그래서 저는 이거 다시 다 해야 되겠다. 그리고 제일 중요한 건 여기서 강조하는 건 이거라 이거라 생각합니다.

그래서 제가 김찬주 선생님이나 이현우 곤도하니 정말 죄송하지만 코드까지 다 들리는 동안 저는 돌렸지만 선생님들도 다 돌아가는지 확인하시라고요. 그리고 이걸 이현우 선생님의 직업에 공개해야 합니다.

왜 얘기할 수 있나요? 사소한 건 그 리비전 리스폰스 코멘트에도 지금 교수님께서 적어주신 것처럼 앞에다 이제 요약을 해놓는 것도 좋을까요?

그렇게 하셔도 되는데 그건 선생님이 이해하기 좋으라고 제가 적은 건데요. 그건 알아서 하셔도 됩니다. 그건 안 적어도 됩니다. 우리는 우리끼리 지금 보려고 제가 빠르게 하는 거기 때문에.

그래서 이제 하실 일은 제가 하스피탈 논문을 제 마음대로 좀 수정했는데 제가 보기에는 이거를 가져가셔서 수정하셔도 될 것 같아요.

그러니까 위에 보시면 이 색깔로 되어있는 게 제가 주장한 거거든요. 빨간 걸 아마 선생님도 주장한 거예요. 이거를 보시면서 대응하면서 좀 조정하셔도 되고 아니면 이전에 선생님들이 저한테 주셨던 걸 기조로 해서 바뀐 부분이랑 비교하면서 보셔도 돼요. 근데 다시 보면 너무 많은 부분이 바뀌어서 사실 거의 다 새로 두고 봐도 과언이 아닌데

왜냐하면 어쩔 수 없이 분석을 자세히 했는데요. 그래서 한번 보시고 다시 응이 나거나 얘기를 해야 되는 부분이 있으면 지금 해야 될까 생각했습니다.

그래서 오늘은 제가 뭘 요구하려고 미팅을 하자는 게 아니었어요. 깊이 이루어와서 시간이 너무 짧았기 때문에 여러분이 깊이 그 시간이 있었다고 생각하지도 않고요. 다만 여기 나와 있는 파일들을 설명했습니다. 이거는 논문을 리비전한 거고, 방금 보내드렸던 이 애널라시스 리조트 리포트는 이 자체로 리포트니까 이것도 그냥 보시면 돼요. 이거는 논문에 담아놓은 건 아니고 이런 결과들을 정리해놓고 그다음에 이제 내놓은 게 리뷰어 대답 파일, 한글 파일.

아이 서플렌트 파이더 트레이콧 AI 체크리스트 같은 걸 만들었는데 하셔야 되는 건 이 전부를 다시 한 번 보이고 하고 점검하시는 그리고 이거는 이제 쉽게 얘기하면

이거 남아있는 부분을 하셔야 되는 이 세 개인데 이건 제가 어떻게 할 수 없어가지고 첫 번째가 먼저 이걸 바꿔야 다시 그려야 돼 그냥 피규어 1 그림은 내가 그린 게 아니기 때문에 다시 그려주셔야 되고 그 다음에 인용 연결하는 것도 좀 숫자가 이상하게 보이더라고요 이것도 다시 어차피 좀 적었기 때문에 다시 한번 연결해서 확인해보시고

피규어 1이 플로우 차트 말씀하시는 건가요? 맞은 거예요.

네. 새로 보내주신 파일에 수정이 좀 돼 있던데 그걸 바탕으로 원래처럼 만들면 되는 걸까요? 그렇죠. 원래 선생님들이 사용하신 파일을 제가 보내드린 거 기조로 가져가셔서 작성하시면 될 것 같아요.

그래서 제가 원하는 건 이걸 다 다시 해라고 아니라 이걸 하나하나 해놓은 걸 검토하시면서 이상한 게 있으면 저랑 의논하시면 되고

그리고 카운트공학과 두 분은 이걸 돌려보시면 돼요. 그리고 하나만 더 얘기 드리자면 이 트라이콧 AI 체크리스트가 적긴 했는데 원래 이 서식이 아니에요. 트라이콧 AI 서식이 있거든요. 이거를 원래 서식에 맞춰가지고 작성하는 것까지 해주시면 좋을 것 같은데

그런데 충분한 시간을 제가 드려야 될 것 같다는 생각을 합니다. 그래서 이거는 어떻게 좋은 것 같나요? 선생님 바쁜 게 언제나 갈 수 없죠? 저번 주가 바쁘다지 않나요? 이번 주가 바쁘죠. 네, 이번 주가 바쁩니다. 그러면 시간을 넉넉하게 들여서 23일 날 겪는 거라는 것 같나요? 적어도 2주를 드려야 될 것 같습니다.

2주? 그래서 2주 동안 해서 빠르게 정리하고 모르겠다. 안 되진 않을 것 같은데 빨리 정리하고 가도 이제 그만하고 싶다.

일단 읽어보세요. 그리고 읽어보는 게 조금 힘드시면 첫째 PT나 나라한테 같이 읽어보셔도 되고요. 그거는 제가 별로 하지 않을 텐데 어쨌든 이해하시는 것 중에 왜냐면 어쨌든 본인들이 쓰는 논문이고 조금 수정이 된 거니까

그러니까 파악하시면서 일하는 게 좋고 왔습니다. 더 얘기할 수 있으실까요? 사실 오늘 얘기는 이게 다였어요. 잘 보고 정리해서 배우시면 됩니다.

열심히 만들어주신 계산기는 더 이상 필요없다 그런 얘기였습니다.

그러면 다음 랩 미팅은 23일으로 생각하면 되는 걸까요? 편하시지 않으세요? 네, 좋습니다. 네, 일요일 날... 네, 일요일 날... 왜냐하면...

주말에 조금 시간이 있으실 테니까 주말에 좀 오시고 23일 뭐 다행히 연휴도 있고 하니 그 시간까지 조금 사용하려고 하죠.

제가 볼 때 이거는 어차피 논문이 다 지금 틀이 바뀌었기 때문에 그리고 우리 본인 학생 분명도 과학이잖아요. 이거는 좀 많이 도와주셨으면 좋을 것 같네요.

승주짱과 지우짱이 지금 시간이 물론 금속같은 시간이지 매우 동의하지만 많이 놀았잖아 이제 그래서 시간을 좀 쓰셔서 여기 논문을

의문을 한번, 의문이 어쨌든 뭔가 기여를 이제 하실 수 있는 시간도 있는 것이었습니다. 맞습니다. 보내드린 걸 기조로 처음부터 끝까지 한번 이해해 볼 수 있는 거 보시면 좋을 것 같습니다. 리뷰어가 정말 많은 지적을 했는데 근데 그 지적이 대부분 프라이머리로 지적한 걸 똑바로 안 했다고 다시 지적을 한 거라고 저는 생각합니다.

감사합니다. 더 얘기할 수 없으면 여기까지 하죠. 23일 날 똑같은 시간에 뵙겠습니다. 오후 9시. 네 감사합니다. 고생하셨습니다. 네 감사합니다. 안녕.

감사합니다