가정법 문장에서 시제 사용이 궁금해요

“If I had known you were here, I would have talked to you.”라는 문장에서 궁금한 점이 있어요.
왜 If I had known 뒤에 과거형인 you were here가 오나요?
you had been here라고 하면 틀리는 것 같은데 이유를 알고 싶어요.
도움 부탁드려요.