지구에 침투한 외계인을 감시하는 미국 연방 1급 비밀 기관 맨인블랙(MIB). 뉴욕 경찰인 제이(윌 스미스)는 어느 날 검은 양복을 입은 케이(토미 리 존스)를 만나고 MIB 비밀 요원이 된다.

제이와 케이는 외계에서 온 다양한 생명체들을 심문하던 중 악명 높은 우주의 테러리스트가 지구에 왔다는 사실을 알아낸다. 그들은 은하계의 전쟁을 막기 위해 테러리스트로부터 우주의 신비가 담긴 구슬을 뺏는다. 이 임무를 마친 뒤 케이는 자신의 기억을 지우고 사랑하는 여인과 밀월 여행을 떠난다.

케이가 MIB를 떠난 후 많은 파트너와 호흡을 맞추지만 제이는 늘 케이의 빈자리를 아쉬워한다. 여러 파트너를 전전하던 그가 마지막 만난 파트너는 수다쟁이 강아지 프랭크. 그러나 프랭크는 파트너라기보다는 살아있는 짐에 가깝다.

그러던 중 25년 전 MIB 요원들에게 당한 것을 복수하기 위해 셀리나가 지구에 잠입한다. 그녀는 여성지 모델로 자신을 복제하고 MIB 본부로 침입한다. 제이는 셀리나가 MIB 요원 일부와 손을 잡았다는 사실을 알아낸다. 그러나 이미 혼자 감당하기에는 때가 너무 늦어버렸다. 위기에 처한 제이는 왕년의 명 요원 케이를 찾아간다. 그러나 평범한 시골 우체국장으로 변한 케이는 제이를 전혀 알아보지 못한다. 제이는 케이를 사설 기억 재생업자에게 데리고 가 기억을 복원시킨다.