本罪侵犯的客体是指挥和值班、值勤秩序。我军是高度集中统一的武装集团，不论是在战争年代还是在和平时期，只有每一名军人都忠于职守，严格执行我军的条令条例，维护良好的作战、训练、工作和生活秩序，才能保证部队圆满完成上级赋予的各项任务。军队的指挥工作和值班、值勤制度是保持军队高度集中统一，维护部队正常秩序，保障部队自身安全，充分发挥军队职能作用的必要条件。指挥人员和值班、值勤人员疏于职守，将直接破坏指挥和值班、值勤秩序，以致出现政令、军令不通，制度难以落实，部队松松垮垮，事故、案件不断的严重局面，将对国防和军队建设造成严重的危害。
擅离职守是指行为人擅自离开正在履行职责的岗位。玩忽职守是指行为人在履行职责的岗位上，严重不负责任，不履行或者不正确履行职责。从广义上看，玩忽职守不仅包括擅离职守，而且也包括了滥用职权的行为，因为滥用职权也属于不正确履行职责。所以对符合擅离、玩忽军事职守罪其他构成要件的滥用职权行为，可直接以擅离、玩忽军事职守罪论处，不必适用本法第397条定滥用职权罪。如在飞行训练中，飞行指挥员随意改变训练计划，造成飞行事故的行为，即属于这种情况。
擅离职守或者玩忽职守的行为只有造成了严重后果，才能构成擅离、玩忽军事职守罪。这些严重后果通常是指贻误战机的，影响部队完成重要任务的，造成人员重伤死亡的，造成武器装备、军事设施、军用物资或者其他财产严重毁损的，发生其他严重责任事故的等。这些严重后果的发生应和指挥人员和值班、值勤人员违反其指挥和值班、值勤的特殊职责具有内在的因果关系。换言之，这些危害后果本应是指挥人员和值班、值勤人员正确履行职责可以避免的。如担任弹药库警戒勤务的哨兵，其职责就是保证弹药库的安全。如果其不认真履行哨兵职责，导致弹药库遭到破坏，则属于哨兵擅离职守或者玩忽职守造成了严重后果。如果所造成的严重后果并不是指挥人员和值班、值勤人员正确履行其特殊职责所应当避免的，则不能以擅离、玩忽军事职守罪论处。本罪为选择性罪名，行为人只要实施了擅离军事职守或者玩忽军事职守其中一种行为就构成本罪;实施两种行为的，仍为一罪，不实行并罚。
本罪的主体为特殊主体，是军队中的指挥人员和值班、值勤人员。这三类人员具有特殊的身份，担负着特定的职责，因而是军人违反职责罪的特殊主体。指挥人员是指在部队中对作战、训练、施工、抢险救灾等活动及日常行政管理实施组织领导的人员，通常是各级首长或者部门主管人员。值班人员是指在规定时间内轮流担任某项工作的人员，如作战值班人员、通讯值班人员、节假日值班人员等。值勤人员指正在执行轮流担任某项勤务的人员，如在边防、海防担任守卫、巡逻勤务的人员，在机关、部队和重要目标担任警戒勤务的人员，在城市担任维护军容风纪和协助地方维护社会治安勤务的人员等。
本罪在主观方面由过失构成。擅离职守的行为人对违反指挥和值班、值勤规章制度，擅离岗位的行为都是明知的，但对可能造成的危害后果却抱有侥幸心理，以为不会发生，所以属于过于轻信的过失犯罪。而玩忽职守则是因疏忽大意没有预见可能造成的危害后果，或者虽然已经预见但轻信能够避免，主观上存在疏忽大意或者过于轻信两种过失心理状态。